admin 
Savaitgalį bendri Claude pokalbiai netikėtai pasirodė „Google“ paieškos rezultatuose.
Liepos 27 d. patikrinau Claude share puslapių tikrinimo taisykles ir radau direktyvą „noindex“, kuri buvo paslėpta už bloko, neleidžianti „Google“ jos pasiekti.
Bendrinimo kelią blokuoja robots.txt, esantis claude.ai. Šie puslapiai taip pat grąžina X-Robots-Tag antraštę, kuri nustatyta į None, kurią „Google“ robotų metažymų gairės traktuoja kaip „noindex“ ir „nofollow“.
Dėl šios priežasties taisyklės prieštarauja viena kitai. Remiantis „Google“ gairėmis, „noindex“ žyma veikia tik tuo atveju, jei tikrintuvui leidžiama pasiekti puslapį ir jį skaityti. Jei puslapį užblokuoja robots.txt, jį vis tiek galima indeksuoti, jei į jį nukreipia kiti puslapiai, nes „Googlebot“ pažymi URL jo neatidaręs.
Poravimas nėra būdingas tik AI įmonėms. Jei „Google“ aptinka užblokuotą URL kitur, ji gali nurodyti URL nenurodydama „noindex“.
Kas atsitiko
404 Media pirmadienį pranešė, kad Claude'o bendrinimo puslapiai buvo rodomi per svetainę: operatorius. „TechCrunch“ pranešė, kad galėjo rasti medicininę medžiagą, vidinius įmonės dokumentus ir bylas su pradinio mokyklinio amžiaus vaikų vardais ir telefonų numeriais. Artefaktai, dokumentai ir mini programos, sukurtos Claude viduje, pasirodė antruoju keliu.
Didžioji dalis aprėpties, įskaitant „The Decoder“, pranešė, kad bendrinimo puslapiuose nebuvo žymos „noindex“. Nuo liepos 27 d. teikiama noindex antraštė, kuri yra už robots.txt bloko. Neaišku, ar ta antraštė buvo prieš savaitgalį, nes negalėjau to patvirtinti.
Ką grąžina tikrinimo taisyklės
Išvados iš mano liepos 27 d. patikrinimų su claude.ai:
- Failas robots.txt, esantis claude.ai, neleidžia /share/* pagal User-agent: * grupę, be atskiros „Googlebot“ grupės, taigi, tai yra grupė, kurią naudoja „Google“.
- Tiesioginis bendrinimo URL atsako su antrašte x-robots-tag: nėra GET užklausoje.
- Ta pati antraštė rodoma, kai užklausoje teigiama, kad tai yra Googlebot, o atsakyme yra Vary: User-Agent.
- /public/artifacts/ kelias nepateiktas robots.txt.
Nepatikrinau, ar artefaktų URL pateikia puslapio lygio neindeksą, todėl šių dviejų kelių negalima palyginti pagal jų valdiklius.
Nepriklausomas IT konsultantas Danielis J. Gloveris pranešė apie tą patį konfliktą liepos 26 d. Mano patikrinimas rodo, kad sąranka tebegalioja liepos 27 d., kai buvo pranešta, kad pokalbiai neberodomi paieškos rezultatuose, bet aš negalėjau nustatyti, kas buvo pateikta „Google“, kai šie URL buvo pirmą kartą aptikti.
Kodėl užblokavus puslapį jis nepašalinamas
Robots.txt padeda nustatyti, kaip paieškos varikliai tikrina jūsų svetainę, bet nenusprendžia, kas bus indeksuojama. „Google“ tai aiškina daugelį metų.
Pavyzdžiui, Johnas Muelleris paaiškina, kad net puslapiai, užblokuoti robots.txt, gali būti rodomi paieškos rezultatuose, jei į juos nukreipia kiti puslapiai. Jei norite, kad puslapis nepatektų į paieškos rezultatus, tinkamas pasirinkimas yra „noindex“ žyma. Martinas Splittas taip pat rekomenduoja vengti abiejų taisyklių dėti tame pačiame puslapyje. „Google“ neseniai dar kartą pabrėžė šį skirtumą, kaip matyti iš jų praėjusios savaitės atnaujinimo.
URL blokavimas naudojant robots.txt nepašalina jau indeksuotų puslapių. Jei norite pašalinti visam laikui, „Google“ rekomenduoja naudoti „noindex“ žymą, kurią gali nuskaityti tikrinimo programa.
Antropo atsakas
Anthropic sakė „TechCrunch“, kad bendrinimo nuorodos paieškos rezultatuose bus rodomos tik tada, jei žmonės jas paskelbs tikrinimo programoms pasiekiamose vietose, o nuorodos, siunčiamos privačiais pranešimais, nebus indeksuojamos.
Atstovė spaudai Amie Rotherham pridūrė, kad šios nuorodos „negalima atspėti ar atrasti, nebent žmonės patys nuspręs jomis pasidalinti“. Tai susiję su vienu būdu, kaip galima aptikti viešo bendrinimo URL, bet neprieštarauja taisyklėms, kurias radau liepos 27 d.
„Google“ atstovas Nedas Adriance'as pareiškė, kad paieškos sistemos nenustato, kurie puslapiai yra vieši, o „Google“ suteikia svetainių savininkams galimybę valdyti tikrinimą ir indeksavimą bei laikosi šių valdiklių.
Kodėl tai svarbu
Visi pokalbiai ar artefaktai, kurių bendrinimo neatšaukėte, vis tiek pasiekiami visiems, turintiems nuorodą. Claude eikite į Nustatymai > Privatumas > Bendrinami pokalbiai, kad pamatytumėte visą sąrašą.
Atšaukus pokalbio bendrinimą, tiesioginė nuoroda išjungiama, tačiau URL pašalinimas iš „Google“ yra kitas dalykas. Kaip Claude naudotojas, jūs negalite valdyti, ką jis teikia „Googlebot“, arba pateikti pašalinimo užklausos, nes jas tvarko „Anthropic“.
Artefaktai skelbiami naudojant atskirą procesą, todėl pokalbio bendrinimo panaikinimas ir artefakto paskelbimo iš to pokalbio atšaukimas yra du atskiri veiksmai.
Be nustatymų pakeitimų, apsvarstykite galimybę nustatyti AI pokalbių ir artefaktų bendrinimo taisyklę. Jei pokalbyje yra kažkas, ko neskelbtumėte viešai, nesidalykite juo naudodami nuorodą, kuri vėliau gali būti indeksuota.
Žvilgsnis į priekį
Šis modelis nėra būdingas tik Anthropic. 2025 m. rugpjūčio mėn. „OpenAI“ pašalino bendrinamus „ChatGPT“ pokalbius iš paieškos, o „Google“ užblokavo „Bard“ nuorašų indeksavimą 2023 m. Kiekvienas atvejis buvo susijęs su viešu bendrinimo URL, kuris nukeliavo toliau, nei galėjo tikėtis jo savininkas.
Trys įmonės dabar paieškoje pasirodė klientų pokalbiai. Tai yra pakankama priežastis, kad viešą bendrinimo nuorodą būtų galima laikyti viešu tinklalapiu nuo tada, kai jis egzistuoja.
Teminis vaizdas: „Cast of Thousands“ / „Shutterstock“.
