LLM gairės neperduoda taip, kaip SEO gairės

Maždaug du dešimtmečius SEO disciplina veikė remdamasi ramia prielaida, kuri pasirodė esanti viena vertingiausių jos savybių. Keliavome iš vienos paieškos sistemos. Jei „Google“ teigė, kad svetainių schemos yra svarbios, „Bing“ sakė, kad svetainių schemos yra svarbios. Jei Bingas teigė, kad struktūriniai duomenys nusipelno tikrų pastangų, „Google“ sakė tą patį. Praktikuojantys specialistai optimizavo „Google“ pakankamai pasitikėdami, kad darbas bus perkeltas į kitus variklius, ir dažniausiai taip. Tas perkeliamumas nepasisekė. Tai buvo struktūriškai didelio persidengimo sluoksnio, kurį didžiosios paieškos sistemos per dvidešimt metų kartu sukūrė kiekviena plyta, rezultatas.

Tas pasaulis neegzistuoja LLM žemėje. Pagrindiniai tiekėjai treniruojasi naudodami skirtingus korpusus, vykdo skirtingas tikrinimo programas pagal skirtingas strategijas, nukreipia skirtingas užklausas per skirtingas paieškos sistemas ir taiko skirtingus derinimo procesus, kurie formuoja galutinį atsaką taip, kad prieš srovę gaunami signalai negali numatyti. Vieno teikėjo gairės, įskaitant „Google“ rekomendacijas dėl savo „Gemini“ produktų, yra vienas duomenų taškas. Praktikuojantys SEO įprotį, įprotį traktuoti vieno variklio nurodymus kaip maždaug visą žemėlapį, užtikrintai optimizuos vieną platformą ir praleis kitų.

Šoninė juosta: kai baigiau šį kūrinį, „Google“ paskelbė naujas gaires, kaip optimizuoti jų generuojančias AI funkcijas. Jų įrėminimas yra aiškus: „Google“ paieškos požiūriu optimizavimas dirbtinio intelekto paieškai vis dar yra SEO. Šis kadravimas yra tikslus „Google“ paieškoje. Tai netaikoma „ChatGPT“, „Claude“, „Perplexity“ ar bet kuriam kitam LLM, ir būtent apie tai yra spąstai šiame straipsnyje.

Bendri standartai, dėl kurių SEO gairės buvo nešiojamos

Nešiojamų patarimų era buvo sukurta remiantis tikru bendradarbiavimu, o ne atsitiktinumu. Svetainių schemų protokolas tapo bendra „Google“, „Yahoo“ ir „Microsoft“ nuosavybe 2006 m. lapkritį, kai trys varikliai oficialiai susitarė palaikyti bendrą 0.90 versijos protokolą, pagrįstą ankstesnėmis „Google“ svetainės schemomis 0.84 nuo 2005 m. birželio mėn. struktūrinių duomenų žymėjimo žodynas. Tai buvo pranešimas, kuris buvo paskelbtas SMX Advanced scenoje. Tuo metu buvau „Bing“ komandoje, o tada mane sužavėjo tai, kas aktualu ir dabar. Varikliai buvo konkurentai, bet jie nusprendė, kad bendras žodynas pasitarnaus jiems visiems. Žiniatinklio valdytojai turi vieną taisyklių rinkinį. Internetas gavo švaresnius duomenis. Varikliai gavo geresnius signalus. Visi laimėjo.

Šablonas pakartotas naudojant robots.txt – 1994 m. konvenciją, kuri 2022 m. IETF tapo RFC 9309, įforminant tai, ką jau gerbė kiekvienas rimtas tikrintuvas. Ir tai vėl pasikartojo, visai neseniai su IndexNow, 2021 m. spalį paleistu protokolu Microsoft Bing ir Yandex. Dabar IndexNow palaiko Bing, Yandex, Naver, Seznam ir Yep. „Google“ išbandė protokolą nuo 2021 m., tačiau jo nepriėmė.

Būtent dėl ​​šio persidengimo sluoksnio buvo saugu laikytis „Google“ nurodymų, net jei jums rūpėjo „Bing“ srautas. Signalai, kuriuos naudojo varikliai, nebuvo identiški, bet įvestis, kurią jie priėmė, protokolai, kurių jie laikėsi, ir reklamuojami standartai buvo tokie. Optimizavimas turėjo bendrą substratą.

Kur LLM kaminai iš tikrųjų skiriasi

LLM aplinka neturi panašaus dydžio bendro substrato. Skirtumai nėra kosmetiniai ir nėra laikini. Jie yra įtraukti į tai, kaip kuriamos sistemos.

Pradėkite nuo treniruočių duomenų. „OpenAI“ pasirašė atskleistus licencijavimo sandorius su „News Corp“, kurių vertė siekia iki 250 mln. USD per penkerius metus, „Axel Springer“ – maždaug 13 mln. USD per metus, „Reddit“ – maždaug 70 mln. „Google“ turi savo „Reddit“ sandorį, kurio vertė siekia 60 mln. USD per metus, suteikiantį prieigą prie duomenų API realiuoju laiku. „Anthropic“ viešai neatskleidė lygiaverčių leidėjų licencijavimo sandorių, todėl praktikuojantis asmuo susiduria su tokia neatskleista būsena. Korpusai, kurie tiekė šiuos modelius ir kurie toliau juos atnaujina, nėra tie patys dokumentai. Praktikuojantys asmenys negali žinoti, už ką kuris nors paslaugų teikėjas sumokėjo, o už ką ne.

Toliau skiriasi vikšrinė infrastruktūra. „OpenAI“ veikia trys atskiri robotai: „GPTBot“ mokymui, „OAI-SearchBot“ paieškos indeksavimui ir „ChatGPT-User“ naudotojo inicijuotam paieškai. Anthropic vykdo tris savo: ClaudeBot mokymui, Claude-SearchBot paieškai ir Claude-User vartotojo inicijuotam paieškai. „Perplexity“ veikia „PerplexityBot“ ir „Perplexity-User“. 2023 m. rugsėjį „Google“ pristatė „Google-Extended“ kaip naudotojo agentą, kuris kontroliuoja, ar „Google“ gali naudoti svetainės turinį treniruodama Dvynius, visiškai atskirtą nuo „Googlebot“, kuris tvarko tradicinį paieškos indeksavimą. Nėra vieno AI vartotojo agento. Kiekvienam teikėjui reikia atskiros taisyklės, o taisyklės nėra aiškios tarp teikėjų, nes robotai neatlieka lygiaverčių darbų lygiaverčiais būdais.

Paieškos architektūros skiriasi struktūriškai. „ChatGPT“ istoriškai naudojo „Bing“ indeksą kaip pagrindinį žiniatinklio paieškos šaltinį ir atrodo, kad šis ryšys vis dar yra pagrindinis, nors „OpenAI“ kartu su juo toliau kuria papildomą infrastruktūrą. „Perplexity“ sukūrė savo paieškos sistemą „Vespa“ pagrindu veikiančiu dujotiekiu, kuris apdoroja dokumentus ir dokumentų dalis kaip aukščiausios klasės nuskaitomus vienetus. „Google“ „Dvyniai“ naudoja „Google“ indeksą ir žinių schemos pagrindą. Claude'as naudoja „Brave Search“ kaip paieškos partnerį. Ta pati užklausa, keturios skirtingos paieškos sistemos, keturi skirtingi šaltiniai, kurie yra ir kuriuos šaltinius verta ieškoti.

Tada ateina derinimo sluoksnis, kuriame SEO visiškai neturėjo atitikmens. Po to, kai modelis yra apmokytas jo korpuse, paslaugų teikėjai vykdo po mokymo, kad nustatytų, kaip modelis iš tikrųjų elgiasi: tonas, atsisakymo modeliai, formatas, saugos laikysena, kas laikoma geru atsakymu. Pagrindinis OpenAI metodas buvo RLHF arba sustiprinimo mokymasis iš žmogaus grįžtamojo ryšio, kai vertintojai įvertina modelio rezultatus, o modelis išmoksta pateikti aukšto įvertinimo atsakymus. Anthropic sukūrė konstitucinį AI, kuris moko modelius kritikuoti ir peržiūrėti savo rezultatus pagal rašytinį principų rinkinį. Šios metodikos lemia akivaizdžiai skirtingą galutinių produktų elgesį. Tas pats gautas turinys, įtrauktas į du modelius, suderintus pagal dvi metodikas, gali duoti du iš esmės skirtingus atsakymus apie tą patį prekės ženklą.

Kai vieno teikėjo nurodymai akivaizdžiai nepasiekiami

Aiškiausias gairių, kurios neprieina, pavyzdys yra llms.txt. Jeremy Howardas iš Answer.AI 2024 m. rugsėjį pasiūlė failą kaip sumažinimo manifestą, patalpintą svetainės šaknyje, kuris nukreiptų LLM prie svarbiausio turinio. Pasiūlymas buvo priimtas visoje SEO bendruomenėje. Yoas pastatė generatorių. Agentūros įtraukė llms.txt kūrimą į savo paslaugų katalogus. Konferencijos pranešėjai pareiškė, kad tai būtina.

Iki 2026 m. vidurio nė vienas didelis LLM teikėjas nepatvirtino, kad naudoja failą. Ne OpenAI. Ne antropinis. Ne Google. Serverio žurnalo analizė šimtuose tūkstančių domenų rodo, kad pagrindiniai AI tikrintuvai paprastai visai neprašo /llms.txt. „Google“ darbuotojas Johnas Muelleris viešai palygino ją su nebenaudojama metaraktažodžių žyma. Gary Illyesas 2025 m. liepos mėn. „Search Central Live“ patvirtino, kad „Google“ nepalaiko llms.txt ir neplanuoja to daryti.

Apie tai rašiau kitur, todėl čia nekartosiu techninių dalykų. Šiam argumentui svarbi yra struktūrinė pamoka. Schema.org pavyko, nes trys varikliai jį sukūrė kartu, o paskui kartu įgyvendino. Llms.txt pasiūlė vienas tyrėjas, pasirinko įrankių pardavėjai, o platformos, kurias jis turėjo aptarnauti, nepaisė. Bendrų standartų modelis, suteikęs SEO nešiojamąsias gaires, nėra prieinamas LLM praktikams tuo pačiu mastu, nes platformos nekuria standartų kartu. Jie patys stato vamzdynus.

Dvynių inversija

Aiškiausia iliustracija, kiek pablogėjo gairių perkeliamumas, yra vienoje įmonėje. „Google“ skelbia savo SEO dokumentus „Search Central“ – kanoninių gairių, kurių pramonė laikėsi du dešimtmečius. Tuose dokumentuose pabrėžiami tradiciniai reitingavimo signalai, EEAT, turinio kokybė, techninis prieinamumas ir struktūrizuoti duomenys. Šios gairės vis dar naudingos pačiai „Google“ paieškai.

„Google“ taip pat gamina „Gemini“ – modelį, kuriame veikia AI apžvalgos ir „Google“ atskiras AI režimo paviršius. Ir neatrodo, kad tų paviršių citavimo elgesys sektų gaires, kurias ta pati bendrovė skelbia savo paieškos rezultatams.

2024 m. pabaigoje maždaug trys ketvirtadaliai puslapių, nurodytų AI apžvalgose, taip pat buvo „Google“ 12 geriausių pagal tą pačią užklausą. Iki 2026 m. pradžios, kai „Google“ sausio mėn. atnaujino AI apžvalgas į „Gemini 3“, „Ahrefs“ išanalizavo 4 milijonus AI apžvalgos URL ir nustatė, kad tik 38 % cituojamų puslapių taip pat buvo 10 populiariausių pagal tą pačią užklausą. Atskira „BrightEdge“ analizė parodė, kad persidengimas yra arčiau 17%. „SE Ranking“ atliktas darbas po atnaujinimo nustatė, kad „Gemini 3“ pakeitė maždaug 42% domenų, anksčiau nurodytų ankstesnėse modelių versijose, ir sukuria 32% daugiau šaltinių vienam atsakymui.

Atotrūkis dar labiau padidėja, kai žiūrite į „Google“ AI režimą, kuris yra atskiras pokalbio paviršius, veikiantis toje pačioje „Gemini“ šeimoje. „Semrush“ duomenys rodo, kad AI režimas ir AI apžvalgos semantiškai panašias išvadas daro 86 % atvejų, tačiau tuos pačius URL nurodo tik 13,7 % atvejų. Tik 14 % AI režimo šaltinių patenka į tradicinį „Google“ dešimtuką.

Iki šiol atrodo, kad kanoniniai santykiai pasikeitė. „Google“ paskelbtos SEO gairės vis dar yra švariausias kelias į reitingą „Google“ paieškoje. Tačiau šis reitingas nebėra patikimas „Google“ AI paviršių cituojamas tarpinis rodiklis. Tos pačios gairės, tas pats turinys, tas pats domenas gali duoti tris reikšmingai skirtingus rezultatus „Google“ paieškoje, AI apžvalgose ir AI režime, net jei visi trys gyvena toje pačioje įmonėje. Atrodo, kad senasis paieškos variklio nurodymų vykdymo ir pasitikėjimo, kad kiti variklio paviršiai elgsis nuosekliai, gairės neduoda tokios pat naudos, kaip anksčiau.

Kas vis dar yra prievadai ir kodėl jis mažesnis, nei atrodo

Universalus sluoksnis išgyvena. Tikrinimo programos pasiekiamumas vis dar svarbus kiekvienam teikėjui. Pirminio šaltinio faktinis turinys vis tiek sulaukia daugiau cituojamų šaltinių nei kaupiamasis pakartotinis pareiškimas. Švari nuskaitoma struktūra vis tiek padeda kiekvienai sistemai suprasti, apie ką yra puslapis. Buvimas aukšto rango šaltiniuose, kuriuos neproporcingai cituoja visi pagrindiniai LLM, Wikipedia, YouTube, Reddit, pagrindinės naujienų agentūros, vis dar veikia kaip jėgos daugiklis įvairiose platformose. Uždirbus matomumą šiuose šaltiniuose, turinys gali pasirodyti bet kuriame LLM, kuriame jie remiasi.

Tačiau universalus sluoksnis yra daug mažesnis nei buvo SEO eroje. „Qwairy“ atlikta 118 000 AI atsakymų analizė „ChatGPT“, „Perplexity“, „Google AI Mode“ ir „Claude“ atskleidė, kad tik 11 % nurodytų domenų atsirado keliose platformose. Kiti 89 % buvo susiję su platforma. Prekės ženklas, kuris laimi „Perplexity“ citatas, Claude gali būti beveik nematomas. Prekės ženklas, kuris yra įprastas ChatGPT nuoroda, gali iš viso nebūti AI apžvalgose. Tas pats turinys gali būti teisingas atsakymas vienai sistemai ir neteisingas atsakymas šalia jos esančiai sistemai.

Ką tai reiškia darbui

Praktinė prasmė yra neapleisti visos vilties. Tai yra tai, kad praktikai turi nustoti traktuoti bet kurį LLM teikėjo nurodymą kaip universalų žemėlapį ir pradėti laikyti jį vienu iš kelių. Perskaitykite, ką kiekvienas pagrindinis paslaugų teikėjas skelbia apie savo sistemas. Išbandykite savo matomumą įvairiose platformose, o ne tik platformoje, kurią dažniausiai naudojate. Skirtumą traktuokite kaip numatytąjį, o sutapimą – kaip išimtį, o ne atvirkščiai.

SEO veikė ne taip, o skirtumas yra svarbus. Senas refleksas buvo optimizuoti „Google“ ir pasitikėti perkeliamumu. Nauja realybė yra ta, kad vadovaudamiesi vieno LLM, net Google gairėmis apie Dvynius, būsite optimizuoti tam, kad pamatytumėte kraštovaizdžio gabalą ir galbūt apaktumėte likusiesiems. Ši disciplina atkuriama remiantis konkrečiai platformai skirtais darbais, kurių SEO eroje nebuvo, o specialistai, kurie tai pripažįsta, ateinančius dvejus metus skirs nustatydami standartus, kurių laikosi visi kiti.

Sutapimas sumažėjo. Dabar turite atlikti daugiau nei bet kada anksčiau darbo.

Jei turite minčių apie tai, kur jūsų darbe paslaugų teikėjų skirtumai yra didžiausi, susisiekite tiesiogiai. Aš tikrai norėčiau išgirsti, kas rodoma duomenyse.

Daugiau išteklių:

Šis įrašas iš pradžių buvo paskelbtas Duane Forrester Decodes.

Teminis vaizdas: Rawpixel.com/Shutterstock; Pauliaus poezija / paieškos sistemos žurnalas