Šios savaitės klausime „Ask An SEO“ skaitytojas paklausė:

„Ar yra koks nors skirtumas tarp to, kaip AI sistemos apdoroja „JavaScript“ pateiktą arba interaktyviai paslėptą turinį, palyginti su tradiciniu „Google“ indeksavimu? Kokius techninius patikrinimus gali atlikti SEO, kad įsitikintų, jog visa puslapių svarbi informacija pasiekiama mašinoms?

Tai puikus klausimas, nes be LLM optimizavimo ažiotažas yra labai tikras techninis iššūkis: užtikrinti, kad jūsų turinį iš tikrųjų galėtų rasti ir perskaityti LLM.

Jau keletą metų SEO specialistai yra pakankamai skatinami Googlebot patobulinimų, leidžiančių tikrinti ir pateikti puslapius, kuriuose yra daug JavaScript. Tačiau naudojant naujus AI tikrintuvus taip gali nebūti.

Šiame straipsnyje apžvelgsime skirtumus tarp dviejų tipų tikrinimo ir kaip užtikrinti, kad svarbus tinklalapio turinys būtų pasiekiamas abiem.

Kaip „Googlebot“ pateikia „JavaScript“ turinį?

„Googlebot“ apdoroja „JavaScript“ trimis pagrindiniais etapais: tikrinimo, pateikimo ir indeksavimo. Paprastai ir paprastai paaiškiname, kaip veikia kiekvienas etapas:

Šliaužia

„Googlebot“ nustatys puslapius, kuriuos reikia tikrinti, kai juos aptiks žiniatinklyje. Tačiau ne kiekvienas puslapis, kuris patenka į eilę, bus tikrinamas, nes „Googlebot“ patikrins, ar aptikimas leidžiamas. Pavyzdžiui, jis matys, ar puslapis užblokuotas nuo tikrinimo naudojant robots.txt komandą neleisti.

Jei puslapis netinkamas tikrinti, „Googlebot“ jį praleis, atsisakydamas HTTP užklausos. Jei puslapį galima tikrinti, jis bus perkeltas, kad būtų pateiktas turinys.

Atvaizdavimas

„Googlebot“ patikrins, ar puslapis tinkamas indeksuoti, užtikrindamas, kad nebūtų užklausų jį palikti indekse, pvz., naudodamas „noindex“ metažymą. „Googlebot“ įtrauks puslapį į eilę, kurį reikia pateikti. Pateikimas gali įvykti per kelias sekundes arba gali likti eilėje ilgesnį laiką. Atvaizdavimas yra daug išteklių reikalaujantis procesas, todėl jis gali vykti ne akimirksniu.

Tuo tarpu robotas gaus DOM atsakymą; tai turinys, kuris pateikiamas prieš paleidžiant JavaScript. Paprastai tai yra puslapio HTML, kuris bus pasiekiamas, kai tik puslapis bus patikrintas.

Kai „JavaScript“ bus vykdoma, „Googlebot“ gaus visiškai sukurtą puslapį, „naršyklės pateikimą“.

Indeksavimas

Tinkami puslapiai ir informacija bus saugomi „Google“ indekse ir bus pasiekiami kaip paieškos rezultatai vartotojo užklausos vietoje.

Kaip „Googlebot“ tvarko interaktyviai paslėptą turinį?

Ne visas turinys pasiekiamas naudotojams, kai jie pirmą kartą patenka į puslapį. Pavyzdžiui, gali tekti spustelėti skirtukus, kad rastumėte papildomo turinio, arba išplėsti akordeoną, kad pamatytumėte visą informaciją.

„Googlebot“ neturi galimybės perjungti skirtukų arba spustelėti atidaryti akordeono. Taigi svarbu įsitikinti, kad jis gali išanalizuoti visą puslapio informaciją.

Būdas tai padaryti yra įsitikinti, kad informacija yra DOM, pirmą kartą įkeliant puslapį. Reiškia, turinys gali būti „paslėptas nuo vaizdo“ priekinėje dalyje prieš spustelėjus mygtuką, tačiau jis nėra paslėptas kode.

Pagalvokite apie tai taip: HTML turinys yra „paslėptas dėžutėje“; „JavaScript“ yra raktas atidaryti langelį. Jei „Googlebot“ turi atidaryti langelį, jis gali to turinio iš karto nematyti. Tačiau jei serveris atidarė langelį prieš „Googlebot“ užklausą, jis turėtų galėti pasiekti tą turinį per DOM.

Kaip padidinti tikimybę, kad „Googlebot“ galės skaityti jūsų turinį

Svarbiausia užtikrinti, kad „Googlebot“ galėtų analizuoti turinį, kad jis būtų pasiekiamas, robotui nereikalaujant pateikti „JavaScript“. Vienas iš būdų tai padaryti yra priverstinis atvaizdavimas pačiame serveryje.

Serverio atvaizdavimas yra procesas, kurio metu tinklalapis pateikiamas serveryje, o ne naršyklėje. Tai reiškia, kad HTML failas paruošiamas ir siunčiamas į vartotojo naršyklę (arba paieškos variklio robotą), o puslapio turinys pasiekiamas nelaukiant, kol bus įkeltas JavaScript. Taip yra todėl, kad serveris iš esmės sukūrė failą, kuriame jau pateiktas turinys; HTML ir CSS yra pasiekiami iš karto. Tuo tarpu „JavaScript“ failus, kurie yra saugomi serveryje, naršyklė gali atsisiųsti.

Tai prieštarauja kliento pusės atvaizdavimui, kai naršyklė turi gauti ir sukompiliuoti „JavaScript“, kad turinys būtų pasiekiamas tinklalapyje. Tai yra daug mažesnis serverio pakėlimas, todėl dažnai jį mėgsta svetainių kūrėjai, tačiau tai reiškia, kad robotai stengiasi pamatyti puslapio turinį, prieš tai nepateikdami JavaScript.

Kaip LLM robotai pateikia „JavaScript“?

Atsižvelgiant į tai, ką dabar žinome apie tai, kaip „Googlebot“ pateikia „JavaScript“, kuo tai skiriasi nuo AI robotų?

Svarbiausias elementas, kurį reikia suprasti apie tai, kad, skirtingai nei „Googlebot“, nėra „vieno“ valdymo organo, atstovaujančio visiems robotams, kurie gali būti įtraukti į „LLM robotus“. Tai reiškia, kad tai, ką gali padaryti vienas robotas, nebūtinai bus standartas visiems.

Robotai, kurie naršo žiniatinklį, kad aprūpintų LLM žinių bazes, nėra tas pats, kas robotai, kurie apsilanko puslapyje, kad laiku pateiktų informaciją vartotojui per paieškos variklį.

Ir Claude'o robotai neturi tokių pačių galimybių kaip OpenAI.

Kai svarstome, kaip užtikrinti, kad dirbtinio intelekto robotai galėtų pasiekti mūsų turinį, turime atsižvelgti į mažiausio pajėgumo robotus.

Mažiau žinoma apie tai, kaip LLM robotai pateikia „JavaScript“, daugiausia todėl, kad, skirtingai nei „Google“, AI robotai nesidalija šia informacija. Tačiau kai kurie labai protingi žmonės atliko testus, siekdami nustatyti, kaip kiekvienas iš pagrindinių LLM robotų tai tvarko.

2024 m. „Vercel“ paskelbė pagrindinių LLM robotų, įskaitant „OpenAI“, „Anthropic“, „Meta“, „ByteDance“ ir „Perplexity“, „JavaScript“ pateikimo galimybių tyrimą. Remiantis jų tyrimu, nė vienas iš šių robotų nesugebėjo pateikti JavaScript. Vieninteliai, kurie buvo, buvo „Gemini“ (naudojantis „Googlebot“ infrastruktūrą), „Applebot“ ir „CommonCrawl“ CCbot.

Visai neseniai Glennas Gabe'as dar kartą patvirtino Vercel išvadas, atlikdamas išsamią analizę, kaip ChatGPT, Perplexity ir Claude tvarko JavaScript. Jis taip pat nurodo, kaip išbandyti savo svetainę LLM, kad sužinotų, kaip jie tvarko jūsų turinį.

Tai yra labiausiai žinomi robotai iš kai kurių daugiausia finansuojamų AI įmonių šioje srityje. Suprantama, kad jei jie kovoja su „JavaScript“, taip pat bus mažiau finansuojami ar labiau nišiniai.

Kaip AI robotai tvarko interaktyviai paslėptą turinį?

Nelabai. Tai yra, jei interaktyviam turiniui reikalingas tam tikras „JavaScript“ vykdymas, jiems gali būti sunku jį išanalizuoti.

Siekiant užtikrinti, kad robotai galėtų matyti turinį, paslėptą už skirtukų arba akordeonuose, protinga užtikrinti, kad turinys būtų visiškai įkeltas į DOM, nevykdant JavaScript. Lankytojai vis tiek gali sąveikauti su turiniu, kad jį atskleistų, tačiau robotams to nereikės.

Kaip patikrinti, ar nėra „JavaScript“ atvaizdavimo problemų

Yra du labai paprasti būdai patikrinti, ar „Googlebot“ gali pateikti visą jūsų puslapio turinį:

Patikrinkite DOM naudodami kūrėjo įrankius

DOM (dokumento objekto modelis) yra tinklalapio sąsaja, vaizduojanti HTML puslapį kaip „mazgų“ ir „objektų“ seriją. Tai iš esmės susieja tinklalapio HTML šaltinio kodą su „JavaScript“, o tai įgalina tinklalapio funkcionalumą. Paprastais žodžiais tariant, galvokite apie tinklalapį kaip apie šeimos medį. Kiekvienas tinklalapio elementas yra medžio „mazgas“. Taigi, antraštės žyma

, pastraipa

ir paties puslapio turinys yra šeimos medžio mazgai.

Kai naršyklė įkelia tinklalapį, ji nuskaito HTML ir paverčia jį šeimos medžiu (DOM).

Kaip tai patikrinti

Pateiksiu jums tai, kaip pavyzdį, naudodamas „Chrome“ kūrėjo įrankius.

Puslapio DOM galite patikrinti apsilankę naršyklėje. Naudodami „Chrome“, dešiniuoju pelės mygtuku spustelėkite ir pasirinkite „Tikrinti“. Tada įsitikinkite, kad esate skirtuke „Elementai“.

Jei norite pamatyti, ar turinys matomas jūsų tinklalapyje nevykdant JavaScript, galite jo ieškoti čia. Jei pirmą kartą įkeldami puslapį (ir toliau su juo nebendraujate) randate turinį visiškai DOM, tada jis turėtų būti matomas Googlebot ir LLM robotams.

Naudokite Google Search Console

Jei norite patikrinti, ar turinys matomas būtent „Googlebot“, galite naudoti „Google Search Console“.

Pasirinkite puslapį, kurį norite išbandyti, ir įklijuokite jį į lauką „Tikrinti bet kokį URL“. Tada „Search Console“ nukreips jus į kitą puslapį, kuriame galėsite „Išbandyti tiesioginį URL“. Kai išbandysite tiesioginį puslapį, jums bus parodytas kitas ekranas, kuriame galėsite pasirinkti „Peržiūrėti patikrintą puslapį“.

Kaip patikrinti, ar LLM robotas gali matyti jūsų turinį

Pagal Glenno Gabeo eksperimentus galite paklausti pačių LLM, ką jie gali perskaityti iš konkretaus tinklalapio. Pavyzdžiui, galite paraginti juos perskaityti straipsnio tekstą. Jie atsakys pateikdami paaiškinimą, jei negalės dėl „JavaScript“.

HTML šaltinio peržiūra

Jei dirbame pagal mažiausią bendrą vardiklį, būtų protinga manyti, kad šiuo metu LLM negali skaityti turinio JavaScript. Norėdami įsitikinti, kad jūsų turinys yra pasiekiamas tinklalapio HTML, kad robotai tikrai galėtų jį pasiekti, įsitikinkite, kad jūsų puslapio turinį gali skaityti šie robotai. Įsitikinkite, kad jis yra šaltinio HTML. Norėdami tai patikrinti, eikite į „Chrome“ ir dešiniuoju pelės mygtuku spustelėkite puslapį. Meniu pasirinkite „Peržiūrėti puslapio šaltinį“. Jei galite „rasti“ tekstą šiame kode, žinote, kad jis yra puslapio šaltinio HTML.

Ką tai reiškia jūsų svetainei?

Iš esmės per daugelį metų „Googlebot“ buvo sukurtas taip, kad būtų daug geriau valdantis „JavaScript“ nei naujesni LLM robotai. Tačiau tikrai svarbu suprasti, kad LLM robotai nebando tikrinti ir pateikti žiniatinklio taip, kaip „Googlebot“. Nemanykite, kad jie kada nors bandys imituoti „Googlebot“ elgesį. Nelaikykite jų „už“ Googlebot. Jie yra visiškai kitoks žvėris.

Svetainėje tai reiškia, kad turite patikrinti, ar jūsų puslapis įkelia visą susijusią informaciją į DOM pirmą kartą įkeliant puslapį, kad atitiktų „Googlebot“ poreikius. Jei norite būti tikri, kad LLM robotai turi turinį, patikrinkite savo statinį HTML.

Daugiau išteklių:

Išskirtinis vaizdas: Paulo Bobita / Search Engine Journal