admin 
„Google“ inžinierius perspėjo, kad AI agentai ir automatiniai robotai netrukus užtvindys internetą srautu.
Gary Illyes, dirbantis „Google“ paieškos santykių komandoje, sakė: „Visi ir mano močiutė pradeda tikrintį“ per neseniai vykusį podcast'ą.
Įspėjimas yra iš naujausios „Google“ paieškos iš įrašų transliacijos epizodo.
PG agentai įtemps svetaines
Per savo pokalbį su kolegomis paieškos santykių komandos nariu Martin Splitt, Illyes perspėjo, kad AI agentai ir „AI shenanigans“ bus reikšmingi naujojo interneto srauto šaltiniai.
Illyesas sakė:
„Žiniatinklis yra perpildytas … tai nėra kažkas, ko internetas negali tvarkyti … žiniatinklis yra sukurtas taip, kad galėtų valdyti visą tą srautą, net jei jis yra automatinis“.
Šis padidėjimas atsiranda, kai įmonės diegia AI įrankius turinio kūrimui, konkurentų tyrimams, rinkos analizei ir duomenų rinkimui. Tikimasi, kad kiekvienas įrankis reikalauja, kad svetainės veiktų, ir sparčiai augant AI priėmimui, tikimasi, kad šis srautas padidės.
Kaip veikia „Google“ tikrinimo sistema
Podcast'as pateikia išsamią „Google“ nuskaitymo sąrankos diskusiją. Užuot naudojęsi skirtingais kiekvieno produkto tikrinimo priemonėmis, „Google“ sukūrė vieną vieningą sistemą.
„Google Search“, „AdSense“, „Gmail“ ir kiti produktai naudoja tą pačią tikrinimo infrastruktūrą. Kiekvienas iš jų identifikuoja save su skirtingu vartotojo agento pavadinimu, tačiau visi laikosi tų pačių „Robots.txt“ ir „Server Health“ protokolų.
Illyes paaiškino:
„Galite su ja atsigauti iš interneto, tačiau turite nurodyti savo vartotojo agento eilutę“.
Šis vieningas požiūris užtikrina, kad visi „Google“ tikrinimo įrenginiai laikosi tų pačių protokolų ir padidintų, kai svetainės susiduria su sunkumais.
Tikrasis šaltinis? Tai ne tik šliaužioja
Illyes metė iššūkį įprastinei SEO išmintims, turėdamas potencialiai prieštaringai vertinamą teiginį: tikrinimas nenaudoja reikšmingų išteklių.
Illyes pareiškė:
„Tai nėra tikrinimas, kad suvalgo išteklius, tai yra indeksavimas ir galimai aptarnauja ar tai, ką darote su duomenimis.“
Jis net juokavo, kad jis „šauks internete“ už tai, kad tai pasakė.
Ši perspektyva leidžia manyti, kad paimti puslapius naudojami minimalūs ištekliai, palyginti su duomenų apdorojimu ir saugojimu. Tiems, kuriems rūpi nuskaitymo biudžetas, tai gali pakeisti optimizavimo prioritetus.
Nuo tūkstančių iki trilijonų: interneto augimas
„Google“ atstovai pateikė istorinį kontekstą. 1994 m. Pasaulio interneto kirminų paieškos variklis indeksavo tik 110 000 puslapių, o „Webcrawler“ pavyko indeksuoti 2 mln. Šiandien atskiros svetainės gali viršyti milijonus puslapių.
Dėl greito augimo reikėjo technologinės evoliucijos. Lankytojai progresavo nuo pagrindinių HTTP 1.1 protokolų iki modernių HTTP/2, kad būtų greitesnės jungtys, su HTTP/3 palaikymu horizonte.
„Google“ efektyvumo mūšis
Praėjusiais metais „Google“ praleido bandydama sumažinti tikrinantį pėdsaką, pripažindama naštą svetainių savininkams. Tačiau ir toliau kyla naujų iššūkių.
Illyes paaiškino dilemą:
„Iš kiekvieno jūsų pateikto prašymo išsaugojote septynis baitus, tada šis naujas produktas pridės aštuonis.“
Kiekvieną efektyvumo padidėjimą kompensuoja nauji AI produktai, reikalaujantys daugiau duomenų. Tai ciklas, kuris nerodo jokių sustojimo požymių.
Kokius svetainių savininkus turėtų daryti
Būsimas eismo antplūdis reikalauja veiksmų keliose srityse:
- Infrastruktūra: Dabartinis priegloba gali nepalaikyti numatomos apkrovos. Įvertinkite serverio talpą, CDN parinktis ir reagavimo laiką prieš įvykstant antplūdžiui.
- Prieigos kontrolė: Peržiūrėkite robots.txt taisykles, skirtas valdyti, kuriuos AI tikrinimo įrenginiai gali pasiekti jūsų svetainę. Blokuokite nereikalingus robotus, tuo pačiu leisdami teisėtoms funkcijoms tinkamai veikti.
- Duomenų bazės veikimas: Illyes konkrečiai atkreipė dėmesį į „brangius duomenų bazės skambučius“ kaip problemiškus. Optimizuokite užklausas ir įgyvendinkite talpyklą, kad palengvintumėte serverio kamieną.
- Stebėjimas: Atskirkite teisėtus tikrinimo priemones, AI agentus ir kenksmingus robotus atlikdami išsamią žurnalo analizę ir sekimą.
Kelias į priekį
Illyes atkreipė dėmesį į bendrą nuskaitymą kaip potencialų modelį, kuris vieną kartą nuskaito ir dalijasi duomenimis viešai, sumažindamas nereikalingą srautą. Panašūs bendradarbiavimo sprendimai gali atsirasti, kai internetas prisitaiko.
Nors „Illyes“ išreiškė pasitikėjimą interneto galimybėmis valdyti padidėjusį srautą, pranešimas yra aiškus: PG agentai atvyksta į didžiulį skaičių.
Svetainės, kurios sustiprina jų infrastruktūrą, dabar bus geriau aprūpintos audra. Tie, kurie laukia, gali būti priblokšti, kai įvyks visa bangos jėga.
Klausykite viso podcast'o epizodo žemiau:
https://www.youtube.com/watch?v=igguggonz1e
Pateiktas vaizdas: kolagija/„Shutterstock“
