admin 
Hostinger išanalizavo 66 milijardus robotų užklausų daugiau nei 5 milijonuose svetainių ir nustatė, kad dirbtinio intelekto tikrinimo programos eina dviem skirtingais keliais.
LLM mokymo robotai praranda prieigą prie žiniatinklio, nes vis daugiau svetainių juos blokuoja. Tuo tarpu AI pagalbiniai robotai, kurie gali naudoti paieškos įrankius, tokius kaip „ChatGPT“, plečia savo pasiekiamumą.
Analizė remiasi anoniminiais serverio žurnalais iš trijų 6 dienų langų, o robotų klasifikacija susieta su AI.txt projektų klasifikacijomis.
Mokomieji robotai blokuojami
Ryškiausias atradimas susijęs su OpenAI GPTBot, kuris renka duomenis modelio mokymui. Per tyrimo laikotarpį jo interneto svetainių aprėptis sumažėjo nuo 84% iki 12%.
„Meta's ExternalAgent“ buvo didžiausia mokymo kategorijos tikrinimo programa pagal užklausų apimtį „Hostinger“ duomenyse. „Hostinger“ teigia, kad ši mokomųjų robotų grupė rodo didžiausią nuosmukį, iš dalies nulemtą svetainių, blokuojančių dirbtinio intelekto mokomuosius tikrintuvus.
Šie skaičiai sutampa su modeliais, kuriuos stebėjau per kelis tyrimus. „BuzzStream“ nustatė, kad 79 % geriausių naujienų leidėjų dabar blokuoja bent vieną mokomąjį robotą. „Cloudflare“ metų apžvalga parodė, kad „GPTBot“, „ClaudeBot“ ir „CCBot“ turėjo daugiausiai visiško neleidimo direktyvų populiariausiuose domenuose.
Duomenys kiekybiškai parodo, ką tie tyrimai pasiūlė. „Hostinger“ mokomųjų robotų aprėpties sumažėjimą supranta kaip ženklą, kad vis daugiau svetainių blokuoja tuos tikrintuvus, net kai užklausų kiekis išlieka didelis.
Botų padėjėjai pasakoja kitokią istoriją
Nors mokomieji robotai susiduria su pasipriešinimu, AI paieškos įrankius maitinantys robotai plečia prieigą.
„OpenAI“ OAI-SearchBot, kuris gauna turinį „ChatGPT“ paieškos funkcijai, pasiekė 55,67 % vidutinę aprėptį. „TikTok“ robotas išaugo iki 25,67% ir sulaukė 1,4 mlrd. užklausų. „Apple“ robotas pasiekė 24,33% aprėpties.
Šiuos asistento tikrinimus suaktyvina naudotojas ir jie yra tikslesni. Jie tiesiogiai aptarnauja naudotojus, o ne renka mokymo duomenis, o tai gali paaiškinti, kodėl svetainėse su jais elgiamasi skirtingai.
Klasikinė paieška išlieka stabili
Viso tyrimo metu tradiciniai paieškos tikrintuvai išliko stabilūs. „Googlebot“ išlaikė 72 % vidutinę aprėptį su 14,7 mlrd. užklausų. Bingbot išliko 57,67% aprėpties.
Stabilumas skiriasi nuo AI kategorijos pokyčių. Pagrindinė „Google“ tikrinimo programa yra unikalioje padėtyje, nes jos blokavimas paveikia paieškos matomumą.
SEO įrankiai rodo mažėjimą
PVO ir rinkodaros tikrintuvų aprėptis mažėjo. Ahrefs išlaikė didžiausią pėdsaką – 60 % aprėpties, tačiau apskritai kategorija sumažėjo. Hostinger tai sieja su dviem veiksniais. Šios priemonės vis labiau orientuotos į svetaines, kurios aktyviai atlieka SEO darbą. O svetainių savininkai blokuoja daug išteklių reikalaujančias tikrinimo programas.
Pranešiau apie susirūpinimą dėl išteklių, kai „Vercel“ duomenys parodė, kad „GPTBot“ sugeneravo 569 mln. užklausų per vieną mėnesį. Kai kuriems leidėjams pralaidumo sąnaudos tapo verslo problema.
Kodėl tai svarbu
Duomenys patvirtina tendenciją, kuri vystėsi per pastaruosius metus. Svetainių operatoriai nubrėžia ribą tarp AI tikrintuvų, kuriuos leis, ir tų, kurių neleis.
Sprendimas priklauso nuo veikimo. Mokomieji robotai renka turinį, kad pagerintų modelius, nesiunčiant srauto atgal. Pagalbiniai robotai gauna turinį, kad atsakytų į konkrečius vartotojų klausimus, o tai reiškia, kad jie gali pateikti jūsų turinį AI paieškos rezultatuose.
„Hostinger“ siūlo vidurinį kelią: blokuokite mokomuosius robotus ir leiskite pagalbiniams robotams, kurie skatina atradimą. Tai leidžia dalyvauti AI paieškoje neprisidedant prie modelio mokymo.
Žvilgsnis į priekį
OpenAI rekomenduoja leisti OAI-SearchBot, jei norite, kad jūsų svetainė būtų rodoma ChatGPT paieškos rezultatuose, net jei blokuojate GPTBot.
OpenAI dokumentacija paaiškina skirtumą. OAI-SearchBot kontroliuoja įtraukimą į ChatGPT paieškos rezultatus ir gerbia robots.txt. „ChatGPT-User“ tvarko naudotojo inicijuotą naršymą ir robots.txt gali būti nevaldomas tokiu pačiu būdu.
Hostinger rekomenduoja patikrinti serverio žurnalus, kad pamatytumėte, kas iš tikrųjų patenka į jūsų svetainę, tada priimti blokavimo sprendimus pagal savo tikslus. Jei nerimaujate dėl serverio apkrovos, galite naudoti CDN lygio blokavimą. Jei norite potencialiai padidinkite savo AI matomumą, peržiūrėkite dabartinius AI tikrinimo naudotojų agentus ir leiskite tik konkrečius robotus, kurie palaiko jūsų strategija.
Teminis vaizdas: BestForBest / Shutterstock
