admin 
„Cloudflare“ atnaujina savo AI tikrintuvų identifikavimo ir blokavimo metodą, todėl „Googlebot“ gali būti užblokuotas svetainėse, kurios neleidžia dirbti dirbtinio intelekto. Bendrovė paskelbė atnaujinimą kaip savo antrosios turinio nepriklausomybės dienos dalį.
Nauji valdikliai leidžia svetainėms valdyti automatinį srautą, pagrįstą trimis elgesiu, o ne vienu jungikliu „blokuoti AI robotus“. Jie dabar yra tiesiogiai prieinami visiems klientams, įskaitant nemokamą pakopą. Atskiras numatytųjų pakeitimų rinkinys įsigalioja rugsėjo 15 d.
Trys būdai rūšiuoti AI tikrintuvus
„Cloudflare“ dabar rūšiuoja tikrintuvus pagal tai, ką jie veikia svetainėje, o ne pagal tai, ar jie laikomi „AI“. Bendrovė suskirsto AI naudojimo atvejus į tris kategorijas:
- Paieška indeksuoja svetainę, kad vėliau galėtų atsakyti į klausimus, o „Cloudflare“ susieja šį elgesį su persiuntimo srautu.
- Agentas, realaus laiko robotai, veikiantys asmeniui, pvz., „ChatGPT-User“, arba naršyklės agentai, tokie kaip „Gemini“ ar „Claude“, valdantys „Chrome“.
- Treniruotės, šliaužiojimas, traukiantis turinį, norint išmokyti ar tobulinti modelį.
„Cloudflare“ teigia, kad robotų operatoriai turėtų paleisti atskiras tikrinimo programas kiekvienam elgesiui, kad svetainės galėtų pamatyti, kodėl robotas lankosi, ir nuspręsti, ar jį leisti, ar blokuoti.
Kas pasikeis rugsėjo 15 d
Du numatytieji pakeitimai įsigalios rugsėjo 15 d. Naujiems klientams ir naujoms esamų klientų svetainėms mokymo ir agentų tikrinimo programos bus blokuojamos pagal numatytuosius nustatymus puslapiuose, kuriuose rodomi skelbimai, o paieška bus leidžiama. „Cloudflare“ pranešime spaudai taip pat teigiama, kad esami nemokami klientai, kurie nepakeitė savo nustatymų iki rugsėjo 15 d., bus perkelti į šiuos numatytuosius nustatymus.
Antrasis pakeitimas yra dar didesnis. „Cloudflare“ pradės tvarkyti daugiafunkcinius tikrintuvus, atsižvelgdama į jų bendrą elgesį, taikydama griežčiausią galiojančią taisyklę. Pavyzdžiui, tikrinimo programa, kuri atlieka ir paiešką, ir mokymus, bus užblokuota, jei svetainė blokuoja mokymą. „Cloudflare“ kaip pavyzdžius naudoja „Googlebot“, „Applebot“ ir „Bingbot“, nes kiekvienas tikrina ir paieškos, ir AI mokymus. Jei svetainė jau įgalino senesnį nustatymą „Blokuoti AI robotus“, jai bus taikoma ši nauja taisyklė.
Jei norite pasilikti šias tikrinimo programas, galite peržiūrėti arba pakeisti šiuos nustatymus „Cloudflare“ prietaisų skydelyje bet kuriuo metu iki rugsėjo 15 d. „Cloudflare“ teigia, kad ir toliau informuos klientus iš anksto.
Nauji signalai, kaip robotai naudoja turinį
„Cloudflare“ taip pat išbando turinio naudojimo signalą, kuris išplečia turinio signalus faile robots.txt. Ji turi tris vertybes, nuo didžiausios iki mažiausiai ribojančios: tiesioginė, kuri nieko nesaugo; nuoroda, kuri indeksuoja ir susieja atgal ir yra nauja numatytoji nuostata; ir pilnas, kuris apibendrina ir atkuria. „Cloudflare“ teigia, kad jie teikia pirmenybę ir neužblokuoja savaime.
Bendrovė peržiūrėjo robotų „Patikrinta“ apibrėžimą. Dabar patvirtintas robotas automatiškai neleidžiamas visur; Vietoj to, jo prieiga priklauso nuo jo kategorijos. Be to, robotai, kurie atkartoja visą turinį, negali būti patvirtinti. „Cloudflare“ pristatė paieškos katalogą „BotBase“, skirtą „Enterprise Bot Management“ vartotojams, kuriame rodoma kiekvieno stebimo roboto klasifikacija ir kopijuojamas saugos taisyklių aptikimo ID.
Pokyčių ataskaita
Atnaujinimas buvo pateiktas kartu su „Cloudflare“ ataskaita, mininčia pirmosios turinio nepriklausomybės dienos vienerių metų sukaktį. Ataskaitoje teigiama, kad dirbtinio intelekto mokymas dabar sudaro didžiąją dalį tikrinimo programos užklausų tinkle, ty daugiau nei 20 % 2025 m. pavasarį. Taip pat pažymima, kad kasdienių AI agentų užklausų per metus padidėjo daugiau nei 1 700 %. Ši statistika pagrįsta „Cloudflare“ tinklo srautu ir neatspindi viso žiniatinklio.
Kodėl tai svarbu
Rugsėjo 15 d. taisyklė susieja AI mokymo blokus su paieškos tikrinimu „Cloudflare“ tinkle. Jei svetainė blokuoja mokymą, kad apsaugotų savo turinį nuo AI modelių, ji taip pat gali netyčia blokuoti „Googlebot“, nes „Cloudflare“ blokas veikia tinklo lygiu, todėl jį sunkiau apeiti nei paprastą robots.txt eilutę, į kurią „Google“ gali nepaisyti, nes „Cloudflare“ blokas veikia tinklo lygiu, nes robots.txt yra patariamoji instrukcija, kaip tikrinti. Praradus „Googlebot“ prieigą, svetainė nebus tikrinama taip efektyviai, o tai galiausiai gali turėti įtakos jos matomumui paieškos rezultatuose.
Stebėjau leidėjus, pereinančius prie numatytųjų atmetimo sąrankų ir blokuojančių nuskaitymą bei mokymą robotai baigėsi praėjusiais metais. Ekspozicija kiekvieną kartą yra tokia pati. Užblokavus mokymo sluoksnį taip pat galima užblokuoti paieškos sluoksnį, kuris leidžia rasti svetainę.
Žvilgsnis į priekį
Svetainės, kuriose naudojama „Cloudflare“, turėtų peržiūrėti savo AI blokavimo nustatymus iki rugsėjo 15 d. ir nuspręsti, ar palikti įjungtus paieškos tikrintuvus. Kombinuoto tikrinimo taisyklė daugiausia paveikia tuos, kurie anksčiau įjungė „Blokuoti AI robotus“ ir nuo tada nekoregavo savo nustatymų. Nemokami vartotojai, kurie nekeičia savo nustatymų, tą dieną bus atnaujinami į naujus numatytuosius nustatymus.
„Cloudflare“ nori, kad mišrios paskirties tikrintuvų operatoriai per ateinančius metus atskirtų tuos robotus pagal elgesį. Ar pagrindiniai operatoriai skirs savo robotus pagal elgesį, priklausys, ar tai taps tikru pasirinkimu, o ne kompromisu tarp AI mokymo blokavimo ir paieškos matomumo palaikymo.
Teminis vaizdas: jackpress/Shutterstock
