admin 
AI matomumas atlieka labai svarbų vaidmenį SEO, ir tai prasideda nuo AI tikrinimo programų valdymo. Jei dirbtinio intelekto tikrinimo programos negali pasiekti jūsų puslapių, esate nematomas AI aptikimo varikliams.
Kita vertus, nekontroliuojami dirbtinio intelekto tikrintuvai gali priblokšti serverius perteklinėmis užklausomis, sukeldami strigtis ir netikėtas prieglobos sąskaitas.
Vartotojo agento eilutės yra būtinos norint kontroliuoti, kurios AI tikrinimo programos gali pasiekti jūsų svetainę, tačiau oficialūs dokumentai dažnai yra pasenę, neišsamūs arba jų visai trūksta. Taigi, kaip naudingą nuorodą, sukūrėme patikrintą AI tikrintuvų sąrašą iš tikrųjų serverio žurnalų.
Kiekvienas vartotojo agentas yra patikrintas pagal oficialius IP sąrašus, kai jie yra, užtikrinant tikslumą. Tvarkysime ir atnaujinsime šį sąrašą, kad gautume naujus tikrintuvus ir esamų pakeitimus.
Visas patvirtintas AI tikrintuvų sąrašas (2025 m. gruodžio mėn.)
| Vardas | Tikslas | SEJ tikrinimo greitis (puslapiai per valandą) | Patvirtintas IP sąrašas | Robots.txt neleidžiama | Pilnas vartotojo agentas |
|---|---|---|---|---|---|
| GPTBot | AI mokymo duomenų rinkimas GPT modeliams („ChatGPT“, GPT-4o) | 100 | Oficialus IP sąrašas | Vartotojo agentas: GPTBot Leisti: / Neleisti: /private-folder | Mozilla/5.0 AppleWebKit/537.36 (KHTML, kaip Gecko; suderinamas; GPTBot/1.3; +https://openai.com/gptbot) |
| „ChatGPT“ naudotojas | AI agentas, skirtas naršyti internete realiuoju laiku, kai vartotojai sąveikauja su „ChatGPT“. | 2400 | Oficialus IP sąrašas | Vartotojo agentas: „ChatGPT“ naudotojas Leisti: / Neleisti: /private-folder | Mozilla/5.0 AppleWebKit/537.36 (KHTML, kaip Gecko); suderinamas; „ChatGPT-User/1.0“; +https://openai.com/bot |
| OAI-SearchBot | AI paieškos indeksavimas ChatGPT paieškos funkcijoms (ne mokymui) | 150 | Oficialus IP sąrašas | Vartotojo agentas: OAI-SearchBot Leisti: / Neleisti: /private-folder | Mozilla/5.0 („Macintosh“; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, kaip „Gecko“) Chrome/131.0.0.0 Safari/537.36; suderinamas; OAI-SearchBot/1.3; +https://openai.com/searchbot |
| ClaudeBot | AI mokymo duomenų rinkimas Claude modeliams | 500 | Oficialus IP sąrašas | Vartotojo agentas: ClaudeBot Leisti: / Neleisti: /private-folder | Mozilla/5.0 AppleWebKit/537.36 (KHTML, kaip Gecko; suderinamas; ClaudeBot/1.0; +claudebot@anthropic.com) |
| Claude-User | AI agentas, skirtas prieigai prie žiniatinklio realiuoju laiku, kai Claude vartotojai naršo | <10 | Nėra | Vartotojo agentas: Claude-User Neleisti: /sample-folder | Mozilla/5.0 AppleWebKit/537.36 (KHTML, kaip Gecko; suderinamas; Claude-User/1.0; +Claude-User@anthropic.com) |
| Claude-SearchBot | AI paieškos indeksavimas Claude paieškos galimybėms | <10 | Nėra | Vartotojo agentas: Claude-SearchBot Leisti: / Neleisti: /private-folder | Mozilla/5.0 AppleWebKit/537.36 (KHTML, kaip Gecko; suderinamas; Claude-SearchBot/1.0; +https://www.anthropic.com) |
| Google-CloudVertexBot | AI agentas, skirtas Vertex AI Agent Builder (tik svetainės savininkų prašymas) | <10 | Oficialus IP sąrašas | Vartotojo agentas: Google-CloudVertexBot Leisti: / Neleisti: /private-folder | Mozilla/5.0 („Linux“; „Android 6.0.1“; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, kaip „Gecko“) Chrome/141.0.7390.122 Mobile Safari/537.36 (suderinamas; Google-CloudVertexBoot;.search/ |
| „Google“ išplėstas | Ženklas, valdantis „Googlebot“ tikrinamo turinio AI mokymo naudojimą. | Vartotojo agentas: „Google-Extended“. Leisti: / Neleisti: /private-folder | |||
| Dvynių giluminiai tyrimai | AI tyrimų agentas, skirtas „Google Gemini“ giliųjų tyrimų funkcijai | <10 | Oficialus IP sąrašas | Vartotojo agentas: Gemini-Deep-Research Leisti: / Neleisti: /private-folder | Mozilla/5.0 AppleWebKit/537.36 (KHTML, kaip Gecko; suderinamas; Gemini-Deep-Research; +https://gemini.google/overview/deep-research/) Chrome/135.0.0.0 Safari/537.36 |
| Dvynių pokalbis, kai vartotojas prašo atidaryti tinklalapį | <10 | ||||
| Bingbotas | Suteikia Bing paieškos ir Bing Chat (Copilot) AI atsakymus | 1300 | Oficialus IP sąrašas | Vartotojo agentas: BingBot Leisti: / Neleisti: /private-folder | Mozilla/5.0 AppleWebKit/537.36 (KHTML, kaip Gecko; suderinamas; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36 |
| „Applebot-Extended“. | Nenuskaito, bet kontroliuoja, kaip „Apple“ naudoja „Applebot“ duomenis. | <10 | Oficialus IP sąrašas | Vartotojo agentas: Applebot-Extended Leisti: / Neleisti: /private-folder | Mozilla / 5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, kaip Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot) |
| PerplexityBot | AI paieškos indeksavimas „Perplexity“ atsakymų varikliui | 150 | Oficialus IP sąrašas | Vartotojo agentas: PerplexityBot Leisti: / Neleisti: /private-folder | Mozilla/5.0 AppleWebKit/537.36 (KHTML, kaip Gecko; suderinamas; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) |
| Sumišimas-vartotojas | AI agentas, skirtas naršyti realiuoju laiku, kai „Perplexity“ naudotojai prašo informacijos | <10 | Oficialus IP sąrašas | Vartotojo agentas: Perplexity-User Leisti: / Neleisti: /private-folder | Mozilla/5.0 AppleWebKit/537.36 (KHTML, kaip Gecko; suderinamas; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) |
| Meta išorinis agentas | AI mokymo duomenų rinkimas, skirtas Meta LLM (lama ir kt.) | 1100 | Nėra | Vartotojo agentas: meta išorinis agentas Leisti: / Neleisti: /private-folder | meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler) |
| Meta-WebIndexer | Įpratę pagerinti Meta AI paiešką. | <10 | Nėra | Vartotojo agentas: Meta-WebIndexer Leisti: / Neleisti: /private-folder | meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler) |
| Bytespider | AI mokymo duomenys, skirti ByteDance LLM tokiems produktams kaip TikTok | <10 | Nėra | Vartotojo agentas: „Bytespider“. Leisti: / Neleisti: /private-folder | Mozilla/5.0 („Linux“; Android 5.0) AppleWebKit/537.36 (KHTML, kaip „Gecko“) „Mobile Safari“/537.36 (suderinamas; „Bytespider“; https://zhanzhang.toutiao.com/) |
| Amazonbot | AI mokymai, skirti Alexa ir kitoms Amazon AI paslaugoms | 1050 | Nėra | Vartotojo agentas: Amazonbot Leisti: / Neleisti: /private-folder | Mozilla/5.0 AppleWebKit/537.36 (KHTML, kaip Gecko; suderinamas; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36 |
| DuckAssistBot | AI paieškos indeksavimas DuckDuckGo paieškos varikliui | 20 | Oficialus IP sąrašas | Vartotojo agentas: DuckAssistBot Leisti: / Neleisti: /private-folder | DuckAssistBot/1.2; (+http://duckduckgo.com/duckassistbot.html) |
| „MistralAI“ naudotojas | „Mistral“ realiojo laiko citatų gavimo priemonė „Le Chat“ asistentui | <10 | Nėra | Vartotojo agentas: MistralAI-User Leisti: / Neleisti: /private-folder | Mozilla/5.0 AppleWebKit/537.36 (KHTML, kaip Gecko; suderinamas; MistralAI-User/1.0; +https://docs.mistral.ai/robots) |
| Webz.io | Duomenų išgavimas ir žiniatinklio rinkimas, naudojamas kitų AI mokymo įmonių. Anksčiau žinomas kaip Omgili. | <10 | Nėra | Vartotojo agentas: webzio Leisti: / Neleisti: /private-folder | webzio (+https://webz.io/bot.html) |
| Diffbot | Duomenų išgavimas ir žiniatinklio rinkimas, kurį naudoja įmonės visame pasaulyje. | <10 | Nėra | Vartotojo agentas: Diffbot Leisti: / Neleisti: /private-folder | Mozilla/5.0 („Windows“; U; „Windows NT 5.1“; en-US; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2 (.NET CLR 3.5.30729; Diffbot/0.1; +http://www.diffbot.com) |
| ICC-Crawler | AI ir mašininio mokymosi duomenų rinkimas | <10 | Nėra | Vartotojo agentas: ICC-Crawler Leisti: / Neleisti: /private-folder | ICC-Crawler/3.0 (suderinamas su „Mozilla“; https://ucri.nict.go.jp/en/icccrawler.html) |
| CCBot | Atvirojo kodo žiniatinklio archyvas, kurį kaip mokymo duomenis naudoja kelios AI įmonės | <10 | Oficialus IP sąrašas | Vartotojo agentas: CCBot Leisti: / Neleisti: /private-folder | CCBot/2.0 (https://commoncrawl.org/faq/) |
Visos aukščiau pateiktos vartotojo agento eilutės buvo patikrintos pagal paieškos variklio žurnalo serverio žurnalus.
Populiarūs AI agentų tikrintuvai su neatpažįstamu vartotojo agentu
Nustatėme, kad šie asmenys nenustatė savęs:
- you.com.
- „ChatGPT“ agentas, operatorius.
- Bing Copilot pokalbis.
- Grok.
Nėra jokio būdo stebėti, kad ši tikrinimo programa nepasiektų tinklalapių, išskyrus aiškų IP identifikavimą.
Sukūrėme spąstų puslapį (e.g., /specific-page-for-you-com/) ir pasinaudojo puslapyje esančiu pokalbiu, kad paskatintų you.com jame apsilankyti, o tai leis mums rasti atitinkamą apsilankymo įrašą ir IP adresą mūsų serverio žurnaluose. Žemiau yra ekrano kopija:
O kaip su „Agentic AI“ naršyklėmis?
Deja, dirbtinio intelekto naršyklės, pvz., „Comet“ ar „ChatGPT's Atlas“, nesiskiria vartotojo agento eilutėje, todėl negalite jų identifikuoti serverio žurnaluose ir susimaišyti su įprastais naudotojų apsilankymais.
Tai nuvilia SEO, nes norint pranešti apie POV svarbu stebėti tarpininkų naršyklės apsilankymus svetainėje.
Kaip patikrinti, kas tikrina jūsų serverį
Kai kurios prieglobos įmonės siūlo vartotojo sąsają (UI), kuri leidžia lengvai pasiekti ir peržiūrėti serverio žurnalus, atsižvelgiant į tai, kokią prieglobos paslaugą naudojate.
Jei jūsų priegloba to nesiūlo, galite gauti serverio žurnalo failus (paprastai esančius /var/log/apache2/access.log „Linux“ pagrindu veikiančiuose serveriuose) per FTP arba paprašykite savo serverio palaikymo, kad jis jums atsiųstų.
Kai turėsite žurnalo failą, galėsite jį peržiūrėti ir analizuoti naudodami „Google“ skaičiuokles (jei failas yra CSV formatu), „Screaming Frog's log“ analizatoriumi arba, jei žurnalo failas yra mažesnis nei 100 MB, galite pabandyti jį analizuoti naudodami „Gemini AI“.
Kaip patikrinti teisėtą vs. Padirbti robotai
Suklastotos tikrinimo programos gali apgauti teisėtus naudotojų agentus, kad apeitų apribojimus ir agresyviai iškrapšytų turinį. Pavyzdžiui, bet kas gali apsimesti ClaudeBot iš savo nešiojamojo kompiuterio ir inicijuoti tikrinimo užklausą iš terminalo. Savo serverio žurnale matysite jį, kai Claudebot jį tikrina:
curl -A 'Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)' https://example.comPatvirtinimas gali padėti sutaupyti serverio pralaidumo ir užkirsti kelią neteisėtam turinio rinkimui. Patikimiausias patvirtinimo būdas, kurį galite taikyti, yra užklausos IP tikrinimas.
Patikrinkite visus IP ir nuskaitykite, kad jie atitiktų, jei tai yra vienas iš anksčiau išvardytų oficialiai deklaruotų IP. Jei taip, galite patenkinti prašymą; kitu atveju blokuokite.
Įvairių tipų ugniasienės gali padėti tai padaryti, naudodamos leistinų IP adresų sąrašą (kuris leidžia perduoti teisėtas robotų užklausas), o visos kitos užklausos, apsimetinėjančios AI tikrintuvais jų vartotojo agentų eilutėse, yra blokuojamos.
Pvz., „WordPress“ galite naudoti nemokamą „Wordfence“ įskiepį, kad įtrauktumėte teisėtus IP iš oficialių sąrašų (kaip nurodyta aukščiau) ir įtrauktumėte blokavimo tinkintas taisykles, kaip nurodyta toliau:
Leidžiamo sąrašo IP nustatymas programoje Wordfence
Blokuoti vartotojo agento nustatymą Wordfence
Leidžiamųjų sąrašo taisyklė yra pranašesnė ir leis teisėtiems tikrintuvams pereiti ir blokuoti bet kokią apsimetinėjimo užklausą, gaunamą iš skirtingų IP.
Tačiau atminkite, kad IP adresą galima suklastoti, ir tokiu atveju, kai roboto naudotojo agentas ir IP yra klastojami, jo blokuoti negalėsite.
Išvada: kontroliuokite AI tikrintuvus, kad užtikrintumėte patikimą AI matomumą
Dirbtinio intelekto tikrintuvai dabar yra mūsų žiniatinklio ekosistemos dalis, o čia išvardyti robotai yra pagrindinės AI platformos, šiuo metu indeksuojančios žiniatinklį, nors šis sąrašas greičiausiai augs.
Reguliariai tikrinkite serverio žurnalus, kad pamatytumėte, kas iš tikrųjų patenka į jūsų svetainę, ir įsitikinkite, kad netyčia neužblokuojate dirbtinio intelekto tikrintuvų, jei jūsų verslui svarbus matomumas AI paieškos sistemose. Jei nenorite, kad dirbtinio intelekto tikrintuvai pasiektų jūsų turinį, užblokuokite juos naudodami robots.txt naudodami vartotojo agento pavadinimą.
Šį sąrašą nuolat atnaujinsime, kai atsiras naujų tikrintuvų, ir atnaujinsime esamus, todėl rekomenduojame pažymėti šį URL arba reguliariai perskaityti šį straipsnį, kad jūsų AI tikrintuvų sąrašas būtų atnaujintas.
Daugiau išteklių:
Teminis vaizdas: BestForBest / Shutterstock
