admin 
„Google“ Johnas Muelleris atsakė į „Reddit“ klausimą apie iš pažiūros klaidingą „Noindex“, aptiktą „RH-Robots-Tag HTTP“ antraštės klaidoje, pranešta „Google“ paieškos konsolėje puslapiuose, kuriuose nėra tokio konkretaus „RH-Robots-Tag“ ar jokios kitos susijusios direktyvo ar bloko. Muelleris pasiūlė keletą galimų priežasčių, o keli redditoriai pateikė pagrįstus paaiškinimus ir sprendimus.
Noindex aptiktas
Asmuo, pradėjęs „Reddit“ diskusiją, aprašė scenarijų, kuris daugeliui gali būti pažįstamas. „Google“ paieškos konsolė praneša, kad ji negalėjo indeksuoti puslapio, nes jis buvo užblokuotas ne indeksuoti puslapio (kuris skiriasi nuo užblokuoto nuo nuskaitymo). Patikrinus puslapį nerodo, kad nėra „Noindex Meta“ elemento ir nėra robotų.txt blokuoti nuskaitymą.
Štai ką apibūdinta kaip jų situacija:
- „GSC rodo„ Noindex, aptiktą „Rent-Robots-Tag HTTP“ antraštėje “, skirta didelei mano URL daliai. Tačiau:
- HTML šaltinyje nerandate „Noindex“
- No noindex robots.txt
- Atsakymo antraštėse, kai bandoma, nėra matomos „Noindex“
- Tiesioginis testas GSC parodų puslapyje kaip indeksuojamas
- Svetainė yra už „CloudFlare“ (mes patikrinome puslapio taisykles/WAF ir tt) “
Jie taip pat pranešė, kad bandė apgauti „GoogleBot“ ir išbandė įvairius IP adresus ir prašo antraštes ir vis dar nerado jokio supratimo apie „X-Robots-Tag“ šaltinį
„Cloudflare“ įtariama
Vienas iš redditorių toje diskusijoje pakomentavo, kad pasiūlytų trikčių šalinimą, ar problema kilo iš „CloudFlare“.
Jie pasiūlė išsamius žingsnis po žingsnio instrukcijas, kaip diagnozuoti, ar „CloudFlare“ ar dar kas nors neleido „Google“ indeksuoti puslapio:
„Pirmiausia, palyginkite tiesioginį testą ir nuskaitytą GSC puslapį, kad patikrintumėte, ar„ Google “mato pasenusį atsakymą. Toliau apžiūrėkite „Cloudflare“ transformacijos taisykles, atsakymo antraštes ir darbuotojus, kad gautumėte modifikacijų. Norėdami patikrinti serverio atsakymus, naudokite „Curl“ naudodami „GoogleBot“ vartotojo agento ir talpyklos apeiti (talpyklos valdymo: be talpyklos). Jei naudojate „WordPress“, išjunkite SEO papildinius, kad pašalintumėte dinamines antraštes. Taip pat serveryje įrašykite „GoogleBot“ užklausas ir patikrinkite, ar pasirodo „RH-Robots-Tag“. Jei viskas nepavyks, apeiti „Cloudflare“, nukreipdami DNS tiesiai į jūsų serverį ir pakartotinai pakartotinai. “
OP („Orginal“ plakatas, kuris pradėjo diskusiją) atsakė, kad išbandė visus tuos sprendimus, tačiau negalėjo išbandyti svetainės talpyklos per GSC, tik tiesioginę svetainę (iš tikrojo serverio, o ne „CloudFlare“).
Kaip išbandyti naudojant tikrąjį „GoogleBot“
Įdomu tai, kad OP pareiškė, kad jie negalėjo išbandyti savo svetainės naudodami „GoogleBot“, tačiau iš tikrųjų yra būdas tai padaryti.
„Google“ turtingi rezultatų testeris naudoja „GoogleBot“ vartotojo agentą, kuris taip pat kilęs iš „Google“ IP adreso. Šis įrankis yra naudingas norint patikrinti tai, ką „Google“ mato. Jei išnaudojimas sukelia svetainę rodyti apsirengusį puslapį, „Rich Results Tester“ parodys tiksliai tai, ką „Google“ indeksuoja.
Turtingų „Google“ rezultatų palaikymo puslapis patvirtina:
„Šis įrankis pasiekia puslapį kaip„ GoogleBot “(tai yra ne jūsų kredencialų naudojimas, bet kaip„ Google “).“
401 Klaidos atsakymas?
Toliau tikriausiai nebuvo sprendimas, tačiau tai yra įdomi techninių SEO žinių dalis.
Kitas vartotojas pasidalino serverio, atsakančio 401 klaidos atsakymu, patirtimi. 401 atsakymas reiškia „neteisėtą“ ir tai atsitinka, kai šaltinio užklausos trūksta autentifikavimo kredencialų arba pateikiami kredencialai nėra teisingi. Jų sprendimas, kaip indeksuoti užblokuotus pranešimus „Google“ paieškos konsolėje, buvo pridėti žymėjimą robots.txt, kad blokuotų prisijungimo puslapio URL nuskaitymą.
„Google“ Johnas Muelleris dėl GSC klaidos
Johnas Muelleris įsitraukė į diskusiją, kad pasiūlytų savo pagalbą diagnozuoti šią problemą. Jis sakė, kad matė šią problemą, susijusią su CDN (turinio pristatymo tinklais). Įdomus dalykas, kurį jis pasakė, buvo tai, kad jis taip pat matė, kad taip nutinka su labai senais URL. Jis nesigilino į tą paskutinįjį, tačiau atrodo, kad tai reiškia kažkokią indeksavimo klaidą, susijusią su senais indeksuotais URL.
Štai ką jis pasakė:
„Malonu pasižvalgyti, jei norite man nufotografuoti keletą pavyzdžių. Aš tai mačiau su CDN, mačiau tai su tikrai senais nuskaitymais (kai problema buvo jau seniai ir svetainė tiesiog turi daug senovės URL), galbūt čia yra kažkas naujo … “
Pagrindiniai pasirinkimai: aptiktas „Google“ paieškos konsolės rodyklė „Noindex“
- „Google“ paieškos konsolė (GSC) gali pranešti „Noindex, aptiktas„ Rent-Robots-Tag HTTP “antraštėje“, net kai tos antraštės nėra.
- CDN, pavyzdžiui, „CloudFlare“, gali trukdyti indeksuoti. Buvo pasidalyti veiksmai, siekiant patikrinti, ar „CloudFlare“ transformacijos taisyklės, atsakymo antraštės ar talpykla daro įtaką tai, kaip „GoogleBot“ mato puslapį.
- Pasenę indeksavimo duomenys „Google“ pusėje taip pat gali būti veiksnys.
- Turtingų „Google“ rezultatų testeris gali patikrinti, ką „GoogleBot“ mato, nes jis naudoja „GoogleBot“ vartotojo agentą ir IP, atskleisdamas neatitikimus, kurie gali būti nematomi dėl vartotojo agento apgaulės.
- 401 neteisėti atsakymai gali užkirsti kelią indeksavimui. Vartotojas pasidalijo, kad jų problema buvo susiję su prisijungimo puslapiais, kuriuos reikėjo užblokuoti per robots.txt.
- Johnas Muelleris pasiūlė CDN ir istoriškai išsiaiškino URL, kaip įmanoma.
