admin 
„Google“ Johnas Muelleris atsakė į klausimą apie svetainę, kurioje gavo milijonus „GoogleBot“ puslapių, kurių nėra, užklausų, kurių neegzistuoja, kai vienas neegzistuoja URL, gavęs daugiau nei du milijonus peržiūrų, iš esmės DDOS lygio puslapio užklausų. Leidėjo susirūpinimas dėl nuskaitymo biudžeto ir, regis, reitingų, buvo įgyvendinti, nes vėliau svetainė patyrė paieškos matomumo sumažėjimą.
„Noindex“ puslapiai pašalinami ir konvertuoti į 410
„410 Gone Server“ atsakymo kodas priklauso „Family 400“ atsakymų kodams, rodantiems puslapį, nėra. 404 atsakymas reiškia, kad puslapio nėra, ir nepateikia pretenzijų, ar URL grįš ateityje, jis tiesiog sako, kad puslapio nėra.
„410 Gone“ būsenos kodas reiškia, kad puslapio nebėra ir greičiausiai niekada negrįš. Skirtingai nuo 404 būsenos kodo, „410“ signalizuoja naršyklę ar tikrintoją, kad trūkstama šaltinio būsena yra tyčinė ir kad turėtų būti pašalintos visos nuorodos į šaltinį.
Asmuo, užduodantis klausimą, buvo pateiktas klausimas, kurį jie prieš tris savaites paskelbė „Reddit“, kur jie pažymėjo, kad jie turi apie 11 milijonų URL, kurie neturėjo būti atrasti, kad jie visiškai pašalino ir pradėjo aptarnauti 410 atsakymo kodą. Po pusantro mėnesio „GoogleBot“ toliau grįžo ieškodamas trūkstamų puslapių. Dėl to jie pasidalino susirūpinimu dėl nuskaitymo biudžeto ir vėlesnio poveikio jų reitingams.
Muelleris tuo metu persiuntė juos į „Google“ palaikymo puslapį.
Reitingų nuostoliai, nes „Google“ ir toliau pasiekia svetainę „DDoS“ lygyje
Po trijų savaičių viskas nepagerėjo ir jie paskelbė tolesnį klausimą, pažymėdamas, kad jie gavo daugiau nei penkis milijonus puslapių, kurių nėra. Savo klausime jie paskelbė tikrąjį URL, bet aš jį anonimizavau, kitaip tai yra žodis.
Asmuo paklausė:
„„ GoogleBot “ir toliau agresyviai nuskaito vieną URL (su užklausų eilutėmis), net jei maždaug du mėnesius ji grąžina 410 (nebeįmanoma).
Vos per pastarąsias 30 dienų mes matėme maždaug 5,4 mln. „GoogleBot“ prašymų. Iš jų maždaug 2,4 mln. Buvo nukreipti į šį vieną URL:
https://example.net/software/virlual-dj/ su funkcijos užklausos eilute.Šiuo laikotarpiu mes taip pat matėme reikšmingą matomumo sumažėjimą „Google“ ir negaliu atsistebėti, ar yra ryšys – kažkas tiesiog jaučiasi. Paveiktas puslapis yra:
https://example.net/software/virlual-dj/?feature=…Priežastis, dėl kurios „Google“ atrado visus šiuos URL, visų pirma yra ta, kad mes netyčia juos atskleidėme JSON naudingu apkrovu, kurį sukuria „Next.js“ – jie nebuvo tikrosios nuorodos svetainėje.
Mes pakeitėme, kaip veikia mūsų „kelios funkcijos“ (naudojant? MF QueryString ir kad „QueryString“ yra robots.txt)
Ar būtų problematiška pridėti kažką panašaus į mūsų robotus.txt?
Neleisti:/programinė įranga/virtualus dj/? Feature =*
Pagrindinis tikslas: sustabdyti šį per didelį nuskaitymą nuo mūsų rąstų užtvindymo ir galimai sukelti nenumatytą šalutinį poveikį. “
„Google“ Johnas Muelleris patvirtino, kad normalus „Google“ elgesys yra normalus, kad grįžtumėte patikrinti, ar trūkstamas puslapis grįžo. Tai yra numatytasis „Google“ elgesys, remiantis patirtimi, kurią leidėjai gali padaryti klaidų, todėl jie periodiškai grįš patikrinti, ar puslapis buvo atkurtas. Tai yra naudinga funkcija leidėjams, kurie gali netyčia pašalinti tinklalapį.
Muelleris atsakė:
„„ Google “bando įdarbinti puslapius, kurie kadaise egzistavo tikrai ilgą laiką, ir jei jų turite daug, tikriausiai pamatysite daugiau iš jų. Tai nėra problema – gerai, jei puslapių nebėra, net jei tai yra daugybė jų. Tai pasakė, neleisdami nuskaityti robotus.txt taip pat gerai, jei prašymai jus erzina.“
ATSARGIAI: Techninis SEO į priekį
Šioje kitoje dalyje SEO tampa techninis. Muelleris perspėja, kad siūlomas sprendimas pridėti robotus.txt gali netyčia nutraukti puslapių, kurių, kaip manoma, trūksta, perteikimo.
Iš esmės jis pataria asmeniui, užduodančiam klausimą:
- Dar kartą patikrinkite, ar „Feature = URL“ visai nenaudojami jokiame frontendo kode ar JSON naudingoje apkrovoje, kuriam galima maitinti svarbius puslapius.
- Naudokite „Chrome Devtools“, kad imituotumėte, kas nutiks, jei tie URL bus užblokuoti – anksti sugauti lūžius.
- Stebėkite paieškos konsolę, kad „Soft 404“ pastebėtų bet kokį nenumatytą poveikį puslapiams, kurie turėtų būti indeksuojami.
Johnas Muelleris tęsė:
„Pagrindinis dalykas, kurio aš atkreipčiau dėmesį, yra tai, kad tai iš tikrųjų visi grąžina 404/410, o ne tai, kad kai kuriuos iš jų naudojami kažkas panašaus į„ JavaScript “puslapiuose, kuriuos norite indeksuoti (nes minėjote JSON naudingą apkrovą).
Tai tikrai sunku atpažinti, kai jūs neleidžiate nuskaityti įterpto šaltinio (ar tai būtų tiesiogiai įterptas į puslapį, ar įkeliamas pagal pareikalavimą) – kartais puslapis, nurodantis, kad jis nustoja pateikti ir jo negalima indeksuoti.
Jei turite „JavaScript“ kliento pusės pateiktus puslapius, pabandyčiau sužinoti, kur anksčiau buvo nurodyti URL (jei galite) ir užblokuoti „Chrome Dev“ įrankių URL, kad pamatytumėte, kas nutiks, kai įkeliate puslapį.
Jei negalite išsiaiškinti, kur jie buvo, aš neleidžiu jų dalį ir stebėti „Soft-404“ klaidas paieškos konsolėje, kad pamatyčiau, ar ten kas nors akivaizdžiai nutinka.
Jei nenaudojate „JavaScript“ kliento pusės, greičiausiai galite nepaisyti šios pastraipos :-). “
Skirtumas tarp akivaizdžios priežasties ir tikrosios priežasties
„Google“ Johnas Muelleris teisingai siūlo gilesnę diagnostiką, kad pašalintų leidėjo klaidas. Leidėjo klaida pradėjo įvykių grandinę, kuri paskatino indeksuoti puslapius prieš leidėjo norus. Taigi pagrįsta paprašyti leidėjo patikrinti, ar gali būti labiau tikėtina priežastis atsiskaityti už paieškos matomumo praradimą. Tai klasikinė situacija, kai akivaizdi priežastis nebūtinai yra teisinga priežastis. Yra skirtumas tarp akivaizdžios priežasties ir tikrosios priežasties. Taigi Muellerio pasiūlymas nepasiduoti ieškant priežasties yra geras patarimas.
Perskaitykite originalią diskusiją čia.
Teminis „Shutterstock“/„Plutusart“ vaizdas
