admin 
„Cloudflare“ paskelbė, kad jie išbraukė pasipiktinimą kaip tikrintą robotą ir dabar aktyviai blokuoja pasipiktinimą ir visus jo slaptus robotus iš šliaužiančių svetainių. „Cloudflare“ veikė reaguodama į kelis vartotojų skundus dėl pasipiktinimo, susijusio su robotų pažeidimais.txt protokolais, o vėlesnis tyrimas atskleidė, kad pasipiktinimas naudoja agresyvią nesąžiningų bot taktiką, kad priverstų savo tikrinimo įrenginius į svetaines.
„CloudFlare“ patikrinta robotų programa
„CloudFlare“ turi sistemą, vadinamą patikrintais robotais, kuriuose baltaodžiuose robotai yra savo sistemoje, leidžianti jiems nuskaityti svetaines, kurias saugo „CloudFlare“. Patikrinti robotai turi atitikti konkrečią politiką, pavyzdžiui, paklusti robotams.txt protokolams, kad išlaikytų savo privilegijuotą statusą „CloudFlare“ sistemoje.
Nustatyta, kad pasipiktinimas pažeidžia „CloudFlare“ reikalavimus, kad robotai laikosi robotų.txt protokolo ir susilaiko nuo IP adresų, kurie nėra deklaruoti kaip priklausantys tikrinimo paslaugai, naudojimo.
„CloudFlare“ kaltina pasipiktinimą slapto šliaužimo naudojimu
„Cloudflare“ stebėjo įvairias veiklas, rodančias labai agresyvų nuskaitymą, ketinant apeiti robotus.txt protokolą.
Slaptas šlifavimo elgesys: besisukantys IP adresai
Sumišimas apeina blokus, naudojant besisukančius IP adresus, keičiant ASN ir apsimetinėjančias naršykles, tokias kaip „Chrome“.
Pasiplendimas turi oficialių IP adresų sąrašą, kuris nuskaito iš konkretaus ASN (autonominio sistemos numeris). Šie IP adresai padeda nustatyti teisėtus nuskaitymo tikrinimo įrenginius.
ASN yra interneto tinklo sistemos dalis, kuri pateikia unikalų IP adresų grupės identifikavimo numerį. Pvz., Vartotojai, kurie naudojasi internete naudodamiesi IPT, daro tai su konkrečiu IP adresu, priklausančiu ASN, priskiriamam tam IPT.
Užblokavus, pasipiktinimas bandė išvengti apribojimo perjungdamas į skirtingus IP adresus, kurie nėra išvardyti kaip oficialus pasipiktinimo IP, įskaitant visiškai skirtingas, priklausančias kitai ASN.
Slaptas šlifavimo elgesys: apgaulingas vartotojo agentas
Kitas slaptas elgesys, kurį nustatė „CloudFlare“, buvo tai, kad pasipiktinimas pakeitė savo vartotojo agentą, kad būtų galima apeiti bandymus užblokuoti jo tikrintį per robotus.txt.
Pavyzdžiui, pasipiktinimo robotai identifikuojami su šiais vartotojo agentais:
- Pasipiktinimas
- Pasipiktinimo vartotojas
„Cloudflare“ pastebėjo, kad pasipiktinimas reagavo į vartotojo agento blokus, naudodamas kitą vartotojo agentą, kuris pozavo kaip asmuo, besislapstantis su „Chrome 124“ „Mac“ sistemoje. Tai praktika, vadinama „Spoofing“, kai nesąžiningas vikšras identifikuoja save kaip teisėtą naršyklę.
Anot „CloudFlare“, pasipiktinimas naudojo šį slaptą vartotojo agentą:
„Mozilla/5.0 („ Macintosh “;„ Intel Mac OS X 10_15_7 “)„ AppleWebkit “/537.36 (KHTML, kaip ir„ Gecko “)„ Chrome “/124.0.0.0 Safari/537.36“
„CloudFlare“ pelėsiai pasipiktins
„Cloudflare“ paskelbė, kad pasipiktinimas yra išbrauktas kaip patikrinta robotas ir kad jie bus užblokuoti:
„Internetas, kaip mes jį žinojome per pastaruosius tris dešimtmečius Šis slaptas nuskaitymas “.
Takeaways
- „Cloudflare“ patikrintos robotų politikos pažeidimas
Plaukimas pažeidė patikrintą „Cloudflare“ botes politiką, kuri suteikia galimybę nuskaityti prieigą prie patikimų robotų, kurie laikosi sveiko proto taisyklių, tokių kaip robotų pagerbimas.txt protokolas. - Pasiplaugimas naudojo slaptą nuskaitymo taktiką
Sumišimas naudojo nedeklaruotus IP adresus iš skirtingų ASNS ir apgaulingų vartotojų agentų, kad nuskaitytų turinį po to, kai jam buvo užblokuota jo prieiga. - Vartotojo agento klastojimas
Sumišimas paslėpė savo, kaip žmogaus vartotojo, robotą, pozuodamas kaip „Chrome“ „Mac“ operacinėje sistemoje, bandant apeiti filtrus, blokuojančius žinomus vėžius. - „CloudFlare“ atsakymas
„Cloudflare“ išbraukė pasipiktinimą kaip patikrintą robotą ir įgyvendino naujas blokavimo taisykles, kad būtų išvengta slapto nuskaitymo. - SEO pasekmės
„CloudFlare“ vartotojai, norintys pasipiktinti, kad nuskaitytų savo svetaines, gali norėti patikrinti, ar „CloudFlare“ blokuoja pasipiktinimo tikrinimo įrenginius, ir, jei taip, įgalinkite nuskaitymą per jų „CloudFlare“ prietaisų skydelį.
„Cloudflare“ išbraukė pasipiktinimą kaip patikrintą robotą, sužinojęs, kad jis pakartotinai pažeidė patikrintų botų politiką nepaklusdamas robotams.txt. Norėdami išvengti aptikimo, pasipiktinimas taip pat pasuko IP, pakeitė ASN ir sukėlė savo vartotojo agentą, kad jis pasirodytų kaip žmogaus naršyklė. „Cloudflare“ sprendimas blokuoti robotą yra stiprus atsakas į agresyvų pasipiktinimo pusę.
