admin
AI žiniatinklio tikrinimo robotai yra interneto tarakonai, daugelis programinės įrangos kūrėjų mano. Kai kurie devai pradėjo kovoti iš išradimo, dažnai humoristinių būdų.
Nors bet kuriai svetainei gali būti skirta blogas „Crawler“ elgesys – kartais atmesdamas svetainę, atvirojo kodo kūrėjai daro įtaką „neproporcingai“, rašo Niccolò Venerandi, „Linux“ darbalaukio, žinomo kaip plazma, ir tinklaraščio „Librenews“ savininkas.
Pagal savo pobūdį svetainėse, kuriose rengiami nemokami ir atvirojo kodo (FOSS) projektai, viešai dalijasi daugiau savo infrastruktūros, be to, jos turi mažiau išteklių nei komerciniai produktai.
Problema ta, kad daugelis AI robotų negerbia robotų pašalinimo protokolo „Robot.txt“ failo – įrankio, kuriame nurodoma, kad robotai nėra nuskaityti, iš pradžių sukurtos paieškos variklio robotai.
Sausio mėn. „Cry for Help“ įraše „Foss“ kūrėjas Xe IoSo aprašė, kaip „Amazonbot“ negailestingai sumušė „Git Server“ svetainę, kad sukeltų DDOS nutraukimą. „GIT“ serveriai priima „Foss“ projektus, kad visi, norintys, galėtų atsisiųsti kodą arba prie jo prisidėti.
Tačiau šis botas ignoravo ISOSO robot.txt, paslėptą už kitų IP adresų ir apsimetė kaip kiti vartotojai, sakė IoSO.
„Beprasmiška blokuoti AI vėžių robotus, nes jie meluoja, keičia savo vartotojo agentą, naudokite gyvenamųjų patalpų IP adresus kaip įgaliotinius ir dar daugiau“, – apgailestavo Iaso.
„Jie subraižys jūsų svetainę, kol ji nepateks, ir tada jie dar šiek tiek nusuks. Jie spustelės kiekvieną nuorodą ant kiekvienos nuorodos kiekvienoje nuorodoje, žiūrėdami tuos pačius puslapius vėl ir vėl ir vėl.
Įeikite į kapų Dievą
Taigi Iaso kovojo su sumanumu, kurdamas įrankį, pavadintą „Anubis“.
„Anubis“ yra atvirkštinis įgaliotinis dirbinio patikrinimas, kurį reikia perduoti, prieš leisdami užklausas paspausti GIT serverį. Tai blokuoja robotus, tačiau leidžia per naršykles, kurias valdo žmonės.
Juokinga dalis: Anubis yra Dievo vardas Egipto mitologijoje, kuris veda mirusiuosius sprendimus.
„Anubis pasvėrė tavo sielą (širdį) ir, jei ji buvo sunkesnė už plunksną, jūsų širdis buvo suvalgyta, o tu, kaip ir tu mirė“, – pasakojo Isoso „TechCrunch“. Jei žiniatinklio užklausa priima iššūkį ir yra pasiryžęs būti žmogumi, mielas anime paveikslėlis skelbia sėkmę. Piešinys yra „mano antropomorfizuojanti anubis“, sako Iaso. Jei tai robotas, prašymas atmetamas.
Smagiai pavadintas projektas išplito kaip vėjas tarp Foss bendruomenės. „IoSo“ pasidalino „Github“ kovo 19 d., O vos po kelių dienų jis surinko 2 000 žvaigždžių, 20 bendradarbių ir 39 šakutes.
Keršto kaip gynybos
Greitas „Anubis“ populiarumas rodo, kad IoSo skausmas nėra unikalus. Tiesą sakant, Venerandi pasidalino istorija po istorija:
- „SourceHut Drew DeVault“ įkūrėjas aprašė, kad išleido „nuo 20–100% mano laiko bet kurią savaitę, sušvelninusį hiper-agresyvius LLM tikrinimo priemones mastu“ ir „Patirdami dešimtis trumpų nutraukimų per savaitę“.
- Jonathanas Corbetas, garsus „Foss“ kūrėjas, valdantis „Linux“ pramonės naujienų svetainę „Lwn“, perspėjo, kad jo svetainę sulėtėjo DDOS lygio eismas „iš AI grandiklio robotų“.
- Kevinas Fenzi, milžiniško „Linux Fedora“ projekto „Sysadmin“, teigė, kad AI grandiklio robotai tapo tokie agresyvūs, jis turėjo užblokuoti visą Brazilijos šalį nuo prieigos.
Venerandi pasakoja „TechCrunch“, kad žino apie kelis kitus projektus, patiriančius tuos pačius klausimus. Vienas iš jų „vienu metu turėjo laikinai uždrausti visus kinų IP adresus“.
Tegul tai akimirksniu nuskendo – kad kūrėjai „netgi turi kreiptis į uždraudimą ištisas šalis“, kad tik atsitrauktų nuo AI robotų, kurie ignoruoja robot.txt failus, sako Venerandi.
Be žiniatinklio prašytojo sielos, kiti Devai mano, kad kerštas yra geriausia gynyba.
Prieš kelias dienas „Hacker News“ vartotojas „Xyzal“ pasiūlė įkelti robotą.txt draudžiamų puslapių su „kibiro kroviniu straipsnių kroviniu apie gėrimo baliklio pranašumus“ arba „straipsnius apie teigiamą tymų gaudymo poveikį lovoje“.
„Pagalvokite, kad turime siekti, kad robotai gautų _Negative_ Naudingumo vertę iš mūsų spąstų apsilankymo, o ne tik nulinės vertės“, – aiškino Xyzal.
Kaip nutinka, sausį anoniminis kūrėjas, žinomas kaip „Aaronas“, išleido įrankį, pavadintą „Nepenthes“, kurio tikslas – padaryti būtent tai. Tai gąsdina nuskaitymus begaliniame netikro turinio labirinte, tikslas, kurį „Ars Technica“ pripažino Dev, yra agresyvus, jei ne tiesiog kenkėjiškas. Įrankis pavadintas mėsėdžių gamyklos vardu.
Ir „Cloudflare“, turbūt didžiausias komercinis žaidėjas, siūlantis keletą įrankių, skirtų atsisakyti AI tikrinimo priemonių, praėjusią savaitę išleido panašų įrankį, pavadintą AI labirintu.
Jis skirtas „sulėtinti, supainioti ir švaistyti AI vėžių ir kitų robotų išteklius, kurie negerbia„ No Crawl “direktyvų“, „Cloudflare“ aprašė savo tinklaraščio įraše. „Cloudflare“ teigė, kad jis maitina netinkamą elgesį su AI tikrinimo priemonėmis „nesvarbiu turiniu, o ne ištraukia jūsų teisėtus svetainės duomenis“.
„SourceHut“ „Devault“ sakė „TechCrunch“, kad „Nepenthesai turi patenkinamą teisingumo jausmą, nes tai maitina nesąmones tikrinčiams ir nuodus jų šuliniams, tačiau galiausiai Anubis yra jo svetainės sprendimas“.
Tačiau „Devault“ taip pat paskelbė viešą, nuoširdų ieškinį dėl tiesioginio sprendimo: „Prašau nustoti įteisinti LLM ar AI vaizdo generatorius ar„ GitHub Copilot “ar bet kurią iš šių šiukšlių. Aš maldauju, kad nustočiau juos naudoti, nustok kalbėti apie juos, nustoti gaminti naujus, tiesiog sustokite“.
Kadangi „Zilch“ tikimybė yra „Zilch“, kūrėjai, ypač Foss, kovoja su sumanumu ir humoro prisilietimu.
