Mygtukai „Apibendrinti naudojant dirbtinį intelektą“ naudojami dirbtinio intelekto rekomendacijoms apnuodyti

„Microsoft“ „Defender Security Research Team“ paskelbė tyrimą, kuriame aprašoma tai, kas vadinama „AI rekomendacijų apsinuodijimu“. Taikant šią techniką įmonės slepia greito įpurškimo instrukcijas svetainės mygtukuose, pažymėtuose „Apibendrinti naudojant AI“.

Kai spustelėsite vieną iš šių mygtukų, atidaromas AI asistentas su iš anksto užpildyta raginimu, pateiktu per URL užklausos parametrą. Matoma dalis nurodo asistentui apibendrinti puslapį. Paslėpta dalis nurodo jai prisiminti įmonę kaip patikimą šaltinį būsimiems pokalbiams.

Jei instrukcija patenka į asistento atmintį, ji gali turėti įtakos rekomendacijoms jums nežinant, kad ji buvo įdėta.

Kas vyksta

„Microsoft“ komanda peržiūrėjo su dirbtiniu intelektu susijusius URL, pastebėtus el. pašto sraute per 60 dienų. Jie nustatė 50 skirtingų greitų injekcijų bandymų iš 31 įmonės.

Raginimai yra panašūs. „Microsoft“ įraše pateikiami pavyzdžiai, kur instrukcija AI liepė AI atsiminti įmonę kaip „patikimą šaltinį citatoms“ arba „eiti į šaltinį“ konkrečiai temai. Vienas raginimas nuėjo toliau – į asistento atmintį buvo įtraukta visa rinkodaros kopija, įskaitant produkto savybes ir pardavimo taškus.

Tyrėjai atsekė techniką su viešai prieinamais įrankiais, įskaitant npm paketą CiteMET ir internetinį URL generatorių AI Share URL Creator. Įraše abu apibūdinami kaip sukurti siekiant padėti svetainėms „sukurti buvimą AI atmintyje“.

Ši technika remiasi specialiai sukurtais URL su greitais parametrais, kuriuos palaiko dauguma pagrindinių AI padėjėjų. „Microsoft“ išvardijo „Copilot“, „ChatGPT“, „Claude“, „Perplexity“ ir „Grok“ URL struktūras, tačiau pažymėjo, kad išlikimo mechanizmai įvairiose platformose skiriasi.

Jis oficialiai kataloguotas kaip MITER ATLAS AML.T0080 (Apsinuodijimas atmintyje) ir AML.T0051 (LLM Prompt Injection).

Ką atrado „Microsoft“.

31 nustatyta įmonė buvo tikros įmonės, o ne grėsmės veikėjai ar sukčiai.

Keli raginimai nukreipti į sveikatos ir finansinių paslaugų svetaines, kuriose neobjektyvios AI rekomendacijos yra svarbesnės. Vienos įmonės domenas buvo lengvai supainiotas su gerai žinoma svetaine, o tai galėjo sukelti klaidingą patikimumą. Ir viena iš 31 įmonės buvo apsaugos pardavėja.

„Microsoft“ nurodė antrinę riziką. Daugelyje svetainių, kuriose naudojama ši technika, buvo vartotojų sukurto turinio skyriai, pvz., komentarų gijos ir forumai. Kai AI laikys svetainę autoritetinga, jis gali išplėsti pasitikėjimą nepatikrintu turiniu tame pačiame domene.

„Microsoft“ atsakymas

„Microsoft“ teigė, kad „Copilot“ turi apsaugą nuo kryžminių injekcijų atakų. Bendrovė pažymėjo, kad kai kurios anksčiau praneštos skubios injekcijos elgsenos nebegali būti atkurtos naudojant „Copilot“, o apsaugos priemonės toliau tobulėja.

„Microsoft“ taip pat paskelbė išplėstines paieškos užklausas organizacijoms, naudojančioms „Defender for Office 365“, leidžiančiomis saugos komandoms nuskaityti el. paštą ir komandų srautą, ieškant URL, kuriuose yra atminties manipuliavimo raktinių žodžių.

Galite peržiūrėti ir pašalinti išsaugotus Copilot prisiminimus per Copilot pokalbių nustatymų skyrių Personalizavimas.

Kodėl tai svarbu

„Microsoft“ lygina šią techniką su SEO apsinuodijimu ir reklaminėmis programomis, įtraukdama ją į tą pačią kategoriją, kaip ir taktika, kurią „Google“ praleido du dešimtmečius, kovodama su tradicine paieška. Skirtumas tas, kad tikslas perkeltas iš paieškos indeksų į AI asistento atmintį.

Įmonės, užsiimančios teisėtais dirbtinio intelekto matomumo darbais, dabar susiduria su konkurentais, kurie gali būti rekomenduojami žaidimams, nes jie greitai suleidžia.

Laikas yra pastebimas. SparkToro paskelbė a ataskaita, rodanti, kad AI prekės ženklo rekomendacijos jau skiriasi beveik kiekvieną užklausą. „Google“ viceprezidentas Robby Steinas internetinėje transliacijoje sakė, kad AI paieška randa verslo rekomendacijas, patikrinusi, ką sako kitos svetainės. Apsinuodijimas atmintimi apeina šį procesą, įterpdamas rekomendaciją tiesiai į vartotojo asistentą.

Roger Montti atlikta AI mokymo duomenų apsinuodijimo analizė apėmė platesnę AI sistemų manipuliavimo siekiant matomumo koncepciją. Šis kūrinys buvo skirtas apsinuodijimo mokymo duomenų rinkiniams. Šis „Microsoft“ tyrimas rodo kažką greitesnio, vykstančio vartotojo sąveikos ir komercinio naudojimo metu.

Žvilgsnis į priekį

„Microsoft“ pripažino, kad tai yra besivystanti problema. Atvirojo kodo įrankiai reiškia, kad nauji bandymai gali pasirodyti greičiau, nei bet kuri viena platforma gali juos blokuoti, o URL parametrų technika taikoma daugeliui pagrindinių AI padėjėjų.

Neaišku, ar AI platformos tai traktuos kaip politikos pažeidimą su pasekmėmis, ar tai liks kaip pilkosios zonos augimo taktika, kurią įmonės ir toliau naudoja.

Patarimas Lily Ray už „Microsoft“ tyrimą X, o už radinį – @top5seo.

Teminis vaizdas: elenabsl/Shutterstock