Kaip AI apsauginiai turėklai trukdo įžeidžiančių kibernetinio saugumo tyrinėtojų darbui

Mėnesius AI gigantai kūrė specialias patikrintas programas ir griežtus apsauginius turėklus, kad apribotų kenkėjiškų įsilaužėlių naudojimą savo modeliais. Tačiau šios ribos dabar trukdo dirbti teisėtiems tinklo gynėjams, taip pat įžeidžiantiems kibernetinio saugumo tyrinėtojams.

Birželio mėnesį JAV vyriausybė įvedė eksporto kontrolės apribojimus Anthropic daug garsių dirbtinio intelekto modelių Mythos ir Fable. Šį žingsnį bent iš dalies paskatino ataskaita, kurioje teigiama, kad buvo galima apeiti modelių apsauginius turėklus, skirtus neleisti naudotojams jų naudoti kenkėjiškoms kibernetinėms atakoms kurti ir vykdyti.

Nepriklausomai nuo to, ar įvykį iš tikrųjų paskatino baimė, kad gali patekti į kalėjimą, faktas yra tas, kad „Anthropic“ ne kartą reklamavo „Mythos“ kaip tam tikrą paskutinės dienos kibernetinį įrenginį, kurį galima duoti tik kruopščiai patikrintiems vartotojams ir net tada, kai yra griežti apsauginiai turėklai. (Nuo to laiko „Fable 5“ ir „Mythos 5“ eksporto kontrolė buvo panaikinta. „Fable 5“ grįžo į bendrą prieigą liepos 1 d.; „Mythos 5“ buvo vėl pristatyta tik patikrintoms JAV organizacijoms, kaip vyriausybės peržiūros proceso dalis.)

Toks vartų saugojimas nėra būdingas Mythos. „Anthropic“ ir kiti modeliai, ir „OpenAI“ siūlo kibernetinio saugumo tyrinėtojų programas, kurias jie gali taikyti, kad būtų patikrinti ir (jei jie bus patvirtinti) prieigos modeliai su mažiau kibernetinio saugumo apribojimų: „OpenAI“ patikimos prieigos kibernetinei programai ir „Anthropic“ kibernetinio patikrinimo programai.

Šie apsauginiai turėklai buvo plačiai kritikuojami, ypač tyrėjų, kurių darbas yra rasti nežinomus sistemų pažeidžiamumus ir sugalvoti būdus, kaip jas išnaudoti anksčiau, nei nusikaltėliai.

Neseniai pasirodydamas kibernetinio saugumo podcast'e, žinomas saugumo tyrinėtojas Markas Dowdas sakė, kad „man nelabai patogu, kad šios atsitiktinės didelės įmonės priima savavališkus sprendimus, kas yra saugu, o kas ne“.

„Dowd“ praleido dešimtmečius ieškodamas ir parduodamas „nulinės dienos“ – anksčiau nežinomų programinės įrangos trūkumų ir jomis pasinaudojančių išnaudojimų – Vakarų vyriausybėms, užuot pranešęs apie jas programinės įrangos gamintojams, kad jos būtų pataisytos. Vyriausybės moka priemoką už pažeidžiamumą būtent todėl, kad jie lieka atviri, o tai naudinga žvalgybos operacijoms.

Dowdas pripažino, kad dėl savo darbo jis gali būti šališkas, tačiau jis nėra vienas. Keli žmonės, dirbantys su įžeidžiančiu kibernetiniu saugumu – jie aktyviai tiria sistemų trūkumus – „TechCrunch“ apibūdino, kaip jie naudoja dirbtinio intelekto įrankius ir susidoroja su apsauginiais turėklais.

Saugumo konsultacijų milžinės „NCC Group“ vyriausiasis mokslininkas Chrisas Anley teigė, kad prašymas AI modelio pabandyti išnaudoti klaidą yra pagrindinis žingsnis siekiant patvirtinti, kad tai tikras pažeidžiamumas, kurį verta pataisyti. Tačiau jei turėklai paskatins modelį atsisakyti tiesiai šviesiai atsakyti į klausimą, apsauginiai turėklai kenkia gynėjams, sakė jis.

„Čia atsiranda visa puolimo ir gynybos bei apsauginių turėklų dalis, nes „pataisyti šį kodą“ kaip raginimas yra ne tik esminis gynybos mechanizmas, bet ir gairės ieškant kritinių kodų bazės pažeidžiamumų“, – sakė Anley. „Taigi tuo pačiu metu ta pati priemonė yra ir puolamoji, ir gynybinė priemonė, o šių dviejų tikrai negalima atrinkti.

Tai „kaip plaktukas“, – tęsė jis. „Negalite pastatyti namo be plaktuko. Tai neabejotinai įrankis, bet taip pat ir nepataisomai ginklas.”

Kai jis ir jo kolegos susiduria su tokia kliūtimi, jie kartais grįžta prie atvirojo kodo AI modelių, kuriuose nėra jokių apsauginių turėklų.

Paolo Stagno, Crowdfense, gerai žinomos įmonės, kuriančios, įsigyjančios ir parduodančios nežinomus pažeidžiamumus vyriausybinėms agentūroms, vyriausiasis technologijų pareigūnas, sutiko su Dowd, teigdamas, kad dirbtinio intelekto įmonės „iš esmės elgiasi su klientais kaip su vaikais, kuriems reikia auklės“, naudodamos savo patikrintas programas ir apsauginius turėklus.

Stagno teigė, kad jis ir jo kolegos naudoja pasienio modelius, bet tik atvirkštinei inžinerijai. Pasak jo, jie vengia naudoti dirbtinį intelektą, kad padėtų rasti pažeidžiamumą arba kurti išnaudojimus, nes, įtraukus šį darbą į debesies pagrindu sukurtą modelį, kyla pavojus, kad bus nutekinti jautrūs pažeidžiamumo duomenys arba jie bus įtraukti į būsimus mokymus. Jis sakė, kad šiam žingsniui jie naudoja atvirojo kodo modelius, veikiančius vietoje, nes jie nepasikliauja dalijimusi duomenimis už modelio ribų.

Giuseppe Cali, saugumo tyrinėtojas, kuris randa nulinių dienų ir kuria išnaudojimus, sakė, kad apsauginiai turėklai netrukdo jo darbui. Taip yra todėl, kad jis nenaudoja dirbtinio intelekto įžeidžiančiam darbui; vietoj to jis jį naudoja pradiniam atvirkštiniam inžinerijai, kad suprastų analizuojamą kodą ir sukurtų pagalbinius įrankius. Dėl to, pasak jo, dirbtinio intelekto įrankiai gali pagreitinti procesą ir leisti jam sutelkti dėmesį į pažeidžiamumų atradimą.

„Aš vis dar noriu pačiam turėti tikrąjį klaidų atradimą ir ginklų panaudojimą ir tai nepasikeistų, jei rytoj būtų panaikinti visi apsauginiai turėklai“, – sakė Cali. „Pavydžiu savo klaidų ir man per daug patinka šis žaidimas, kad leisčiau modeliams jį žaisti už mane.

Vienas išmaniųjų telefonų komponentų gamintojo tyrėjas, pageidavęs likti anonimiškas, nes neturi teisės bendrauti su spauda, ​​teigė, kad jo darbdavys nėra Anthropic CVP programos narys, todėl jos įrankiai vargiai praverčia ieškant pažeidžiamumų, nes apsauginiai turėklai yra per griežti.

„Jei jis užklumpa vėją, mes darome bet ką, susijusį su saugumu, jis tiesiog sustoja ir nėra tinkamas naudoti“, – sakė asmuo.

Chrisas Thompsonas – kibernetinio saugumo įmonės „RemoteThreat“ generalinis direktorius ir „Offensive AI Con“ – įžeidžiančio saugumo ir į AI orientuoto renginio – įkūrėjas – teigė, kad, remiantis savo patirtimi naudojant paribius AI modelius, apsauginiai turėklai gali būti nenuoseklūs ir kiekvieną dieną veikti skirtingai. Tai galioja net ir laisvesnėse Anthropic ir OpenAI patikrintų programų ribose.

„Manau, kad praktinis poveikis yra tas, kad jūs praleidžiate daug laiko derantis su modeliu, užuot dirbę su pagrindine saugumo programa“, – sakė Thompsonas. „Užuot analizavęs pažeidžiamumą ir samprotaujantis dėl išnaudojimo, bandote išsiaiškinti, kodėl gaunate nenuoseklius rezultatus arba kodėl modeliai per daug dezinfekuoja išvestį.

Todėl mokslininkai pasikliauja Kinijos atvirojo kodo modeliais, tokiais kaip GLM, arba yra stumiami į juos – laisvai atsisiunčiamus modelius, kuriuos galima paleisti vietoje be tikrinimo ar naudojimo apribojimų, – sakė Thompsonas.

„Turite šiuos atsakingus tyrėjus, kurie nuo JAV valdomų sistemų yra stumiami į užsieniui priklausančias sistemas“, – sakė jis. „Manau, kad šie apsauginiai turėklai yra labiau žalingi nei naudingi.

Užuot dar labiau griežtinęs apribojimus, Thompsonas paragino AI pasienio laboratorijas atverti savo programas, suteikti atsakingą prieigą ir patraukti atsakomybėn tuos, kurie piktnaudžiauja savo įrankiais. Priešingu atveju, anot jo, gynėjai pralaimės AI lenktynes.

„Ateina ši didelė audra. Yra ši didelė atakų banga, kuri įvyks tokiu greičiu ir mastu, kaip niekada anksčiau”, – sakė Thompsonas. „Tačiau tos pačios saugumo konsultavimo įmonės ir teisėti tyrėjai, kurie bando ką nors pakeisti, šiuo metu yra slopinami“.