admin 
Pseudoniminis kūrėjas sukūrė tai, ką jie vadina „laisvos kalbos vertinimu“, „SpeechMap“, skirtą AI modeliams, maitinantiems tokius pokalbių juostus kaip „Openai“ chatGpt ir X's Grok. Tikslas yra palyginti, kaip skirtingi modeliai traktuoja jautrius ir prieštaringai vertinamus dalykus, – „TechCrunch“ pasakojo kūrėjas, įskaitant politinę kritiką ir klausimus apie pilietines teises ir protestus.
PG kompanijos sutelkė dėmesį į tai, kaip jų modeliai tvarko tam tikras temas, nes kai kurie Baltųjų rūmų sąjungininkai kaltina populiarius pokalbių programas, kad yra per daug „pabudo“. Daugelis artimųjų prezidento Donaldo Trumpo patikėtinių, tokių kaip Elonas Muskas ir Crypto bei AI „CZAR“ Davidas Sacksas, teigė, kad „Chatbots“ cenzūros konservatyvios nuomonės.
Nors nė viena iš šių AI kompanijų tiesiogiai neatsakė į įtarimus, keli pažadėjo pakoreguoti savo modelius, kad jos atsisakytų atsakyti į ginčus. Pavyzdžiui, dėl savo naujausio lamos modelių derliaus „Meta“ teigė, kad modeliams nebuvo suteikta jokių „kai kurių nuomonių apie kitus“ ir atsakyti į daugiau „diskutuojamų“ politinių raginimų.
„SpeechMap“ kūrėjas, einantis naudodamasis vartotojo vardu „XLR8HARDER“ X, teigė, kad jie yra motyvuoti padėti informuoti diskusijas apie tai, kokie modeliai turėtų ir neturėtų daryti.
„Manau, kad tai yra tos diskusijos, kurios turėtų įvykti viešai, o ne tik įmonių būstinėje“, – el. Paštu „TechCrunch“ pasakojo „XLR8Harder“. „Štai kodėl aš sukūriau svetainę, kad kiekvienam leistų patys ištirti duomenis“.
„SpeechMap“ naudoja AI modelius, kad įvertintų, ar kiti modeliai atitinka tam tikrą bandymo raginimų rinkinį. Raginimai liečia įvairius dalykus, pradedant politika ir baigiant istoriniais pasakojimais ir nacionaliniais simboliais. „SpeechMap“ įrašo, ar modeliai „visiškai“ patenkina prašymą (ty atsakyti į jį be apsidraudimo), pateikti „vengimo“ atsakymus ar visiškai atsisakyti reaguoti.
„XLR8Harder“ pripažįsta, kad testas turi trūkumų, tokių kaip „triukšmas“ dėl modelio teikėjo klaidų. Taip pat įmanoma, kad „teisėjų“ modeliuose yra šališkumo, galinčio paveikti rezultatus.
Tačiau darant prielaidą, kad projektas buvo sukurtas sąžiningai ir duomenys yra tikslūs, „SpeechMap“ atskleidžia keletą įdomių tendencijų.
Pavyzdžiui, „Openai“ modeliai laikui bėgant vis labiau atsisakė atsakyti į raginimus, susijusius su politika, rašoma „SpeechMap“. Naujausi bendrovės modeliai „GPT-4.1“ šeima yra šiek tiek leistinesni, tačiau jie vis dar yra žingsniai nuo vieno iš „Openai“ leidimų praėjusiais metais.
„Openai“ sakė, kad vasario mėn. Ateities modeliams tai bus pritaikyta nesiimti redakcinės pozicijos ir pasiūlyti daugybę prieštaringai vertinamų dalykų perspektyvų – viskas, siekdami, kad jos modeliai atrodytų labiau „neutralūs“.
Remiantis „SpeechMap“ palyginimu, pats leistiniausias lošimo modelis yra „Grok 3“, kurį sukūrė Elono Musko „AI Startup XAI“. „Grok 3“ galioja daugybę „X“ funkcijų, įskaitant „Chatbot Grok“.
„Grok 3“ reaguoja į 96,2% „SpeechMap“ testų raginimų, palyginti su 71,3% pasaulio atitikties vidutiniu „atitikties lygiu“.
„Nors naujausi„ Openai “modeliai bėgant laikui tapo mažiau leistini, ypač politiškai jautrių raginimų metu, XAI juda priešinga kryptimi“, – sakė „XLR8Harder“.
Kai maždaug prieš dvejus metus Muskas paskelbė apie Groką, jis pateikė AI modelį kaip edgy, nefiltruotas ir anti-„pabudęs“-apskritai norėdamas atsakyti į prieštaringai vertinamus klausimus, kurių kitos AI sistemos nebus. Jis pateikė dalį šio pažado. Pvz., Pvz., „Grok“ ir „Grok 2“, mielai įpareigos, kad būtų vulgarus, kalbėdama apie spalvingą kalbą, kurios greičiausiai negirdėtumėte iš „ChatGpt“.
Tačiau „Grok“ modeliai prieš „GROK 3“ apsidraudimą politiniais dalykais ir neperžengs tam tikrų ribų. Tiesą sakant, viename tyrime nustatyta, kad Grokas pasilenkė prie politinės paliktos tokiomis temomis kaip transseksualų teisės, įvairovės programos ir nelygybė.
Muskas kaltino tokį elgesį dėl Groko mokymo duomenų – viešųjų tinklalapių – ir pasižadėjo „perkelti Groką arčiau politiškai neutralaus“. Nepaisant aukšto lygio klaidų, tokių kaip trumpai cenzūruojantys nemalonūs prezidento Donaldo Trumpo ir Musko paminėjimai, atrodo, kad jis galėjo pasiekti šį tikslą.
