admin 
„Google“ paskelbė tyrimo dokumentą apie tai, kaip iš naudotojo sąveikos išskirti vartotojo ketinimus, kurie vėliau gali būti naudojami autonominiams agentams. Jų atrastas metodas naudoja įrenginyje esančius mažus modelius, kuriems nereikia siųsti duomenų atgal į „Google“, o tai reiškia, kad naudotojo privatumas yra apsaugotas.
Tyrėjai išsiaiškino, kad sugebėjo išspręsti problemą suskirstę ją į dvi užduotis. Jų sprendimas veikė taip gerai, kad sugebėjo įveikti bazinį daugiarūšių didelių kalbų modelių (MLLM) našumą didžiuliuose duomenų centruose.
Mažesni modeliai naršyklėse ir įrenginiuose
Tyrimo metu pagrindinis dėmesys skiriamas naudotojo ketinimų identifikavimui atliekant veiksmus, kuriuos naudotojas atlieka savo mobiliajame įrenginyje arba naršyklėje, kartu išsaugant šią informaciją įrenginyje, kad jokia informacija nebūtų siunčiama atgal į „Google“. Tai reiškia, kad apdorojimas turi vykti įrenginyje.
Jie tai padarė dviem etapais.
- Pirmajame įrenginio modelio etape apibendrinama, ką darė vartotojas.
- Tada santraukų seka siunčiama į antrą modelį, kuris identifikuoja vartotojo ketinimą.
Tyrėjai paaiškino:
„…mūsų dviejų etapų metodas rodo puikų našumą, palyginti su mažesniais modeliais ir moderniausiu dideliu MLLM, nepriklausomai nuo duomenų rinkinio ir modelio tipo.
Mūsų metodas taip pat natūraliai tvarko scenarijus su triukšmingais duomenimis, su kuriais susiduria tradiciniai prižiūrimi koregavimo metodai.
Tikslų ištraukimas iš vartotojo sąsajos sąveikų
Tikslų ištraukimas iš ekrano kopijų ir vartotojo sąveikos tekstinių aprašymų buvo metodas, kuris buvo pasiūlytas 2025 m. naudojant daugiarūšius didelių kalbų modelius (MLLM). Tyrėjai teigia, kad jie laikėsi tokio požiūrio į savo problemą, bet naudojo patobulintą raginimą.
Tyrėjai paaiškino, kad ketinimų išskyrimas nėra nereikšminga problema, kurią reikia išspręsti, ir kad yra keletas klaidų, kurios gali įvykti atliekant veiksmus. Tyrėjai naudoja žodį trajektorija, kad apibūdintų vartotojo kelionę mobiliojoje ar žiniatinklio programoje, vaizduojama kaip sąveikų seka.
Vartotojo kelionė (trajektorija) paverčiama formule, kurioje kiekvienas sąveikos žingsnis susideda iš dviejų dalių:
- Stebėjimas
Tai vaizdinė ekrano būsena (ekrano kopija), kurioje vartotojas yra tame žingsnyje. - Veiksmas
Konkretus veiksmas, kurį naudotojas atliko tame ekrane (pvz., spustelėjo mygtuką, įvedė tekstą arba spustelėjo nuorodą).
Jie apibūdino tris gero ketinimo savybes:
- „ištikimas: apibūdina tik dalykus, kurie iš tikrųjų vyksta trajektorijoje;
- išsami: suteikia visą informaciją apie vartotojo ketinimą, reikalingą trajektorijai atkurti;
- ir aktualus: jame nėra pašalinės informacijos, nei reikia visapusiškumui“.
Iššūkis įvertinti išskirtus ketinimus
Tyrėjai aiškina, kad išskirtus ketinimus sunku įvertinti, nes naudotojų ketinimuose yra sudėtingos informacijos (pvz., datos arba operacijų duomenys), o naudotojų ketinimai iš esmės yra subjektyvūs, juose yra dviprasmybių, o tai sunkiai išsprendžiama problema. Priežastis, dėl kurios trajektorijos yra subjektyvios, yra ta, kad pagrindinės priežastys yra dviprasmiškos.
Pavyzdžiui, ar vartotojas pasirinko produktą dėl kainos ar savybių? Veiksmai matomi, bet motyvai – ne. Ankstesni tyrimai rodo, kad žmonių ketinimai sutapo 80 % žiniatinklio trajektorijų ir 76 % mobiliųjų, todėl nėra taip, kad tam tikra trajektorija visada gali rodyti konkretų ketinimą.
Dviejų etapų metodas
Atmetę kitus metodus, pvz., Minties grandinės (CoT) samprotavimą (kadangi mažų kalbų modeliai sunkiai samprotavo), jie pasirinko dviejų etapų metodą, kuris imitavo minties grandinės samprotavimą.
Tyrėjai paaiškino savo dviejų etapų metodą:
„Pirma, mes naudojame raginimą, kad sukurtume kiekvienos sąveikos trajektorijoje santrauką (sudarytą iš vaizdinės ekrano kopijos ir tekstinio veiksmo atvaizdavimo). Šis etapas yra
pagrįsti, nes šiuo metu nėra mokymo duomenų su suvestinėmis atskirų sąveikų etiketėmis.Antra, visas sąveikos lygio santraukas pateikiame į antrojo etapo modelį, kad sukurtume bendrą ketinimo aprašymą. Antrame etape taikome koregavimą…“
Pirmasis etapas: ekrano kopijos santrauka
Pirmoji santrauka, sąveikos ekrano kopija, santrauką padalija į dvi dalis, tačiau yra ir trečioji dalis.
- Aprašymas to, kas rodoma ekrane.
- Naudotojo veiksmų aprašymas.
Trečiasis komponentas (spekuliatyvus ketinimas) yra būdas atsikratyti spekuliacijų apie vartotojo ketinimus, kai modelis iš esmės spėja, kas vyksta. Ši trečioji dalis pažymėta „spekuliaciniais ketinimais“ ir iš tikrųjų jos tiesiog atsikrato. Keista, bet leidžiant modeliui spėlioti ir tada atsikratyti tų spėlionių, gaunamas kokybiškesnis rezultatas.
Tyrėjai išbandė kelias raginimo strategijas ir ši buvo geriausia.
Antrasis etapas: bendro ketinimo aprašymo generavimas
Antrajame etape mokslininkai tiksliai sureguliavo modelį, skirtą bendro ketinimo aprašymui generuoti. Jie tiksliai suderino modelį naudodami mokymo duomenis, kuriuos sudaro dvi dalys:
- Santraukos, atspindinčios visas sąveikas trajektorijoje
- Atitinkama pagrindo tiesa, apibūdinanti bendrą kiekvienos trajektorijos tikslą.
Iš pradžių modelis buvo linkęs haliucinuoti, nes pirmoji dalis (įvesties santraukos) gali būti neišsami, o „tiksliniai tikslai“ yra baigti. Dėl to modelis išmoko užpildyti trūkstamas dalis, kad įvesties suvestinės atitiktų tikslinius tikslus.
Jie išsprendė šią problemą „patobulindami“ tikslinius tikslus pašalindami detales, kurios neatsispindi įvesties suvestinėse. Tai išmokė modelį daryti išvadas apie ketinimus remiantis tik įvestimis.
Tyrėjai palygino keturis skirtingus metodus ir pasirinko šį metodą, nes jis veikė taip gerai.
Etiniai svarstymai ir apribojimai
Tyrimo pabaigoje apibendrinami galimi etiniai klausimai, kai autonominis agentas gali imtis veiksmų, kurie nėra suinteresuoti vartotoju, ir pabrėžiama būtinybė sukurti tinkamus apsauginius turėklus.
Autoriai taip pat pripažino tyrimo apribojimus, kurie gali apriboti rezultatų apibendrinimą. Pavyzdžiui, bandymai buvo atlikti tik „Android“ ir žiniatinklio aplinkose, o tai reiškia, kad rezultatai gali neapibendrinti „Apple“ įrenginių. Kitas apribojimas yra tas, kad tyrimas buvo atliktas tik JAV naudotojams anglų kalba.
Tyrimo dokumente ar pridedamame tinklaraščio įraše nėra nieko, kas leistų manyti, kad šie vartotojo ketinimų išgavimo procesai šiuo metu naudojami. Tinklaraščio įrašas baigiasi pranešimu, kad aprašytas metodas yra naudingas:
„Galų gale, tobulėjant modelių našumui ir mobiliesiems įrenginiams įgyjant daugiau apdorojimo galios, tikimės, kad įrenginyje esantis ketinimų supratimas gali tapti daugelio pagalbinių mobiliųjų įrenginių funkcijų pagrindu.
Išsinešti
Nei tinklaraščio įraše apie šį tyrimą, nei pačiame tyrimo dokumente šių procesų rezultatai neapibrėžiami kaip kažkas, kas galėtų būti naudojama AI paieškoje ar klasikinėje paieškoje. Jame minimas autonominių agentų kontekstas.
Tyrimo darbe aiškiai minimas autonominio agento kontekstas įrenginyje, kuris stebi, kaip vartotojas sąveikauja su vartotojo sąsaja, ir tada gali nuspręsti, koks yra tų veiksmų tikslas (ketinimas).
Straipsnyje pateikiami du specifiniai šios technologijos pritaikymai:
- Aktyvi pagalba:
Agentas, stebintis, ką vartotojas daro, siekdamas „patobulinti personalizavimą“ ir „padidinti darbo efektyvumą“. - Personalizuota atmintis
Šis procesas įgalina įrenginį „prisiminti“ ankstesnę veiklą kaip tikslą vėliau.
Rodo kryptį, į kurią eina Google
Nors tai gali būti nenaudojama iš karto, tai rodo, kokia kryptimi eina „Google“, kai maži įrenginio modeliai stebės naudotojo sąveiką ir kartais įsikiš, kad padėtų naudotojams pagal jų ketinimus. Tikslas čia naudojamas siekiant suprasti, ką vartotojas bando padaryti.
Skaitykite „Google“ tinklaraščio įrašą čia:
Maži modeliai, dideli rezultatai: puikus ketinimų ištraukimas per skaidymą
Skaitykite PDF tyrimo straipsnį:
Maži modeliai, dideli rezultatai: geresnio tikslo ištraukimas per skaidymą (PDF)
Teminis vaizdas, kurį sukūrė „Shutterstock“ / „ViDI Studio“.
