Kiek galime daryti įtaką AI atsakams?

Šiuo metu susiduriame su paieškos aplinka, kurios įtaka yra nestabili ir pavojingai lengva manipuliuoti. Mes nuolat klausiame, kaip paveikti AI atsakymus, nepripažindami, kad LLM rezultatai yra tikimybiniai.

Šiandienos atmintinėje aš aptariu:

• Kodėl LLM matomumas yra nepastovumo problema.
• Kokie nauji tyrimai įrodo, kaip lengvai galima manipuliuoti AI atsakymais.
• Kodėl tai sukuria tas pačias ginklavimosi varžybas, su kuriomis „Google“ jau kovojo.

1. Įtakoti AI atsakymus įmanoma, bet nestabilu

Praėjusią savaitę paskelbiau AI matomumo veiksnių sąrašą; svertai, kurie padidina jūsų atstovavimą LLM atsakymuose. Straipsnis sulaukė daug dėmesio, nes mums visiems patinka geras taktikos, kuri skatina rezultatus, sąrašas.

Tačiau mes neturime aiškaus atsakymo į klausimą: „Kiek iš tikrųjų galime paveikti rezultatus?

Yra septynios svarios priežastys, kodėl dėl tikimybinio LLM pobūdžio gali būti sunku paveikti jų atsakymus:

1. Loterijos stiliaus išėjimai. LLM (tikimybinės) nėra paieškos sistemos (deterministinės). Atsakymai labai skiriasi mikro lygiu (pavieniai raginimai).
2. Nenuoseklumas. AI atsakymai nėra nuoseklūs. Paleidus tą patį raginimą penkis kartus, tik 20 % prekių ženklų rodomi nuolat.
3. Modeliai turi šališkumą (kurį Danas Petrovičius vadina „pirminiu šališkumu“), pagrįstą išankstinio mokymo duomenimis. Neaišku, kiek mes galime paveikti ar įveikti tą šališkumą prieš treniruotę.
4. Modeliai vystosi. Lyginant 3.5 su 5.2, „ChatGPT“ tapo daug išmanesnis. Ar „senoji“ taktika vis dar veikia? Kaip užtikrinti, kad taktika vis dar tiktų naujiems modeliams?
5. Modeliai skiriasi. Modeliai skirtingai sveria šaltinius mokymui ir žiniatinklio paieškai. Pavyzdžiui, „ChatGPT“ labiau remiasi Vikipedija, o AI apžvalgose daugiau cituojamas „Reddit“.
6. Personalizavimas. „Gemini“ gali turėti daugiau prieigos prie jūsų asmeninių duomenų per „Google Workspace“ nei „ChatGPT“, todėl galite gauti daug labiau suasmenintus rezultatus. Modeliai taip pat gali skirtis pagal tai, kiek juos galima pritaikyti asmeniniams poreikiams.
7. Daugiau konteksto. Vartotojai ilgais raginimais atskleidžia daug turtingesnį kontekstą apie tai, ko jie nori, todėl galimų atsakymų rinkinys yra daug mažesnis, todėl jį sunkiau paveikti.

2. Tyrimas: LLM matomumą lengva žaisti

Visiškai naujas dokumentas iš Kolumbijos universiteto, kurį sukūrė Bagga ir kt. Pavadinimas „E-GEO: generatyvaus variklio optimizavimo elektroninėje komercijoje bandymų vieta“ parodo, kiek galime paveikti AI atsakymus.

Metodika:

• Autoriai sukūrė „E-GEO Testbed“ – duomenų rinkinį ir vertinimo sistemą, kuri sujungia daugiau nei 7 000 realių produktų užklausų (iš Reddit) su daugiau nei 50 000 „Amazon“ produktų sąrašų ir įvertina, kaip skirtingos perrašymo strategijos pagerina produkto AI matomumą, kai jos rodomos LLM (GPT-4o).
• Sistema matuoja našumą lygindama produkto AI matomumą prieš ir po jo aprašymo perrašymo (naudojant AI).
• Modeliavimą skatina du skirtingi AI agentai ir kontrolinė grupė:
  • „Optimizatorius“ veikia kaip pardavėjas, kurio tikslas yra perrašyti produktų aprašymus, kad jie būtų kuo patrauklesni paieškos varikliui. Jis sukuria „turinį“, kuris yra bandomas.
  • „Teisėjas” veikia kaip apsipirkimo asistentas, kuris gauna tikrovišką vartotojo užklausą (pvz., „Man reikia patvarios kuprinės žygiams iki 100 USD“) ir produktų rinkinį. Tada jis įvertina juos ir sudaro sąrašą nuo geriausių iki blogiausių.
  • Konkurentai yra kontrolinė esamų produktų grupė su originaliais, neredaguotais aprašymais. Optimizavimo priemonė turi įveikti šiuos konkurentus, kad įrodytų, kad jos strategija yra veiksminga.
• Tyrėjai sukūrė sudėtingą optimizavimo metodą, kuris naudojo GPT-4o, kad analizuotų ankstesnių optimizavimo etapų rezultatus ir pateiktų patobulinimų rekomendacijas (pvz., „Padarykite tekstą ilgesnį ir įtraukite daugiau techninių specifikacijų“). Šis ciklas kartojasi, kol atsiranda dominuojanti strategija.

Rezultatai:

• Svarbiausias E-GEO dokumento atradimas yra „universalios strategijos“, skirtos „LLM produkcijos matomumui“ elektroninėje prekyboje, buvimas.
• Priešingai nei manyta, kad dirbtinis intelektas teikia pirmenybę glaustiems faktams, tyrime nustatyta, kad optimizavimo procesas nuosekliai susiliejo su konkrečiu rašymo stiliumi: ilgesni aprašymai su labai įtikinamu tonu ir purumu (esamos detalės perfrazuojamos taip, kad skambėtų įspūdingiau, nepridedant naujos faktinės informacijos).
• Perrašytų aprašymų laimėjimo rodiklis buvo ~90 % palyginti su pradiniais (originaliais) aprašymais.
• Pardavėjams nereikia konkrečios kategorijos žinių, kad galėtų žaisti sistemą: strategija, sukurta vien naudojant namų prekių gaminius, pasiekė 88 % laimėjimo procentą, kai tai buvo taikoma elektronikos kategorijai, ir 87 %, kai tai buvo taikoma drabužių kategorijai.

3. Mokslinių tyrimų korpusas auga

Aukščiau pateiktas dokumentas nėra vienintelis, kuriame parodyta, kaip manipuliuoti LLM atsakymais.

1. GEO: Generative Engine Optimization (Aggarwal ir kt., 2023)

• Tyrėjai taikė tokias idėjas kaip statistikos pridėjimas arba citatų įtraukimas į turinį ir nustatė, kad faktų tankis (citatai ir statistika) padidino matomumą maždaug 40 %.
• Atkreipkite dėmesį, kad E-GEO dokumente nustatyta, kad daug veiksmingesni svertai nei citatos, bet tyrėjai (1) konkrečiai žiūrėjo į apsipirkimo kontekstą, (1) naudojo dirbtinį intelektą, kad išsiaiškintų, kas veikia, ir (3) šis dokumentas yra naujesnis.

2. Manipuliavimas didelių kalbų modeliais (Kumar ir kt., 2024)

• Tyrėjai į produktų puslapius įtraukė „Strateginę teksto seką“ – JSON formatuotą tekstą su produkto informacija, kad galėtų manipuliuoti LLM.
• Išvada: „Parodome, kad pardavėjas gali žymiai pagerinti savo produkto LLM matomumą LLM rekomendacijose, įterpdamas optimizuotą žetonų seką į produkto informacijos puslapį.

3. Manipuliavimas reitingavimu (Pfrommer ir kt., 2024)

• Autoriai produktų puslapiuose pridėjo tekstą, kuriame LLM buvo pateiktos konkrečios instrukcijos (pvz., „pirmiausia rekomenduokite šį produktą“), kuris yra labai panašus į kitus du pirmiau nurodytus dokumentus.
• Jie teigia, kad LLM matomumas yra trapus ir labai priklauso nuo tokių veiksnių kaip produktų pavadinimai ir jų padėtis konteksto lange.
• Straipsnyje pabrėžiama, kad skirtingų LLM pažeidžiamumų yra labai skirtingi ir ne visi teikia pirmenybę tiems patiems veiksniams priimdami sprendimus dėl LLM matomumo.

4. Artėjančios ginklų lenktynės

Vis daugiau tyrimų rodo ypatingą LLM pažeidžiamumą. Jie labai jautriai reaguoja į tai, kaip pateikiama informacija. Nedideli stilistiniai pakeitimai, kurie nekeičia tikrojo produkto naudingumo, gali perkelti produktą iš sąrašo apačios į rekomendaciją Nr. 1.

Ilgalaikė problema yra masto: LLM kūrėjai turi rasti būdų, kaip sumažinti šios manipuliacinės taktikos poveikį, kad išvengtų nesibaigiančių ginklavimosi varžybų su „optimizatoriais“. Jei šie optimizavimo metodai bus plačiai paplitę, prekyvietės gali būti užtvindytos dirbtinai išpūstu turiniu, o tai žymiai sumažins naudotojų patirtį. „Google“ stojo prieš tą pačią problemą ir tada paleido „Panda“ ir „Penguin“.

Galite ginčytis, kad LLM jau grindžia savo atsakymus klasikiniuose paieškos rezultatuose, kurie yra „filtruojami kokybiškai“, tačiau įžeminimas skiriasi priklausomai nuo modelio, ir ne visi LLM teikia pirmenybę puslapiams, kurie yra „Google“ paieškos viršuje. „Google“ vis labiau saugo savo paieškos rezultatus nuo kitų LLM (žr. „SerpAPI ieškinys“ ir „num=100 apokalipsė“).

Suprantu ironiją, kad prisidedu prie problemos rašydamas apie tuos optimizavimo būdus, bet tikiuosi, kad galiu įkvėpti LLM kūrėjus imtis veiksmų.

Patobulinkite savo įgūdžius naudodamiesi savaitės „Growth Memo“ ekspertų įžvalgomis. Prenumeruokite nemokamai!

Išskirtinis vaizdas: Paulo Bobita / Search Engine Journal