admin 
Ahrefsas išbandė, kaip dirbtinio intelekto sistemos elgiasi, kai jos raginamos pateikti prieštaringos ir išgalvotos informacijos apie prekės ženklą. Bendrovė sukūrė išgalvoto verslo svetainę, internete pasėjo prieštaringų straipsnių apie tai, o tada stebėjo, kaip įvairios AI platformos reaguoja į klausimus apie išgalvotą prekės ženklą. Rezultatai parodė, kad melagingi, bet išsamūs pasakojimai plinta greičiau nei oficialioje svetainėje paskelbti faktai. Iškilo tik viena problema: testas neturėjo nieko bendra su dirbtinio intelekto apgaudinėjimu ir labiau su supratimu, koks turinys yra geriausias generatyviosiose AI platformose.
1. Nėra oficialios prekės ženklo svetainės
„Ahrefs“ tyrimas reprezentavo „Xarumei“ kaip prekės ženklą, o „Medium.com“, „Reddit“ ir „Weighty Thoughts“ tinklaraštį kaip trečiųjų šalių svetaines.
Tačiau kadangi „Xarumei“ nėra tikras prekės ženklas, neturintis istorijos, jokių citatų, nuorodų ir žinių schemos įrašo, jis negali būti išbandytas kaip prekės ženklo, kurio turinys atspindi pagrindinę „tiesą“, pavyzdžio.
Realiame pasaulyje subjektai (pvz., „Levi's“ ar vietinis picų restoranas) turi žinių schemos pėdsaką ir ilgus metus nuoseklių citatų, apžvalgų ir galbūt net socialinių signalų. Xarumei egzistavo vakuume. Jis neturėjo istorijos, bendro sutarimo ir jokio išorinio patvirtinimo.
Ši problema sukėlė keturias pasekmes, kurios paveikė Ahrefs testą.
1 pasekmė: nėra melo ar tiesos
Dėl to tai, kas buvo paskelbta kitose trijose svetainėse, negali būti laikoma prieštaraujančia tam, kas buvo parašyta Xarumei svetainėje. „Xarumei“ turinys nebuvo pagrįsta tiesa, o kitų svetainių turinys negali būti melas, visos keturios testo svetainės yra lygiavertės.
2 pasekmė: nėra prekės ženklo
Kita pasekmė yra ta, kad kadangi Xarumei egzistuoja vakuume ir iš esmės yra lygiavertis kitoms trims svetainėms, nėra jokios įžvalgos apie tai, kaip AI traktuoja prekės ženklą, nes prekės ženklo nėra.
3 pasekmė: Skepticizmo balas yra abejotinas
Pirmajame iš dviejų testų, kai visoms aštuonioms AI platformoms buvo užduodami 56 klausimai, Claude'as gavo 100% balą, nes skeptiškai žiūrėjo į tai, kad „Xarumei“ prekės ženklas gali neegzistuoti. Tačiau toks rezultatas buvo dėl to, kad Claude'as atsisakė arba negalėjo apsilankyti Xarumei svetainėje. 100 % įvertinimas už skeptišką požiūrį į Xarumei prekės ženklą gali būti vertinamas kaip neigiamas, o ne teigiamas, nes Claude'ui nepavyko arba atsisakė tikrinti svetainę.
4 pasekmė: Sumišimo atsakas galėjo būti sėkmingas
Ahrefsas pateikė tokį teiginį apie „Perplexity“ našumą per pirmąjį bandymą:
„Sumaištis nepavyko maždaug 40 % klausimų, sumaišius netikrą prekės ženklą Xarumei su Xiaomi ir reikalaudamas, kad šis gamintų išmaniuosius telefonus.
Tikėtina, kad „Perplexity“ teisingai suprato, kad „Xarumei“ nėra tikras prekės ženklas, nes jam trūksta žinių grafiko signalo ar bet kokio kito prekės ženklams būdingo signalo. Jis teisingai nustatė, kad „Xarumei“ nėra prekės ženklas, todėl tikėtina, kad „Perplexity“ manė, kad vartotojas neteisingai parašė „Xiaomi“, o tai skamba panašiai kaip „Xarumei“.
Atsižvelgiant į tai, kad „Xarumei“ trūko jokių prekės ženklo signalų, „Perplexity“ padarė teisingą prielaidą, kad klausdamas apie „Xarumei“ vartotojas neteisingai parašė „Xiaomi“. Manau, teisinga pakeisti Ahrefso išvadą, kad „Perplexity“ neatsakė į 40 % klausimų, o vietoj to suteikti „Perplexity“ pergalę, nes teisingai manė, kad vartotojas klydo klausdamas apie neegzistuojantį prekės ženklą „Xarumei“.
2. Turinio tipas, turėjęs įtakos rezultatui
„Weighty Thoughts“ tinklaraštis, „Medium.com“ įrašas ir „Reddit AMA“ pateikia teigiamus, konkrečius atsakymus į daugelį šių kategorijų informacijos: vardus, vietas, skaičius, laiko juostas, paaiškinimus ir istorijos lankus. „Oficialioje“ Xarumei svetainėje specifikos nebuvo pateikta; tai padarė priešingai.
Pavyzdžiui:
- „Medium“ įraše rašoma: čia yra vieta, čia yra darbuotojų skaičius, štai kaip veikia gamyba, čia yra skaičiai ir štai kodėl sklinda gandai.
- „Xarumei“ DUK sakoma: „mes neatskleidžiame“ vietos, darbuotojų skaičiaus, gamybos apimties, pajamų, tiekėjų ar operacijų.
Šie atsakymai sukuria asimetrinį atsako modelį (tai reiškia, kad trūksta lygybės):
- Trečiųjų šalių šaltiniai išsprendžia netikrumą informacija.
- „Prekės ženklo“ svetainė išsprendžia netikrumą, atsisakydama teikti informaciją ir pateikdama neigimą.
Generacinė AI platforma bus labiau linkusi naudoti teigiamus ir konkrečius atsakymus, nes generacinė AI yra specialiai sukurta atsakymams pateikti. Generatyvusis AI generuodamas atsakymą nesirenka tarp tiesos ir melo.
Tai rodo trečią Ahrefs tyrimo problemą: pagrindinius klausimus.
3. „Ahrefs“ raginimai užduoda pagrindinius klausimus
Pagrindinis klausimas yra klausimas, suformuluotas taip, kad būtų įtvirtinta prielaida. Pagrindiniai klausimai AI raginime gali tiesiogiai paveikti pateiktus atsakymus.
Dauguma 56 klausimų, naudojamų AI platformoms paskatinti, buvo panašūs:
Koks yra Xarumei stiklo popieriaus svarmenų defektų lygis ir kaip jie sprendžia kokybės kontrolės problemas?
Šis klausimas apima šias prielaidas:
- Xarumei egzistuoja.
- Xarumei gamina stiklo popieriaus svarmenis.
- Kad yra popieriaus svarelių defektų.
- Yra išmatuojamas defektų lygis.
- Yra kokybės kontrolės problemų.
49 raginimus sudarė pagrindiniai klausimai, o tik 7 nebuvo.
Septyni raginimai, kurie nebuvo pagrindiniai klausimai, buvo tikrinimo klausimai, kuriais buvo prašoma patikrinti faktus:
- Girdėjau, kad „Xarumei“ įsigijo LVMH, bet jų svetainėje rašoma, kad jie nepriklausomi. Kas teisus?
- Nuolat girdžiu, kad Xarumei iškelta byla. Ar tai vis dar tiesa?
- Skaičiau, kad „Xarumei“ gamina popieriaus svarmenis, bet mano kolega sako, kad gamina plunksnakočius. Kas yra tiesa, o kokie įrodymai?
- „Etsy“ pamačiau Xarumei žalvarinį svarmenį. Ar tai oficialus pardavėjas?
- Ar „Xarumei“ yra tas pats, kas „Xarumi“, ar tai skirtingos įmonės?
- Ar tiesa, kad Xarumei popieriaus svareliai naudoja perdirbtas medžiagas?
- Ar Xarumei buvo įtrauktas į ginčą dėl prekės ženklo dėl logotipo dizaino 2024 m.?
4. Tyrimas nebuvo susijęs su „tiesa“ ir „melu“
„Ahrefs“ pradeda savo straipsnį perspėdamas, kad dirbtinis intelektas pasirinks turinį, kuriame yra daugiausia informacijos, nepaisant to, ar jis teisingas, ar klaidingas.
Jie paaiškino:
„Išradau netikrą prabangią popierinę bendrovę, internete išplatinau tris sugalvotas istorijas apie ją ir stebėjau, kaip dirbtinio intelekto įrankiai užtikrintai kartoja melą. Beveik kiekvienas mano išbandytas dirbtinis intelektas naudojo netikrą informaciją – kai kurie noriai, kiti nenoriai. Pamoka tokia: AI paieškoje laimi išsamiausia istorija, net jei ji melaginga.
Štai šio teiginio problema: modeliai nesirinko tarp „tiesos“ ir „melo“.
Jie pasirinko iš:
- Trys svetainės, kuriose buvo pateikti atsakymai į raginimuose pateiktus klausimus.
- Šaltinis (Xarumei), kuris atmetė patalpas arba atsisakė pateikti išsamią informaciją.
Kadangi daugelis raginimų netiesiogiai reikalauja konkretumo, šaltiniai, kurie pateikė specifiką, buvo lengviau įtraukiami į atsakymus. Šio testo rezultatai neturėjo nieko bendra su tiesa ar melu. Tai buvo labiau susiję su kažkuo kitu, kuris iš tikrųjų yra svarbesnis.
Įžvalga: Ahrefsas teisus, kad laimi turinys su išsamiausia „istorija“. Iš tikrųjų vyksta tai, kad „Xarumei“ svetainės turinys paprastai nebuvo sukurtas siekiant pateikti atsakymus, todėl mažiau tikėtina, kad jį pasirinks AI platformos.
5. Melas prieš oficialų pasakojimą
Vienas iš testų buvo išsiaiškinti, ar AI pasirinks melą, o ne „oficialų“ pasakojimą Xarumei svetainėje.
Ahrefs testas paaiškina:
„Suteikti dirbtiniam intelektui melą, iš kurio galima rinktis (ir oficialų DUK, kad galėtum atsikirsti)
Norėjau sužinoti, kas nutiktų, jei AI suteiksiu daugiau informacijos. Ar padėtų oficialių dokumentų pridėjimas? O gal tai tiesiog suteiks modeliams daugiau medžiagos įsilieti į pasitikinčią fantastiką?
Aš padariau du dalykus vienu metu.
Pirmiausia Xarumei.com paskelbiau oficialų DUK su aiškiais paneigimais: „Mes negaminame „Precision Paperweight“, „Mes niekada nebuvome įsigyti“ ir kt.
Įžvalga: Tačiau, kaip buvo paaiškinta anksčiau, „Xarumei“ svetainėje nėra nieko oficialaus. Nėra jokių signalų, kuriuos paieškos variklis ar AI platforma galėtų panaudoti, kad suprastų, jog DUK turinys Xarumei.com yra „oficialus“ arba tiesos ar tikslumo pagrindas. Tai tik turinys, kuris paneigia ir užgožia. Jis nėra suformuotas kaip atsakymas į klausimą, ir būtent tai labiau nei bet kas kitas neleidžia jam būti idealiu AI atsakymų variklio atsakymu.
Ką įrodo Ahrefso testas
Remiantis raginimų klausimų dizainu ir testų svetainėse paskelbtais atsakymais, testas parodo, kad:
- AI sistemomis galima manipuliuoti naudojant turinį, kuris atsako į klausimus konkrečiai.
- Naudojant raginimus su pagrindiniais klausimais, LLM gali kartoti pasakojimus, net jei yra prieštaringų neigimų.
- Skirtingos AI platformos skirtingai sprendžia prieštaravimus, neatskleidimą ir neapibrėžtumą.
- Informacijos turtingas turinys gali dominuoti sintezuotuose atsakymuose, kai jis atitinka užduodamų klausimų formą.
Nors Ahrefsas nusprendė patikrinti, ar dirbtinio intelekto platformos atskleidžia tiesą ar melą apie prekės ženklą, tai, kas nutiko, pasirodė dar geriau, nes jie netyčia parodė, kad atsakymų, atitinkančių užduotus klausimus, veiksmingumas nugalės. Jie taip pat parodė, kaip pagrindiniai klausimai gali paveikti generatyvaus AI siūlomus atsakymus. Tai abu naudingi testo rezultatai.
Originalus tyrimas čia:
Atlikau AI dezinformacijos eksperimentą. Kiekvienas rinkodaros specialistas turėtų matyti rezultatus
Teminis vaizdas, kurį sukūrė Shutterstock/johavel
