admin 
Remiantis nauja „SparkToro“ ataskaita, dirbtinio intelekto įrankiai sudaro skirtingus prekės ženklų rekomendacijų sąrašus beveik kiekvieną kartą, kai atsako į tą patį klausimą.
Duomenys parodė <1 iš 100 tikimybę, kad „ChatGPT“ arba „Google“ AI paieškoje (AI apžvalgos / AI režimas) pakartotinai paleidus tą patį raginimą pateiks tą patį prekių ženklų sąrašą.
Randas Fishkinas, „SparkToro“ įkūrėjas, atliko tyrimą kartu su Patricku O'Donnelliu iš Gumshoe.ai, AI sekimo startuolio. Lapkričio ir gruodžio mėn., pasitelkdama šimtus savanorių, komanda atliko 2 961 raginimą per ChatGPT, Claude ir Google Search AI apžvalgas (naudojant AI režimą, kai apžvalgos nepasirodė).
Kokie duomenys buvo rasti
Autoriai išbandė 12 raginimų, kuriuose buvo prašoma prekės ženklo rekomendacijų įvairiose kategorijose, įskaitant virėjo peilius, ausines, vėžio gydymo ligonines, skaitmeninės rinkodaros konsultantus ir mokslinės fantastikos romanus.
Kiekvienas raginimas buvo paleistas 60–100 kartų vienoje platformoje. Beveik kiekvienas atsakymas buvo unikalus trimis būdais: pateiktų prekių ženklų sąrašu, rekomendacijų tvarka ir grąžinamų prekių skaičiumi.
Fishkinas apibendrino pagrindinę išvadą:
„Jei šimtą kartų paprašysite AI įrankio pateikti prekės ženklo / produkto rekomendacijas, beveik kiekvienas atsakymas bus unikalus.
Claude'as parodė šiek tiek didesnį nuoseklumą du kartus sudarydamas tą patį sąrašą, tačiau buvo mažiau tikėtinas, kad jis sudarys tą patį užsakymą. Nė viena iš platformų nepriartėjo prie autorių patikimo pakartojamumo apibrėžimo.
Greito kintamumo problema
Autoriai taip pat ištyrė, kaip tikri vartotojai rašo raginimus. Kai 142 dalyvių buvo paprašyta parašyti savo raginimus apie ausines keliaujančiam šeimos nariui, beveik nebuvo dviejų panašių raginimų.
Tų žmogaus parašytų raginimų semantinio panašumo balas buvo 0,081. Fishkin palygino santykius su:
„Kung Pao vištiena ir žemės riešutų sviestas“.
Raginimai turėjo bendrą tikslą, bet mažai kas kita.
Nepaisant greitos įvairovės, AI įrankiai grąžino prekių ženklus iš gana nuoseklaus svarstymo rinkinio. „Bose“, „Sony“, „Sennheiser“ ir „Apple“ pasirodė 55–77 % iš 994 atsakymų į įvairius ausinių raginimus.
Ką tai reiškia AI matomumo stebėjimui
Išvadose abejojama „AI reitingo pozicijos“ kaip metrikos verte. Fishkinas rašė: „Bet koks įrankis, suteikiantis „reitingą dirbtinio intelekto poziciją“, yra pilnas niūrių.
Tačiau duomenys rodo, kad tai, kaip dažnai prekės ženklas pasirodo daugelyje panašių raginimų, yra nuoseklesnis. Griežtose kategorijose, pvz., debesų kompiuterijos paslaugų teikėjai, daugumoje atsakymų buvo pateikti geriausi prekių ženklai. Platesnėse kategorijose, pavyzdžiui, mokslinės fantastikos romanuose, rezultatai buvo labiau išsibarstę.
Tai sutampa su kitomis mūsų aptartomis ataskaitomis. Gruodžio mėn. „Ahrefs“ paskelbė duomenis, rodančius, kad „Google“ AI režimas ir AI apžvalgos 87 % atvejų pateikia skirtingus šaltinius toje pačioje užklausoje. Toje ataskaitoje dėmesys buvo sutelktas į kitą klausimą: ta pati platforma, bet su skirtingomis funkcijomis. Šie „SparkToro“ duomenys nagrinėja tą pačią platformą ir raginimą, bet su skirtingais paleidimais.
Šių tyrimų modelis rodo tą pačią kryptį. Atrodo, kad dirbtinio intelekto rekomendacijos skiriasi visais lygmenimis, nesvarbu, ar lyginate įvairias platformas, platformos funkcijas ar pasikartojančias tos pačios funkcijos užklausas.
Metodikos pastabos
Tyrimas buvo atliktas bendradarbiaujant su Gumshoe.ai, parduodančia AI sekimo įrankius. Fishkinas tai atskleidė ir pažymėjo, kad jo pradinė hipotezė buvo ta, kad AI sekimas pasirodys „beprasmiškas“.
Grupė paskelbė visą metodiką ir neapdorotus duomenis viešoje mini svetainėje. Apklausos respondentai naudojo savo įprastus AI įrankio nustatymus be standartizavimo, o tai, pasak autorių, buvo sąmoninga siekiant užfiksuoti realaus pasaulio pokyčius.
Ataskaita nėra recenzuojamas akademinis tyrimas. Fishkin pripažino metodologinius apribojimus ir paragino imtis didesnio masto tolesnių darbų.
Žvilgsnis į priekį
Autoriai paliko atvirus klausimus apie tai, kiek skubių paleidimų reikia norint gauti patikimus matomumo duomenis ir ar API skambučiai duoda tokį patį variantą kaip ir rankiniai raginimai.
Vertinant AI sekimo įrankius, išvados rodo, kad turėtumėte paprašyti paslaugų teikėjų parodyti savo metodiką. Fishkin rašė:
„Prieš išleisdami centą sekdami AI matomumą, įsitikinkite, kad jūsų paslaugų teikėjas atsako į klausimus, kuriuos čia pateikėme, ir parodys savo matematiką.
Teminis vaizdas: NOMONARTS / Shutterstock
