62 % AI prekės ženklo rekomendacijų dingsta po vieno pirkėjo klausimo

Zahiras Hasanas neturėjo man pasakyti, kad jo įmonės numeriai neteisingi.

Osle įsikūrusios tyrimų įmonės „Clovion AI“ generaliniam direktoriui Hasanui nusiunčiau metodinių klausimų sąrašą apie „Išgyventi dirbtinio intelekto kanalą“ – naują Clovion tyrimą, kaip Claude, ChatGPT ir Gemini rekomenduoja prekių ženklus pokalbio metu. Dešimtas klausimas buvo įprastas, toks dalykas, kurio užduodate kiekvienai tyrėjų grupei. Ataskaitoje teigiama, kad trys dirbtinio intelekto padėjėjai visiškai prieštarauja vienas kitam dėl prekės ženklo faktų 15% atvejų, remiantis 33 patikrintais prieštaravimais. Ar tikrai pakako 33, kad būtų patvirtintas teiginys apie tai, kuris modelis linkęs nuvertinti prekės ženklo savybes, o kuris jas viršija?

Hasano atsakymas nebuvo numerio gynimas. Tai buvo pataisymas. „Tikrasis skaičius yra 330“, – rašė jis. „Dizaineris išplanavo nulį. Pasak jo, tas pats nukritęs dešimtainis skaičius 2040 prekių ženklų taip pat pavertė „204“ septintame PDF, kurį man atsiųstas prieš paskelbiant, puslapyje. Šią savaitę pasirodys pataisyta versija. Taigi, pirmiausia gavau pataisytus skaičius.

Tai keistas būdas pradėti stulpelį apie AI tyrimo ataskaitą, prieš ką nors pripažįstant, kad ataskaitos projekte buvo klaida. Tačiau tai yra sąžiningiausias būdas, nes pataisymas sako tai, ko tyrimo antraštės statistika niekada negalėjo. Teisingai skaitant AI atsakymus, nesvarbu, ar esate rinkodaros specialistas, bandantis išsiaiškinti, ar „ChatGPT“ rekomenduoja jūsų produktą, ar tyrinėtojas, rengiantis apie jį tyrimą, prieš kuriant strategiją reikia pagauti dešimtainį tašką.

Turinys:

Piltuvėlis, pertrauka

Trumpam atidėkite rašybos klaidą ir pagrindiniai tyrimai pasitvirtins. Clovion surengė 69 120 pokalbių su trimis asistentais 36 B2B programinės įrangos ir fintech kategorijose, užduodamas įvadinį klausimą, pavyzdžiui, „geriausi CRM įrankiai? ir tada vienas realus tolesnis veiksmas. Dar kartą uždavus tą patį klausimą, 90 % rekomenduojamo sąrašo liko nepažeista. Pridėjus vieną paprastą pirkėjo detalę, tokią paprastą kaip „mažai komandai“, liko tik 28 proc. Šešiasdešimt dviejų procentų prekių ženklų, kurie pateikė pirmąjį atsakymą, dingo antrasis.

Paklausiau Hasano, ar „maža komanda“ buvo atrinkta tam lašui pagaminti. Nebuvo. Jo komanda taip pat išbandė „didelei įmonei“ ir gavo beveik identišką susidomėjimą – apie 72 % abiem atvejais, palyginti su maždaug 10 %, kai klausimas buvo tiesiog kartojamas. Sąrašas nėra nestabilus. Jis reaguoja ir dažniausiai į tai, ar modelis nusprendė, kam iš tikrųjų skirtas prekės ženklas.

Tai dalis, su kuria verta sėdėti, jei užsiimate SEO ar prekės ženklo strategija. Būti pavadintam AI atsakyme nėra tas pats, kas juo pasitikėti. Modelis, įtraukęs jus į pirmąjį CRM sąrašą, vis tiek gali sumažinti jūsų dėmesį, kai tik pirkėjas susipažįsta, o „Clovion“ duomenys rodo, kad taip nutinka dažniausiai, o ne kartais.

Taisymas pakeičia mažiausio, dažniausiai cituojamo skaičiaus formą

Štai kur fiksuotas dešimtainis skaičius iš tikrųjų yra svarbus nustatant, kaip turėtumėte skaityti šį tyrimą. Senoji figūra su 33 patikrintais prieštaravimais buvo pakankamai maža, kad ant plono ledo stovėtų bet koks ant jo pastatytas modelis. Pataisyta, tai yra 330, o Hasano dalijamas suskirstymas pagal modelį yra daug labiau iškalbingas nei bendras 15 % skaičius, kurį sudaro ataskaitos projektas: Claude'as 160 kartų sumažina prekės ženklo ypatybes, palyginti su 10 perteklinių pretenzijų. „ChatGPT“ 70 kartų sumažina pretenzijas ir niekada neperduoda. Dvyniai eina kitu keliu, 80 kartų viršijant pretenzijas ir 30 mažiau pretenzijų.

Hasano darbo teorija, sudaryta iš atskiro, dar nepaskelbto Clovion tyrimo apie tai, kur kiekvienas modelis pateikia savo atsakymus, yra ta, kad Dvyniai labiau remiasi rinkodaros medžiaga ir vaizdo įrašais, todėl yra linkę priskirti prekės ženklą bet kokiai reklamai. Claude ir ChatGPT labiau remiasi dokumentacija ir produktų puslapiais, tiksliai apibūdina pagrindinį produktą ir apsisaugo nuo „neturi“, kai naujesnė funkcija nėra gerai dokumentuota. Jei tai galioja pagal tyrimą, kurį Clovion dar neišleido, tai reiškia, kad AI asistento klaidos apie jūsų produktą kryptis priklauso nuo to, kokį turinį įdėjote į jį ir kur tas turinys gyvena.

Aš praleidau daugiau nei 20 metų, sakydamas klientams, kad geras reitingavimas ir tikslus apibūdinimas yra dvi skirtingos problemos. Tai yra aiškiausias mano matytas įrodymas, kad dabar jie susiduria su ta pačia problema, kylančia viename pokalbyje, ir kad sprendimas priklauso nuo to, kuris padėjėjas neteisingai aprašo.

Kodėl niekas nepagauna trūkstamo nulio

Frederickas Vallaeysas savo knygoje „The AI-Amplified Marketer“ turi istoriją, kuri tiksliai paaiškina, kodėl nukritęs dešimtainis skaičius išlieka iki pat paskelbimo. Automatinėje ataskaitoje kartą buvo pažymėtas raktinio žodžio „puikus našumas“, nes jo kaina už įsigijimą buvo daug didesnė nei tikslinė. Kai kur sistemoje aukštas CPA buvo pakeistas į gerą, kai didelis CPA yra bloga, o ne gera žinia. Kiekvienas, perskaitęs santrauką, būtų linktelėjęs, nes sakinys buvo skaitomas sklandžiai, nors jo prasmė pasikeitė.

Vallaeys tai sieja su nuspėjamojo apdorojimo tyrimais, mintimi, kad sklandūs skaitytojai nedekoduoja kiekvieno žodžio, jie nuspėja, kas bus toliau, remdamiesi kontekstu ir judėdami toliau. Štai kaip „teh“ skaitoma kaip „the“, o trūkstamas „ne“ slysta pro jus. Kaip sako Vallaeys, mūsų mentalinis sakinio modelis nugali prieš mus esantį tekstą. Patikimas, gerai suformatuotas PDF yra lengviausia vieta pasaulyje, kad tai įvyktų, o nukritęs nulis maketo faile yra daug mažesnė, daug labiau atleistina tos pačios gedimo versija.

Taip pat dėl šios priežasties sprendimas nėra „mažiau pasitikėk ataskaita“. Tai „nepaisykite žmogaus piloto, kuris tikrina numerį, o ne aplink jį esančios pastraipos atmosferą“. Trisdešimt trys prieštaravimai ir 330 prieštaravimų skiriasi ne tik dešimt kartų. Jie palaiko visiškai skirtingus pasitikėjimo lygius apie tai, ar kiekvieno modelio modelis yra tikras. Du šimtai keturi prekių ženklai ir 2040 prekių ženklų nėra tas pats tyrimas. Jei Clovion nebūtų to užfiksavęs ir jei nebūčiau paklausęs, mažesni, drebantys skaičiai būtų nuolat sklandę kaip faktas, cituojami būtent tokio pobūdžio prekybos spaudos, kuri turėtų tai užfiksuoti.

Ko Clovion nepretenduoja ir kodėl tai yra sąžiningiausia dalis

Ataskaitoje kruopščiai nurodoma, kad ryšys tarp to, kaip modelis suvokia jūsų tinkamumą ir ar jis rekomenduoja jus, yra „tvirtas, nuoseklus ryšys, o ne įrodytas priežastinis dėsnis“. Pakalbėjau Hasaną, kaip atrodytų tikras priežastinis testas. Jo atsakymas: pakeiskite vieną dalyką – prekės ženklo viešo pozicionavimo turinį, palikite visa kita ramybėje ir pažiūrėkite, ar modelių elgesys keičiasi, palyginti su prekės ženklais, kurių niekas nepalietė. Clovion dar neatliko šio testo. Jis taip pat tiesiogiai pripažino nepatogesnę galimybę, kad prekės ženklo tikroji padėtis tikriausiai lemia tai, kaip modelis jį apibūdina, ir ar jis bus rekomenduojamas, todėl tikrosios svirties padėtis ir modelio „suvokimas“ taptų tik simptomu, o ne priežastimi.

Tai neįprastai atviras atsakymas iš įmonės, parduodančios AI matomumo stebėjimą, ir būtent todėl pasitikiu visa kita, ką man pasakė Hasanas. Jis taip pat neturėjo duomenų apie tai, kaip greitai AI suvokimas apie prekės ženklą pasikeičia po to, kai prekės ženklas pakeičia savo turinį. „Mes nedarėme bandymo prieš ir po“, – sakė jis. „Laikykite jį kaip verta išbandyti, negarantuojama po X savaičių. Kiekvienas, kuris jums sako, kad gali pažadėti konkrečią Claude'o ar Gemini nuomonę apie jūsų prekės ženklą, spėlioja, kaip pripažįsta pats Clovion.

Ką iš tikrųjų daryti

Yra trys dalykai, kuriuos turėtumėte padaryti, atsižvelgdami į tai, ką man pasakė Hasanas ir ką patvirtina pataisyti duomenys.

Pirma, sekite visą pokalbį, o ne pirmąjį atsakymą. Jei stebite dirbtinio intelekto matomumą vienu raginimu, matuojate piltuvo, kuris po vieno sakinio praranda 62 % turinio, viršūnę. Stebėjimą kurkite atsižvelgdami į tolesnius klausimus, kuriuos iš tikrųjų užduoda jūsų tikrieji pirkėjai.

Antra, sutvarkykite asistentus po vieną. Hasanas buvo tiesus, kad vienas turinio pakeitimas neperkels visų trijų modelių iš karto, nes jie paimami iš skirtingų šaltinių. Jo pasiūlyta tvarka: pirmiausia ištaisykite faktines klaidas, nes tai yra pigūs laimėjimai, tada sekite segmentų derinius, kurie yra svarbiausi jūsų konvejeriui, tikrindami kiekvieną asistentą per kelis paleidimus, o ne pasitikėdami vienu atsakymu.

Trečia, nenurodykite statistikos, kurios šaltinio neatsate, įskaitant šį. Paties Clovion ataskaitoje reikėjo pataisyti labiausiai techninį ir labiausiai cituojamą numerį. Prieš kurdami stulpelį, kliento rinkinį ar turinio santrauką apie bet kurį AI tyrimo procentą, paklauskite, iš kur atsirado pagrindinis skaičius ir ar kas nors tikrino matematiką nuo tada, kai ji išėjo iš projektavimo programinės įrangos.

Stebėjau keletą šių momentų, pradedant nuo „Panda“ ir baigiant indeksavimu mobiliajame telefone iki lėtos paieškos be paspaudimų. Kiekvienas iš jų apdovanojo praktikus, kurie patikrino pirminį šaltinį, o ne kartojo antraštės numerį. AI matomumas formuojasi taip pat. Prekės ženklai, kurie laimi nykstančią veiklą, kurią dokumentavo Clovion, nebus tie, kurie pateiks geriausią pranešimą spaudai apie savo AI apžvalgų strategiją. Jie bus tie, kurie pakankamai atidžiai perskaitė ataskaitą, kad paklaustų, ką iš tikrųjų reiškia „33“, ir kurie vis užduoda šį klausimą po šio.

Zahir Hasan yra Clovion AI COO, įsikūrusi Osle, Norvegijoje. Šią savaitę tikimasi Clovion pataisytos knygos „Surviving the AI Funnel“ versija, atspindinti šiame stulpelyje pateiktus skaičius.