„Google“ naujasis „BlockRank“ demokratizuoja išplėstinę semantinę paiešką

Naujame „Google DeepMind“ moksliniame darbe siūlomas naujas AI paieškos reitingavimo algoritmas, vadinamas „BlockRank“, kuris veikia taip gerai, kad asmenims ir organizacijoms pasiekiamas išplėstinis semantinės paieškos reitingas. Tyrėjai daro išvadą, kad tai „gali demokratizuoti prieigą prie galingų informacijos atradimo įrankių“.

Kontekstinis reitingavimas (ICR)

Straipsnyje aprašomas kontekstinio reitingavimo (ICR) naudojimo proveržis – būdas reitinguoti tinklalapius naudojant didelio kalbos modelio kontekstinio supratimo gebėjimus.

Jis ragina modelį su:

1. Užduoties instrukcijos (pvz., „reitinguoti šiuos tinklalapius“)
2. Kandidatų dokumentai (puslapiai, kuriuos reikia reitinguoti)
3. Ir paieškos užklausa.

ICR yra palyginti naujas metodas, kurį pirmą kartą ištyrė „Google DeepMind“ ir „Google Research“ tyrėjai 2024 m.Ar ilgo konteksto kalbos modeliai gali apimti paiešką, RAG, SQL ir dar daugiau? PDF). Šis ankstesnis tyrimas parodė, kad ICR gali atitikti paieškos sistemų, sukurtų specialiai paieškai, našumą.

Tačiau šis patobulinimas turėjo neigiamą pusę, nes reikia didinti skaičiavimo galią, nes didėja reitinguojamų puslapių skaičius.

Kai didelės kalbos modelis (LLM) lygina kelis dokumentus, kad nuspręstų, kurie labiausiai atitinka užklausą, jis turi „atkreipti dėmesį“ į kiekvieną žodį kiekviename dokumente ir į tai, kaip kiekvienas žodis yra susijęs su visais kitais. Šis dėmesio procesas tampa daug lėtesnis, nes pridedama daugiau dokumentų, nes darbas auga eksponentiškai.

Naujasis tyrimas išsprendžia šią efektyvumo problemą, todėl mokslinis darbas vadinamas keičiamu kontekstiniu reitingavimu naudojant generatyvius modelius, nes parodo, kaip padidinti kontekstinį reitingavimą (ICR) naudojant tai, ką jie vadina BlockRank.

Kaip buvo sukurtas „BlockRank“.

Tyrėjai ištyrė, kaip modelis iš tikrųjų naudoja dėmesį kontekstinio paieškos metu ir nustatė du modelius:

• Tarp dokumentų bloko retumas:
  Tyrėjai išsiaiškino, kad kai modelis skaito dokumentų grupę, jis dažniausiai sutelkia dėmesį į kiekvieną dokumentą atskirai, o ne visus juos lygina. Jie tai vadina „bloko retumu“, o tai reiškia, kad yra mažai tiesioginio skirtingų dokumentų palyginimo. Remdamiesi šia įžvalga, jie pakeitė tai, kaip modelis nuskaito įvestį, kad peržiūrėtų kiekvieną dokumentą atskirai, bet vis tiek palygintų juos su užduodamu klausimu. Taip išsaugoma svarbi dalis, suderinami dokumentai su užklausa ir praleidžiami nereikalingi dokumentų palyginimai. Rezultatas – sistema, kuri veikia daug greičiau neprarandant tikslumo.
• Užklausos ir dokumentų bloko tinkamumas:
  Kai LLM skaito užklausą, jis nelaiko kiekvieno to klausimo žodžio vienodai svarbiu. Kai kurios klausimo dalys, pvz., konkretūs raktiniai žodžiai ar skyrybos ženklai, nurodantys ketinimą, padeda modeliui nuspręsti, kuris dokumentas nusipelno daugiau dėmesio. Tyrėjai nustatė, kad modelio vidiniai dėmesio modeliai, ypač tai, kaip tam tikri žodžiai užklausoje sutelkiami į konkrečius dokumentus, dažnai sutampa su atitinkamais dokumentais. Šis elgesys, kurį jie vadina „užklausos ir dokumentų bloko tinkamumu“, tapo tuo, ką mokslininkai galėjo išmokyti naudoti modelį efektyviau.

Tyrėjai nustatė šiuos du dėmesio modelius ir sukūrė naują požiūrį, pagrįstą tuo, ką jie išmoko. Pirmasis modelis, tarpdokumentų blokų retumas, atskleidė, kad modelis švaisto skaičiavimus, lygindamas dokumentus tarpusavyje, kai ši informacija nebuvo naudinga. Antrasis modelis, užklausos ir dokumento bloko atitikimas, parodė, kad tam tikros klausimo dalys jau nukreiptos į tinkamą dokumentą.

Remdamiesi šiomis įžvalgomis, jie iš naujo sukūrė, kaip modelis elgiasi su dėmesiu ir kaip jis lavinamas. Rezultatas yra „BlockRank“, efektyvesnė kontekstinio paieškos forma, kuri sumažina nereikalingus palyginimus ir moko modelį sutelkti dėmesį į tai, kas iš tikrųjų rodo aktualumą.

„BlockRank“ lyginamoji analizė

Tyrėjai išbandė „BlockRank“, kad nustatytų, kaip gerai ji reitinguoja dokumentus pagal tris pagrindinius etalonus:

• ATVEŠTI
  Daugybė skirtingų paieškos ir atsakymų į klausimus užduočių, skirtų patikrinti, ar sistema gali rasti ir reitinguoti svarbią informaciją įvairiomis temomis.
• MS MARCO
  Didelis tikrų „Bing“ paieškos užklausų ir ištraukų duomenų rinkinys, naudojamas įvertinti, kaip tiksliai sistema gali reitinguoti fragmentus, kurie geriausiai atsako į vartotojo klausimą.
• Natūralūs klausimai (NQ)
  Iš tikrųjų „Google“ paieškos klausimų sukurtas etalonas, skirtas patikrinti, ar sistema gali nustatyti ir reitinguoti Vikipedijos ištraukas, kurios tiesiogiai atsako į šiuos klausimus.

Jie naudojo 7 milijardų parametrų „Mistral LLM“ ir palygino „BlockRank“ su kitais stipriais reitingavimo modeliais, įskaitant FIRST, RankZephyr, RankVicuna ir visiškai sureguliuotą „Mistral“ bazinę liniją.

„BlockRank“ veikė taip pat arba geriau nei šios sistemos pagal visus tris etalonus, sutapo su MS MARCO ir „Natural Questions“ rezultatais, o BEIR – šiek tiek geriau.

Mokslininkai paaiškino rezultatus:

„Eksperimentai su MSMarco ir NQ rodo, kad BlockRank (Mistral-7B) atitinka arba pranoksta standartinį koregavimo efektyvumą, tuo pačiu yra žymiai veiksmingesnis darant išvadas ir treniruojantis. Tai suteikia keičiamo dydžio ir veiksmingą požiūrį į LLM pagrįstą ICR.”

Jie taip pat pripažino, kad neišbandė kelių LLM ir kad šie rezultatai būdingi „Mistral 7B“.

Ar „Google“ naudoja „BlockRank“?

Tyrimo dokumentas nieko nesako apie jo naudojimą gyvoje aplinkoje. Taigi teigti, kad jis gali būti naudojamas, yra tik spėjimas. Be to, natūralu bandyti nustatyti, kur „BlockRank“ tinka AI režimui arba AI apžvalgoms, tačiau AI režimo „FastSearch“ ir „RankEmbed“ veikimo aprašymai labai skiriasi nuo „BlockRank“. Taigi mažai tikėtina, kad BlockRank yra susijęs su FastSearch ar RankEmbed.

Kodėl „BlockRank“ yra proveržis

Tyrimo dokumente teigiama, kad tai pažangi technologija, kuri suteikia pažangią reitingavimo sistemą prieinamą asmenims ir organizacijoms, kurios paprastai negalėtų turėti tokios aukštos kokybės reitingavimo technologijos.

Tyrėjai paaiškina:

„BlockRank metodika, padidindama kontekstinio paieškos (ICR) veiksmingumą ir mastelį didelių kalbų modeliuose (LLM), pažangų semantinį atgavimą daro lengviau skaičiuojamą ir gali demokratizuoti prieigą prie galingų informacijos radimo įrankių. Tai gali paspartinti tyrimus, pagerinti švietimo rezultatus, greitai suteikdama tinkamesnę informaciją ir organizaciją.

Be to, padidėjęs efektyvumas tiesiogiai reiškia, kad sumažės energijos sąnaudos intensyvioms LLM programoms, o tai prisideda prie ekologiškesnio AI kūrimo ir diegimo.

Įgalindamas veiksmingą ICR potencialiai mažesniuose ar labiau optimizuotuose modeliuose, „BlockRank“ taip pat galėtų išplėsti šių technologijų pasiekiamumą ribotų išteklių aplinkoje.

PVO ir leidėjai gali laisvai pareikšti savo nuomonę, ar „Google“ gali tai naudoti, ar ne. Nemanau, kad yra to įrodymų, bet būtų įdomu apie tai paklausti „Google“ darbuotojo.

Panašu, kad „Google“ ruošia „BlockRank“ prieinamumą „GitHub“, tačiau atrodo, kad dar nėra jokio kodo.

Skaitykite apie BlockRank čia:
Keičiamas kontekstinis reitingavimas naudojant generatyvius modelius

Teminis vaizdas, kurį sukūrė Shutterstock / Nithid