admin 
„Microsoft“ paskelbė apie „Bing“ paieškos infrastruktūros atnaujinimus, apimančius didelių kalbų modelius (LLM), mažų kalbų modelius (SLM) ir naujus optimizavimo metodus.
Šiuo atnaujinimu siekiama pagerinti našumą ir sumažinti paieškos rezultatų pateikimo išlaidas.
Skelbime bendrovė teigia:
„Mes „Bing“ visada peržengiame paieškos technologijų ribas. Didelių kalbų modelių (LLM) ir mažų kalbų modelių (SLM) panaudojimas yra svarbus žingsnis tobulinant mūsų paieškos galimybes. Nors transformatorių modeliai mums puikiai pasitarnavo, vis sudėtingėjant paieškos užklausoms, reikėjo galingesnių modelių.
Našumo padidėjimas
Naudojant LLM paieškos sistemose gali kilti problemų dėl greičio ir kainos.
Kad išspręstų šias problemas, Bing parengė SLM, kurios, jos teigimu, yra 100 kartų greitesnės nei LLM.
Skelbime rašoma:
„LLM aptarnavimas gali būti brangus ir lėtas. Siekdami pagerinti efektyvumą, apmokėme SLM modelius (~100 kartų geresnis pralaidumas, palyginti su LLM), kurie tiksliau apdoroja ir supranta paieškos užklausas.
„Bing“ taip pat naudoja NVIDIA TensorRT-LLM, kad pagerintų SLM veikimą.
TensorRT-LLM yra įrankis, padedantis sumažinti didelių modelių paleidimo NVIDIA GPU laiką ir išlaidas.
Poveikis giliai paieškai
Remiantis „Microsoft“ technine ataskaita, „Nvidia“ TensorRT-LLM technologijos integravimas pagerino bendrovės „Deep Search“ funkciją.
Deep Search naudoja SLM realiuoju laiku, kad pateiktų atitinkamus žiniatinklio rezultatus.
Prieš optimizavimą pradinio Bing transformatoriaus modelio 95 procentilio delsa buvo 4,76 sekundės vienai partijai (20 užklausų) ir 4,2 užklausos per sekundę pralaidumas vienu atveju.
Naudojant TensorRT-LLM, delsa buvo sumažinta iki 3,03 sekundės per vieną paketą, o pralaidumas padidėjo iki 6,6 užklausos per sekundę per vieną egzempliorių.
Tai reiškia a 36 % delsos sumažėjimas ir a 57 % veiklos išlaidų sumažėjimas.
Įmonė teigia:
„… mūsų gaminys yra sukurtas remiantis geriausiu rezultatu, ir mes nekeisime į kompromisus dėl kokybės ir greičio. Čia pradeda veikti TensorRT-LLM, sumažinantis modelio išvadų laiką ir, atitinkamai, galutinio naudojimo vėlavimą neprarandant rezultatų kokybės.
Privalumai „Bing“ vartotojams
Šis naujinimas „Bing“ vartotojams suteikia keletą galimų pranašumų:
- Greitesni paieškos rezultatai su optimizuotomis išvadomis ir greitesniu atsakymo laiku
- Patobulintas tikslumas dėl patobulintų SLM modelių galimybių, suteikiančių labiau kontekstualizuotus rezultatus
- Ekonominis efektyvumas, leidžiantis Bing investuoti į tolesnes naujoves ir patobulinimus
Kodėl Bingo perėjimas prie LLM / SLM modelių yra svarbus
„Bing“ perėjimas prie LLM / SLM modelių ir „TensorRT“ optimizavimas gali turėti įtakos paieškos ateičiai.
Naudotojams užduodant sudėtingesnius klausimus, paieškos sistemos turi geriau suprasti ir greitai pateikti atitinkamus rezultatus. „Bing“ siekia tai padaryti naudodama mažesnius kalbos modelius ir pažangius optimizavimo būdus.
Nors turėsime palaukti ir pamatyti visą poveikį, „Bing“ žingsnis sukuria pagrindą naujam paieškos skyriui.
Teminis vaizdas: mindea/Shutterstock
