Karštas prancūzų startuolis ZML išleidžia nemokamą produktą, kad pagreitintų išvadas apie daugybę AI lustų

Neprilygstamo „Nvidia“ dominavimo rinkoje laikai nesibaigė, tačiau varžovų ir pasirinkimų kyla iš visų pusių.

ZML, karštas prancūzų dirbtinio intelekto startuolis, kuriam pritarė Turingo apdovanojimo laureatas Yann LeCun, išleido išvadų našumo programinę įrangą, leidžiančią įvairiems atvirojo kodo didelių kalbų modeliams paleisti įvairius lustus, įskaitant Nvidia, AMD, Google TPU, Apple Metal ir Intel Arc.

Naudojant ZML/LLMD, naujai paleistą LLM išvadų serverį, bendrovės tikslas yra suardyti esamus silosus ir padaryti skirtingus lustus, skirtus dirbtinio intelekto naudojimo atvejams maksimaliu pasiekiamu greičiu, o kartais ir greičiau, „TechCrunch“ sakė ZML įkūrėjas Steeve'as Morinas.

Kai dirbtinis intelektas integruojamas į mūsų darbą ir kasdienį gyvenimą, optimizavimo išvados (dar žinomas kaip raginimų apdorojimas) svarba lenkia modelių mokymą, tačiau užkulisiuose dažnai jaučiasi nevienodi, nes yra programinės įrangos ir architektūros kliūčių, dėl kurių pardavėjas užsiblokuoja, sakė Morinas.

Pažadas pasiekti maksimalų įvairių lustų našumą yra technologinis žygdarbis, tačiau jis taip pat gali sutrikdyti rinką, didėjant baimei dėl su AI susijusių išlaidų.

ZML tikisi įmonėms ir debesims suteikti galimybę naudoti lustų derinį, kai kurie iš jų gali būti pigesni arba sunaudoti mažiau energijos. „Idėja yra sugrąžinti žmonėms galią kurti savo sistemą ir pasiekti tikrą efektyvumo padidėjimą, kuris leistų (AI) skleisti“, – sakė Morinas.

Tokia programinės įrangos pagalba gali padėti naujiems dirbtinio intelekto lustų gamintojams, kurių daugelis yra iš Europos, pastebėjo Morinas, cituodamas Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud ir VSORA. Tačiau jam svarbiau, o ne jų kilmės regionas, tai, kad ZML gali dirbti su jais „dalykuose, kurių dar nebuvo padaryta niekur pasaulyje“.

Tai nereiškia, kad Morinas yra meškiškas Nvidia. Jis ne, iš dalies dėl esamos pasiūlos. Jis sakė „TechCrunch“, kad ZML palaiko gerus santykius su AI lustų milžinu, kuris ruošiasi daryti išvadas.

Išvados buvo tokių intensyvių investicijų sritis, kad ši tendencija buvo pavadinta „išvadų aukso karštine“. Taigi ZML turi tokią konkurenciją kaip Baseten, kuri neseniai buvo įvertinta 13 mlrd. Inferact, iš atviro kodo projekto vLLM kūrėjų; taip pat RadixArk, komercinė įmonė, už SGLang.

Tiek vLLM, tiek SGLang iš dalies konkuruoja su LLMD, tačiau Morino ambicijos dėl ZML apima platesnį spektrą. „Pasiekėme tašką, kai kartu kuriame silicį“, – sakė jis. Be to, jis įvardijo nedidelę ZML 20 žmonių komandą kaip priežastį, kodėl Paryžiuje įsikūręs startuolis sugebėjo greitai judėti ir planuojama daugiau leidimų.

Taip pat padėjo tai, kad ši nedidelė komanda yra gerai finansuojama dėl savo dydžio. Dėka savo patirties kaip Zenly inžinerijos viceprezidentas, kurį 2017 m. „Snapchat“ įsigijo devynis skaitmenis, Morinas surinko 20 mln.

Skirtingai nuo pirmojo viešo ZML projekto, į išvadas orientuota ML sistema, išleista 2024 m. ir atnaujinta kovo mėn., ZML/LLMD nėra atvirojo kodo. Tačiau jis pristatomas kaip nemokamas produktas, kurio tikslas yra sužinoti apie naudojimą. „Geriau išmatuoti ir (tada generuoti pajamas) ten, kur tai yra efektyviausia, kvailai netrukdydamas mano augimui, nes buvau per daug godus nuo pat pradžių“, – sakė Morinas.

Dar per anksti pasakyti, kada ZML/LLMD gali tapti mokamu produktu ir kaip atrodys jo priėmimas. Tačiau startuolio dydžių lentelė patvirtina, kad kiti įkūrėjai atkreipia dėmesį, įskaitant Dagger ir Docker įkūrėją Solomon Hykes, Clément Delangue ir Julien Chaumond iš Hugging Face, taip pat LeCun, dabar su AMI Labs. Tai taip pat sukuria pagrindą, kurį Europos DI startuoliai dabar gali kurti iš namų. „Aš negalėjau užsiimti ZML niekur, išskyrus Paryžių“, – sakė Morinas.