Šaltiniai: projektas SGLang sukasi kaip RadixArk su 400 mln. USD vertinimu, nes išvadų rinka sprogsta

AI infrastruktūros pasaulyje ryškėja modelis: populiarūs atvirojo kodo įrankiai virsta rizikos remiamais startuoliais, kurių vertė siekia šimtus milijonų dolerių. Naujausias pavyzdys yra „RadixArk“, komercinė įmonė, už SGLang – vis populiaresnis įrankis, padedantis dirbtinio intelekto modeliams veikti greičiau ir pigiau.

Pasak dviejų žmonių, susipažinusių su šiuo klausimu, „RadixArk“ neseniai buvo įvertinta maždaug 400 mln. „TechCrunch“ negalėjo patvirtinti finansavimo dydžio.

Naujienos pasirodė, kai dalis komandos, atsakingos už SGLang, kurią naudoja tokios įmonės kaip xAI ir Cursor, kad paspartintų dirbtinio intelekto modelių mokymą, priežiūrą, perėjo prie neseniai pradėto komercinio paleidimo. „RadixArk“ atsirado kaip SGLang 2023 m. „Databricks“ įkūrėjo Ion Stoica UC Berkeley laboratorijoje.

Pasak žmonių, startuolis anksčiau pritraukė angelų kapitalą iš investuotojų, įskaitant „Intel“ generalinį direktorių Lip-Bu Tan.

Ying Sheng, pagrindinis SGLang bendradarbis ir buvęs xAI inžinierius, paliko Elono Musko AI startuolį ir tapo „RadixArk“ įkūrėju ir generaliniu direktoriumi, teigiama praėjusį mėnesį paskelbtame „LinkedIn“ pranešime. Shengas anksčiau buvo „Databricks“ mokslininkas.

RadixArk Ying Sheng, Accel ir Lip-Bu Tan neatsakė į prašymą pakomentuoti.

Tiek SGLang, tiek RadixArk sutelkia dėmesį į išvadų apdorojimo optimizavimą – iš esmės leidžia modeliams veikti greičiau ir efektyviau naudojant tą pačią aparatinę įrangą. Kartu su modelio mokymu, išvados sudaro didelę serverio išlaidų, susijusių su AI paslaugomis, dalį. Dėl to procesą optimizuojantys įrankiai gali beveik iš karto sutaupyti daug pinigų.

„RadixArk“ nėra vienintelis, perėjęs nuo atvirojo kodo projekto prie gerai finansuojamo paleidimo. vLLM, brandesnis projektas, skirtas optimizuoti išvadas, taip pat padarė šuolį. Praėjusį mėnesį „Forbes“ pranešė, kad naujai įsteigta įmonė diskutavo apie 160 mln.

Trys žmonės, susipažinę su šiuo sandoriu, „TechCrunch“ sako, kad Andreessenas Horowitzas vadovauja investicijoms į vLLM, nors galutiniai šios investicijos skaičiai dar neaiškūs. Andreessenas Horowitzas atsisakė komentuoti. vLLM vienas iš įkūrėjų Simonas Mo apibūdino informaciją apie šį turą „faktiškai netikslia“ pranešime „TechCrunch“, nors jis atsisakė nurodyti, kuri informacija buvo neteisinga.

Kaip ir SGLang, vLLM buvo inkubuojamas Ion Stoica laboratorijoje Berklio UC. Stoica, UC Berkeley profesorius, yra žinomas Databricks ir daugelio kitų pradedančiųjų įmonių įkūrėjas.

Kelios didelės technologijų įmonės jau atlieka savo išvadų darbo krūvius naudodamos vLLM, o SGLang taip pat įgijo didelį populiarumą per pastaruosius šešis mėnesius, Brittany Walker, CRV bendroji partnerė, sakė TechCrunch. Jos įmonė nepalaikė nė vienos bendrovės.

RadixArk toliau kuria SGLang kaip atvirojo kodo AI modelio variklį. Startuolis taip pat kuria „Miles“ – specializuotą sistemą, skirtą sustiprinti mokymąsi, leidžiančią įmonėms mokyti dirbtinio intelekto modelius, kad laikui bėgant jie taptų išmanesni.

Nors dauguma jos įrankių lieka nemokami, „RadixArk“ pradėjo imti mokesčius už prieglobos paslaugas, „TechCrunch“ pasakojo su įmone susipažinęs asmuo.

Pradedantiesiems, teikiantiems išvadų infrastruktūrą kūrėjams, pastaraisiais mėnesiais išaugo finansavimas, o tai pabrėžia tebesitęsiančią išvadų sluoksnio svarbą dirbtiniam intelektui. Basetenas neseniai užsitikrino 300 milijonų dolerių, įvertinęs 5 milijardus dolerių, antradienį pranešė The Wall Street Journal. Tai įvyko po panašaus varžovo Fireworks AI žingsnio, kuris praėjusį spalį surinko 250 mln. USD už 4 mlrd.