Ar smegenų bangos yra kitas fizinio AI atrakinimas?

Fizinio AI riba yra Jenga žaidimas sandėlyje San Leandro mieste, Kalifornijoje.

Tą sandėlį užima įmonė „Encord“, kurianti duomenų įrankius, naudojamus dirbtinio intelekto modeliams mokyti. Andrew Ceja yra pilotas – įmonės robotų treniruoklių terminas – ir atsargiai traukia medines kaladėles iš svirduliuojančio bokšto, dėvėdamas ausines su kamera, kuri seka tai, ką mato. Vien tai yra gana įprasta renkant roboto mokymo duomenis, tačiau šiose ausinėse yra jutikliai, kurie matuoja jo smegenų bangas, kai jis atsargiai išardo blokinį bokštą.

„Encord“ yra viena iš mažų, bet vis didėjančių naujų įmonių, kurios teigia, kad kitas realus humanoidų ir sandėlių robotikos apribojimas bus ne modelių architektūra, o visiškas realaus pasaulio fizinio lavinimo duomenų trūkumas. Užuot tik padėjusi robotikos įmonėms valdyti turimus duomenis, „Encord“ kuria verslą, gaminantį duomenis, kurių jos neturi.

Smegenų bangų ausines, kurias nešioja Ceja, sukūrė Zander Labs, Vokietijos neurologijos startuolis, kuris lažinasi, matuojantis smegenų veiklą – kad būtų galima nustatyti psichines būsenas, tokias kaip klaida, ketinimai ir netikėtumas – gali sukurti naudingesnį duomenų rinkinį modeliams mokyti. Encord darbas su Zander šiuo metu yra bandomasis laikotarpis; Encord teigia, kad tikslas yra sukurti pradinį smegenų bangomis pažymėtą duomenų rinkinį, paleisti jį per klientų robotikos modelius ir įvertinti, ar jis iš tikrųjų pagerina našumą, prieš nusprendžiant, ar jį padidinti.

Darbą prižiūrintis „Zander“ neurologas Lucasas Gehrke'as teigia, kad smegenų veiklos kiekis, naudojamas bet kuriuo momentu atliekant tam tikrą užduotį, suteikia užuominų modelių kūrėjams, bandantiems išsiaiškinti, kada reikia įdiegti didžiausią pastangų reikalaujančius modelius.

„Encord“ robotų mokymosi vadovo Vineeth Velmurugan teigimu, tai yra „kraujavimo kraštas“ pastangoms išspręsti robotikos duomenų kliūtis. OpenAI robotų laboratorijos veteranas ir Berkshire Grey, sandėlio automatizavimo įmonė, Velmurugan prisijungė prie Encord, kad sukurtų įmonės vidinę duomenų kūrimo komandą.

„Encord“ buvo įkurta siekiant padėti įmonėms, kuriančiomis mašininio matymo programas, komentuoti duomenis ir įvertinti modelius. Kai jų klientai – Velmuruganas teigia, kad dirba su daugeliu pirmaujančių robotikos firmų, tačiau jis neturi teisės jų įvardyti – pradėjo taikyti visapusišką mokymąsi robotų manipuliavimo užduotims, vadovai suprato, kad turės patys gaminti mokymo duomenis, o ne tiesiog juos valdyti. „Duomenų tiesiog nėra“, – sakė Velmuruganas.

Statymas, kad generatyvusis AI gali padaryti robotams tą patį, ką daro pokalbių robotams, vis atsitrenkia į tą pačią sieną. Savarankiškai vairuojančių automobilių įmonės pačios renka fizinio pasaulio duomenis, tačiau tai sunku pakeisti. Mokymas iš vaizdo įrašo gali veikti, tačiau jam trūksta realaus pasaulio duomenų tikslumo. Velmuruganas teigia, kad norint prasiskverbti prireiks maždaug penkis kartus didesnio duomenų rinkinio nei „YouTube“ vaizdo įrašų korpusas – skalė, padedanti paaiškinti, kodėl pats duomenų generavimas tapo verslu, o ne tik tyrimų problema.

Patirkite savo egocentriškus duomenų poreikius

Įmonės, kuriančios robotų smegenis, dabar kreipiasi į du pagrindinius šaltinius: „egocentrinius“ vaizdo įrašus, kuriuos renka fotoaparatus nešiojantys darbuotojai, dažnai papildytus papildomais kameros kampais ir kitais rodikliais, ir nuotoliniu būdu valdomų robotų duomenis. „Encord“ daro ir vieną, ir kitą, semdamas egocentriškus duomenis iš kelių gamyklų visame pasaulyje ir naudodamas savo „San Leandro“ įrenginį eksperimentuoti su naujais būdais, pvz., smegenų bangomis, arba rinkti duomenų rinkinius, susijusius su specifiniais įgūdžiais, kad būtų galima tiksliai suderinti.

Kai lankėsi „TechCrunch“, pilotai naudojo lyderio ir sekėjo įtaisus – suporuotas robotines rankas, kurias tiesiogiai valdo žmogus, o tokią, kuri imituoja jo judesius – kad gautų duomenis apie tokias užduotis kaip kavos išpilstymas iš puodo į puodelius (labai slogus) ir pokerio žetonų sudėjimas. „Kiekviena humanoidų kompanija mūsų paprašė šių kūrinių“, – sako Velmuruganas.

Sandėliavimo lentynose buvo laikomos kartoninės dėžutės su netikromis gėlėmis vazose, knygos, plastikinės daržovės, kačiukų kraiko padėklai ir samčiai, maišeliai ir laidų ryšuliai, prekyboje esančios atsargos, skirtos mokomiesiems manipuliatoriams atlikti namų ruošos darbus.

Vienoje iš šių stočių kitas pilotas Sofia Infante manevruoja robotų rankomis, kad prijungtų ir atjungtų eterneto laidus nuo serverio galinės dalies – tokio darbo duomenų centrų operatoriai norėtų būti automatizuoti, jei tik robotai galėtų juos manipuliuoti reikiamu tikslumu. Pasukęs už valdiklių supratau, kodėl tai vis dar nepasiekiama: žnyplės yra daug mažiau judrios nei žmogaus pirštai ir jiems trūksta laisvės laipsnio, kurį laikome savaime suprantamu dalyku.

Kitas naujas duomenų perdavimo būdas, kurį kuria Encord, naudoja prie dilbio pritvirtintų jutiklių rinkinį, kad aptiktų raumenų elektrinius signalus. Vaizdo įraše, kuriame užfiksuotos žmogaus rankos, manipuliuojančios objektais, paprastai neužfiksuojama visa ranka, tačiau Velmuruganas tikisi sukurti 3D vaizdą, kur bet kuriuo metu yra ranka, remdamasis rankos jutikliais, taip sukurdamas patikimesnį modelių supratimą.

„Encord“ duomenų rinkiniai komentuojami su fiziniais kiekvieno vaizdo įrašo aprašymais – „dešinė ranka priveržia varžtą“, kad padėtų LLM modeliams suprasti, kas vyksta. Velmuruganas apskaičiavo, kad tokios tankios anotacijos vertė yra 100 kartų didesnė nei „nepaprasto ego duomenų“, skirtų konkrečioms užduotims mokyti, o jo gamyba kainuoja tik 20 kartų brangiau, o tai yra gera prekyba popieriuje.

Tačiau „20 kartų daugiau“ vis dar yra tikri pinigai, ir tai yra laimikis: teksto iškrapštymas iš interneto, kaip LLM kūrėjai kūrė savo modelius iš „Stack Overflow“ ir likusio žiniatinklio, beveik nieko nekainuoja pasienio laboratorijose. Fizinio lavinimo duomenų generavimas to nedaro, ir tai yra fizinio AI-kaip LLM palyginimo riba. Tokie duomenys turi būti gaminami, o ne tik renkami, ir tai keičia šių modelių kūrimo ekonomiką.

Velmuruganas teigia, kad daroma pažanga – kadangi Encord matomas visos pramonės programose, jis gali matyti, kad pradedančios įmonės ir pasienio laboratorijos išsiaiškina, kas veikia, o kas ne, siekiant tobulinti fizinius AI modelius. Šis apžvalgos taškas – sėdėjimas tarp daugelio robotikos kompanijų vienu metu – taip pat yra „Encord“ pasiūlymo dalis. Jis gali pastebėti, kurios duomenų technologijos vis labiau populiarėja visoje pramonėje anksčiau nei bet kuris vienas klientas.

Dėl to maždaug keliolika „Encord“ objekto pilotų bus užimti. Tiek Infante, tiek Ceja yra sparčiai augančios darbo jėgos, kuriančios neuroninių tinklų blokus, dalis; jie anksčiau dirbo Scale, kitoje AI duomenų anotavimo įmonėje, prieš prisijungdami prie Encord.

Ceja dirbo atliekų tvarkymo įmonėje, kur, susidomėjęs technologijomis, jis buvo atsakingas už tai, kad robotas šiukšlių rūšiuotojas būtų tvarkingas. Dabar, kai Jengos bokštas griūva, jis sako, kad jam patinka iššūkis spręsti robotų treniruočių užduotis – „Kiekvieną dieną tai kažkas naujo!