Az Encord több mint 300 órányi izomjel-adatot nyitott meg robotokhoz
Az Encord bemutatta az EMG-1-et, a vállalat szerint a legnagyobb nyílt adatkészletet, amely izomjeleket kapcsol össze első személyű videóval robotikai fejlesztésekhez. A több mint 300 órányi szinkronizált felvétel azt is rögzíti, mit csinál a kéz akkor, amikor a kamera már nem látja.
- Az EMG-1 több mint 300 órányi szinkronizált izomjel- és első személyű videót tartalmaz.
- Az adatkészlet az Encord szerint több mint harmincszor nagyobb a következő legnagyobb nyilvános társánál.
- Az EMG és a videó együtt 25 százalékkal csökkentette az ujjbegyek követési hibáját.
- Az Encord bemutatta az Encord-REACH kézkövető modellt is.
- A Data Labs további biológiai és szintetikus adatokkal kapcsolatos kutatásokat készít elő.
Izomjelekkel pótolja a kamera hiányzó információit
Az Encord október 20-án San Franciscóban jelentette be az EMG-1 kiadását. A nyílt forrású adatkészletet a Wearable Devices közreműködésével fejlesztették. Olyan csuklópántokat használtak hozzá, amelyek az alkar izomjeleit olvassák ki. Ezt a módszert elektromiográfiának, röviden EMG-nek nevezik.
Az EMG-1 több mint 300 órányi, valós feladatok közben rögzített, szinkronizált izomjel- és első személyű videófelvételt tartalmaz. A felvételekhez optikai mozgásrögzítés is társul. Az Encord szerint az adatkészlet több mint harmincszor nagyobb a kategória következő legnagyobb nyilvános adatkészleténél.
A robotok betanításához gyakran emberek tárgykezeléséről készült videókat használnak. A kamera azonban elveszítheti a kezet, amikor azt például a kezelt tárgy eltakarja. Az EMG folyamatosan rögzíti az egyes ujjak mozgását kiváltó elektromos aktivitást, így pontos kéztartás-címkék készíthetők azokon a részeken is, ahol a vizuális adatok hiányosak.
Javult az ujjkövetés a tesztekben
Az Encord által közölt kísérletekben a videó és az EMG együttes használata 25 százalékkal csökkentette az ujjbegyek követési hibáját a kizárólag videóra épülő megoldáshoz képest. A vizuális követés rövid megszakadásai alatt a hibacsökkenés 35 százalékos volt.
Az EMG önmagában is képes volt felismerni a csippentéshez hasonló ujjmozgásokat. A két adatfolyam olyan mozgásrekordot ad, amely a vállalat szerint a kamerából önmagában nem hozzáférhető információkat is tartalmaz. Ilyen például az erő és a kontaktus, vagyis a kéz és a tárgy közötti érintkezéshez kapcsolódó jel.
A kutatók letölthetik az EMG-1-et, és további kezdeményezésekről is tájékozódhatnak az Encord Data Labs oldalán. A vállalat szerint az EMG csak az első a robotok betanításához bevonni tervezett biológiai jelek között. A Data Labs azt is vizsgálja, hogy az agyi jelek, vagyis az EEG miként használható a kezelő mentális állapotának, például elégedettségének vagy hibareakciójának címkézésére és a robotvezérlési stratégiák irányítására.
Az EMG-1 mellett új kézkövető modell is érkezett
Az EMG-1 az Encord Data Labs elindításával egy időben jelent meg. A kutatási részleg a Physical AI adatok fejlesztésével foglalkozik, és alkalmazott kutatási, automatizálási, fejlett adatgyűjtési, valamint partnerségi munkát végez.
A részleg ezzel együtt mutatta be az Encord-REACH kézkövető modellt is. A vállalat szerint ezt olyan ipari körülményekre tervezték, ahol a meglévő modellek gyakran hibáznak, például ipari kesztyűk, eltakarás, gyors mozgás vagy több kéz megjelenése esetén. Az Encord értékeléseiben a modell 80 százalékkal csökkentette a csuklók, 65 százalékkal az ízületek követési hibáit, az ipari kesztyűkkel kapcsolatos hibákat pedig akár 70 százalékkal.
Az Encord NVIDIA-val és ANYbotics-szal közösen végzett kutatása szintetikus adatokat is vizsgált. NVIDIA Cosmos 3 modellekkel ritka ipari rendellenességekről, köztük folyadékkiömlésekről készítettek példákat. A vállalatok szerint a szintetikus adatok legfeljebb 24 százalékkal javították a valós rendellenességek felismerését, a modellkalibráláshoz rendelkezésre álló példák számát pedig 2,2-szeresére növelték.
A kutatási eredményeket közvetlenül a robotikai adatfolyamatba építik
Az Encord közleménye szerint a Data Labs következő hónapokban további eredményeket tesz közzé. Ezek között szerepel az első személyű videók automatikus cselekvés-szegmentálása, egy olyan összehasonlítás, amely azt vizsgálja, mikor nem megbízhatók az AI által készített videóleírások a Physical AI területén, valamint az Archetype AI fizikai világmodelljeihez készített, szakértők által címkézett szenzoradat.
A Data Labs kutatásai az Encord Physical AI adat-infrastruktúrájába épülnek be. A rendszerben az emberi adatokat a videóval szinkronizálják, hogy azok előkészíthetők legyenek válogatásra, javításra és modellbetanításra. Az ügyfelek saját csapataikkal is előállíthatják és gazdagíthatják a tanítóadatokat, vagy az Encord szakértőivel dolgozhatnak.
Az EMG-1 és az Encord-REACH bemutatója az Encord első Long Horizon Summit rendezvényén zajlott San Franciscóban. A cég közlése szerint több mint 300 AI-csapatot támogat világszerte, köztük a Woven by Toyotát, a Boston Dynamicset és a Zipline-t. A nyílt adatkészlet így közvetlenül olyan fejlesztési problémára kínál kutatható alapot, amelynél a kamerás adatok önmagukban elveszíthetik a kéz mozgásának egy részét.
PR Newswire: ENCORD RELEASES EMG-1, THE LARGEST OPEN DATASET LINKING MUSCLE SIGNALS TO ROBOTIC AI DEVELOPMENT
