A LanceDB új adatkezelési modellt mutatott be a robotok tanításához
A hosszú videók, robotállapotok, műveleti parancsok és címkék közös, véletlenszerűen elérhető adatbázisba rendezését mutatta be a LanceDB egy robotikai esettanulmányban. A megközelítés célja, hogy a fizikai AI tanításához használt adatok közvetlenül objektumtárolóból legyenek módosíthatók és felhasználhatók.
- A ruhahajtogatás hosszú, kétkaros és deformálható tárgyakon végzett robotikai feladat.
- A robotikai minták videót, állapotokat, műveleteket és címkéket kapcsolnak össze.
- A Lance a videót GOP méretű blokkokra bontja, az adatokat pedig egy táblában rendezi.
- A módosítások nem írják újra automatikusan a teljes eredeti adathalmazt.
- Az S3-ban tárolt adatok verziózott állapotai visszakövethetők.
A ruhahajtogatás összetett robotikai feladat
A China Merchants Lion Rock AI Lab ruhahajtogató robotokkal dolgozik. A bemutatott feladat során két robotkar egy kiterített, rövid ujjú pólót hajtogat össze. Az ilyen műveletekhez teljes és összehangolt demonstrációkat kell rögzíteni.
A ruházat deformálható, amorf tárgy, ezért a megfogás helye az egész szerkezetet megváltoztatja. A feladat egyszerre teszi próbára a deformálható tárgyak érzékelését, a kétkaros koordinációt, az érintkezés szabályozását, a hosszú műveletsorok végrehajtását és a hibás állapotokból való helyreállást. A kiinduló állapot és a ruhadarab típusa tovább növeli a nehézséget.
A labor olyan zárt adatfeldolgozási ciklust épít, amely összekapcsolja az adatgyűjtést, a tanítást, a telepítést és a trajektóriák mintavételezését. Egy valódi robotfuttatásból származó jelek között a tanítás, a telepítés, az állapotrögzítés és az emberi beavatkozás adatai is megjelennek.
A hagyományos formátumok korlátai
A robotikai adatok gyakran epizódokként jelennek meg. Egy epizód a kezdeti állapottól a feladat végéig tartó teljes trajektória. Tanításkor gyakori igény egy véletlenszerű időpont kiválasztása, majd az adott pillanathoz tartozó többkamerás képek, robotállapotok, műveleti parancsok, nyelvi megjegyzések és emberi beavatkozási címkék együttes beolvasása.
A LanceDB szerint a Hugging Face ökoszisztémájában széles körben használt LeRobot sok robotikai munkafolyamathoz megfelelő, ez a projekt azonban nagy gyakoriságú véletlenszerű hozzáférést és gyakori módosításokat igényelt. A LeRobot Parquet formátumban tárolja az állapotokat és a műveleteket, a videók MP4-fájlokban vannak, az összehangolást pedig epizódazonosító és időbélyeg segíti.
A Parquet oszlopos formátum, amely egyetlen képkocka eléréséhez egy teljes sorcsoport dekódolását igényelheti. A nagy bináris blokkok kezeléséhez külső tároló vagy cellákba ágyazás szükséges, ami többletolvasást okozhat. A soronkénti törlés és az oszlopok változtatása szintén nem elsődleges tervezési célja.
A különböző jelek eltérő ütemben készülnek. A robotkar állapotadatai 100 Hz-en, a többkamerás videók 30 képkocka/másodperc sebességgel, a nyelvi utasítások ritkábban, a forráscímkék pedig képkockánként jelenhetnek meg. Mivel a videó, az állapotok és a metaadatok fizikailag külön maradnak, a mintavételhez videómegnyitásra, keresésre, dekódolásra és időbélyeges igazításra van szükség.
A Lance közös, verziózott adatforrást kínál
A bemutatott megoldás a hosszú videókat GOP, vagyis képcsoport méretű bináris blokkokra bontja. A videó, a műveletek, az állapotok és a címkék ugyanabban a táblában kapnak helyet. A LanceDB szerint így az objektumtárolóban, S3-ban maradhat egyetlen közös adatforrás, amelyet az adatgyűjtés, a feldolgozás és a tanítás közvetlenül olvashat és írhat.
Ez elkerülheti az adatcsomagolás, feltöltés, teljes letöltés és újbóli feltöltés ismétlődő folyamatát. A Lance nem írja újra az eredeti adatot minden módosításkor. A hozzáfűzés új töredéket ad, a törlés törlési vektort ír, egy új oszlop pedig új oszlopfájlt hoz létre. Meglévő érték módosításakor csak az érintett töredék kerül újraírásra.
Minden írás automatikusan módosíthatatlan verziót hoz létre. A LanceDB példája szerint így egy korábbi adatállapot visszaállítható, és meghatározható, hogy egy modell melyik adatkészlet-verzióval készült. Az adatok közvetlenül helyi útvonalról vagy S3-ról is olvashatók, a teljes adathalmaz helyi materializálása nélkül.
Mit jelent ez a robotikai fejlesztőknek?
A megközelítés olyan fejlesztési munkafolyamatot céloz, ahol a több száz gigabájtos adathalmazok folyamatosan bővülnek, tisztulnak és új címkéket kapnak. Az esettanulmány szerint az egyetlen objektumtárolós példány csökkentheti az edge eszközök, helyi gépek és felhő közötti adatmozgatást, miközben a módosítások és korábbi állapotok követhetők maradnak.
A LanceDB ezt nem a LeRobot kritikájaként mutatja be, hanem eltérő tárolási igényre adott válaszként. A hangsúly a hosszú, multimodális robotikai adatok módosíthatóságán, véletlenszerű elérésén és közvetlen objektumtárolós használatán van.
LanceDB: Rebuilding the Data Foundation for Embodied AI with Lance: From Long Videos to Random-Access-Friendly Multimodal Samples
