Az NVIDIA RoboLabja részletesebben méri a robotok képességeit

Miért nem elég a hagyományos robotikai tesztelés?

A robotikai alapmodellek ma már természetes nyelvű utasításokat követve képesek tárgyakat felvenni, elhelyezni, szétválogatni és manipulálni. A teljesítményük összehasonlítása azonban nehéz. A valós környezetben végzett tesztelés költséges, lassú és nehezen megismételhető, ezért a kutatók gyakran szimulációkat használnak.

Az NVIDIA szerint a meglévő benchmarkok egyik gondja, hogy a tanítási és értékelési adatok sokszor ugyanabból a vizuális forrásból származnak. Ilyenkor a jó eredmény azt is jelentheti, hogy a modell megtanulta a környezet sajátosságait, nem pedig azt, hogy általánosítani képes. A valósághű, valós képekből rekonstruált szimulációs jelenetek létrehozása javíthat ezen, de egyetlen jelenet előkészítése több mint egy órát is igénybe vehet.

Másik probléma a benchmarkok telítődése. A ritkán frissített, rögzített feladatsorokon a modellek idővel nagyon magas eredményeket érhetnek el, így nehezebbé válik a képességeik közötti különbségek kimutatása. A puszta siker vagy kudarc ráadásul nem árulja el, miért hibázott a robot.

Robotfüggetlen feladatok és részletes hibaanalízis

A RoboLabot ezekre a problémákra válaszul készítette az NVIDIA. A platform három alapelvre épül: robotfüggetlen értékelést és értelmezhető mérőszámokat kínál, gyorsan lehetővé teszi új feladatok létrehozását, valamint elemzési eszközökkel mutatja meg, hogyan és miért teljesít egy politika jól vagy rosszul.

A felhasználók egy objektumkönyvtárból helyezhetik el a tárgyakat a jelenetben, majd nyelvi utasítást adhatnak a feladathoz. Az NVIDIA szerint az új jelenetek és feladatok létrehozása így néhány percet vehet igénybe. A RoboLab ügynöki mesterséges intelligenciához használható készségeket is tartalmaz, amelyekkel egy kódoló ügynök közvetlenül a felhasználó munkafolyamatában generálhat új teszteket.

A feladatok nem kötődnek egyetlen robottesthez vagy politikai architektúrához. Ugyanazokat a jeleneteket és feladatokat különböző robotokkal lehet összeállítani, így a laborok a saját robotjukat használhatják. A megközelítés az NVIDIA szerint azért is fontos, mert a robotok formáinak és kialakításainak száma a jövőben tovább nőhet.

Nem csak a sikerességi arány számít

A RoboLab képességspecifikus feladatokkal igyekszik elkülöníteni a robotok különböző kompetenciáit. A vizuális kompetencia azt méri, hogy a politika felismeri-e és megfelelően használja-e a tárgyak színét, méretét vagy szemantikai kategóriáját. A procedurális kompetencia olyan műveletekhez kapcsolódik, mint a tárgyak egymásra helyezése, átfordítása vagy egy eszközzel való interakció megtervezése. A relációs kompetencia a térbeli és nyelvi logikát vizsgálja, például az összekapcsolt utasításokat, a számlálást és a tárgyak egymáshoz viszonyított helyzetét.

A platform a bináris eredményen túl osztályozott feladateredményeket, pályaminőséget és végrehajtási sebességet is mér. A mozgás hatékonyságát és simaságát a SPARC spektrális ívhossz segítségével értékeli. A hibakövetés olyan eseményeket is rögzíthet, mint a rossz tárgy megfogása, egy tárgy elejtése vagy a megfogó ütközése.

Az NVIDIA a statisztikai bizonytalanságra is felhívja a figyelmet. Példájukban a 70 futtatásból elért 90 százalékos sikerességnél a 95 százalékos Clopper-Pearson konfidenciaintervallum 80,5 és 95,9 százalék közé esik. 1030 futtatásnál a sáv 88,0 és 91,8 százalék közé szűkül.

Mit mutatott a RoboLab vizsgálata?

A platform nyelvi, jelenet- és feladat-horizont szerinti összetettség mellett is vizsgálja a robotpolitikákat. Az NVIDIA összefoglalója szerint a jelenlegi politikák továbbra is törékenyek a homályos utasításokkal szemben, és nehézséget okoznak számukra a négy részfeladatnál hosszabb, hosszú távú feladatok.

A RoboLab kódja GitHubon érhető el értékelések futtatásához vagy új feladatok hozzáadásához. Az NVIDIA a projekt későbbi termékesítését az Isaac Lab-Arena keretében tervezi, a projekt weboldalán pedig frissítéseket ígér.