Az NVIDIA megnyitotta a humanoid robotok fejlesztési platformját

Egy platform a robotfejlesztés teljes folyamatára

Az NVIDIA szerint a humanoid robotok fejlesztését jelenleg széttagolt munkafolyamatok nehezítik. A fejlesztőknek gyakran különböző szoftveres ökoszisztémákat, inkompatibilis adatformátumokat és kézi integrációkat kell összehangolniuk, mielőtt a robot képességeinek kialakítására koncentrálhatnának.

Az Isaac GR00T Development Platform ezt a folyamatot fogja össze az adatgyűjtéstől és a modellbetanítástól kezdve a nagyléptékű értékelésen át a telepítés előkészítéséig. A platform nyílt és moduláris, ezért az egyes elemek önállóan is használhatók, a fejlesztők pedig saját eszközeiket is integrálhatják.

A munkafolyamatban az NVIDIA Isaac Lab-Arena szolgál a szimulációs környezet kialakítására, az NVIDIA Isaac Teleop a robotbemutatók rögzítésére, a GR00T 1.7 és a hozzá tartozó tanítási szkriptek a robotpolitikák betanítására. Az értékelés szimulációban történik, a telepítéshez pedig az NVIDIA Isaac ROS és a Jetson Thor használható. A modell LEAPP csomagba exportálható, majd valós időben, közvetlenül a roboton futtatható.

A GR00T 1.7 alapmodellként segíti az alkalmazkodást

A GR00T 1.7 az NVIDIA közlése szerint az első nyílt, kereskedelmi használatra elérhető látás, nyelv és cselekvés modell általános humanoidrobot-készségekhez. A modell Apache 2.0 licenc alatt jelent meg, alapmodellje pedig 3 milliárd paramétert tartalmaz. A nyilvános modell súlyai és a tanítási szkriptek a GitHubon, a modell pedig a Hugging Face-en is elérhető.

A keresztmegtestesítésre tervezett modell képeket, nyelvi utasításokat és robotállapot-adatokat dolgoz fel, majd a feladat végrehajtásához szükséges műveleteket állítja elő. A fejlesztőknek így nem feltétlenül kell minden robotpolitikát nulláról betanítaniuk, a modellt konkrét robotokhoz, feladatokhoz és környezetekhez igazíthatják utólagos tanítással.

A GR00T 1.7 körülbelül 32 ezer órányi valós bemutató- és emberi, nézőpontból rögzített adaton, valamint körülbelül 8 ezer órányi szimulációs adaton kapott előtanítást. Új alapját a Cosmos-Reason2-2B, a Qwen3-VL architektúráját használó látás és nyelvi modell adja, amely az NVIDIA szerint rugalmas felbontást támogat, és a képeket natív képarányban kódolja.

A frissítés teljes ONNX és TensorRT exporttámogatást, megbízhatóbb exportálást, gyakoribb frissítéseket, valamint hosszú feladatsorokhoz javított következtetést hoz. A vállalat által közölt összehasonlításokban a modell a GR00T N1.6-hoz képest a DROID-F0 teszten 10, a DROID-F6-on 61, a SimplerEnv Bridge-en 5, a Fractal teszten pedig 2 százalékpontos javulást ért el.

Szimulációból a telepítésre kész robotpolitikáig

Az NVIDIA bemutatott egy teljes szimulációs folyamatot is egy ügyes manipulációs feladaton keresztül. A robotnak egy polcról kellett egy almát egy ugyanazon a polcon lévő tányérra helyeznie. A folyamat a környezet, a robot és a tárgyak beállításával kezdődik, majd teleoperációval rögzített bemutatókat alakítanak át LeRobot formátumba.

Ezután a GR00T 1.7-et az átalakított adatkészlettel utólag betanítják, végül szimulációban értékelik a létrehozott robotpolitikát. A bemutatóban a robot egy Whole Body Controller segítségével marad egyensúlyban. Mivel a feladat közben nem kell járnia, az NVIDIA ehhez az AGILE WBC vezérlőt használja. A teleoperáció során az AGILE WBC és a PinkIK állítja elő azokat az ízületi célértékeket, amelyek a tanítási jelet adják.

A vállalat szerint ugyanezek a lépések fizikai robotokon is alkalmazhatók, és különböző robotfelépítésekhez, illetve feladatokhoz igazíthatók. A platformot humanoidrobot-gyártók, köztük az 1X, az Agility, az ANYBotics és a Skild AI, továbbá kutatóintézmények, például a Stanford és az ETH Zurich, valamint XR-eszközgyártók, köztük a HTC Vive és a PICO is használják.