Az NVIDIA robotikai modelleket és eszközöket hoz a LeRobotba
Az NVIDIA Isaac GR00T 1.7 robotikai modellje és az Isaac Teleop keretrendszer elérhetővé válik a Hugging Face nyílt forrású LeRobot könyvtárában. A vállalat szerint az együttműködés egységesebb utat kínál a robotok adatgyűjtéséhez, tanításához, teszteléséhez és telepítéséhez.
- Az Isaac GR00T 1.7 és az Isaac Teleop bekerül a Hugging Face LeRobotba.
- A Cosmos 3 később érkezik a robotikai könyvtárba.
- A LeRobot adatgyűjtést, modellképzést, értékelést és telepítést támogat.
- Az NVIDIA adatkészlete több mint 350 000 pályát és 57 millió megfogást tartalmaz.
- A Jetson Thor integrációja a Reachy 2 humanoid robottal is összekapcsolódik.
Nyílt munkafolyamat a robotok fejlesztéséhez
Az NVIDIA és a Hugging Face együttműködése a fizikai mesterséges intelligencia fejlesztéséhez szükséges erőforrások elérhetőségét célozza. A vállalat szerint a robotikai fejlesztést jelenleg megnehezíthetik a költséges és széttagolt adatkészletek, robotikai alapmodellek, szimulációs rendszerek, számítási kapacitások és validációs eszközök.
A LeRobot a Hugging Face nyílt forrású robotikai könyvtára, amely robotikai adatkészletek, modellek, vezérlési szabályok és munkafolyamatok tanítását, futtatását és megosztását támogatja. Az NVIDIA közlése szerint az integrációk közös környezetet adnak az adatok gyűjtéséhez és szabványosításához, a robotikai alapmodellek tanításához és finomhangolásához, a teljesítmény értékeléséhez, valamint a modellek telepítéséhez.
A partnerség az NVIDIA 3 millió robotikai fejlesztőjét kapcsolja össze a Hugging Face 16 millió mesterségesintelligencia-fejlesztőjével. Az adat- és modellmegosztás így a LeRobot nyílt munkafolyamatain keresztül történhet.
Az Isaac GR00T 1.7 és az Isaac Teleop szerepe
Az NVIDIA Isaac Teleop nyílt forrású keretrendszer robotikai adatok gyűjtésére szolgál. A fejlesztők külső eszközökkel rögzíthetnek emberi bemutatásokat, majd ezeket szabványos, interoperábilis formátumokban használhatják fel. Az NVIDIA szerint az adatkészletek közvetlenül a LeRobotban bővíthetők és megoszthatók a közösséggel.
Az NVIDIA Isaac GR00T 1.7 a közlemény szerint nyílt és kereskedelmileg használható robotikai alapmodell humanoid robotokhoz. A LeRobot munkafolyamatain keresztül a fejlesztők utólagos tanítást és telepítést végezhetnek, valamint új robotkialakításokhoz és feladatokhoz igazíthatják a modellt. A vállalat ehhez teljesítménymérési eredményekkel támogatott alkalmazkodást ígér.
A tervezett következő lépés az NVIDIA Cosmos 3 integrációja. A fizikai mesterséges intelligenciához fejlesztett világmodell a közlemény szerint robotikai adatok létrehozására és bővítésére, forgatókönyvek szimulálására, valamint vezérlési szabályok fejlesztésére használható, különösen akkor, ha a valós adatok összegyűjtése korlátozott vagy túl költséges.
Adatkészletek, szimuláció és humanoid robotok
Az új integrációk egy korábban összekapcsolt NVIDIA-eszközkészletre épülnek. Ebbe tartozik egy nyílt forrású fizikai mesterségesintelligencia-adatkészlet, amelyet az NVIDIA szerint több mint 15 millió alkalommal töltöttek le. Az adatkészlet több mint 350 000 valós és szimulált pályát, valamint 57 millió megfogást tartalmaz.
A fejlesztők az NVIDIA Isaac Sim és Isaac Lab szimulációs keretrendszereivel környezeteket állíthatnak fel, robotikai adatokat generálhatnak, vezérlési szabályokat tesztelhetnek, és a fizikai robotok használata előtt ellenőrizhetik a viselkedést. Az Isaac Lab-Arena a LeRobot Environment Hub részeként összetett szimulációs környezetek gyors létrehozását és regisztrációját támogatja. Ezeket a környezeteket a LeRobot ökoszisztémájában olyan általános robotikai szabályok tanítására és értékelésére lehet használni, mint a GR00T, a Pi és a SmolVLA.
Az NVIDIA Jetson Thor integrációja a LeRobot Reachy 2 robotjával a közlemény szerint lehetővé teszi VLA-modellek telepítésének támogatását nyílt forrású humanoid robotokon. A felhasználók számára ez egy olyan nyílt fejlesztési folyamatot jelent, amely az adatgyűjtéstől és a szimulációtól a modellértékelésen át a roboton történő futtatásig több lépést egy környezetben kapcsol össze.
