NVIDIA Isaac ROS 5.0: AI-ügynökök segítik a robotfejlesztést

AI-ügynökök kerülnek a robotfejlesztési folyamatba

Az NVIDIA szeptember 22-én, a Torontóban megrendezett ROSCon konferencián mutatta be az Isaac ROS 5.0 kiadást. Az Isaac ROS a ROS nyílt keretrendszerére épülő, GPU-gyorsított csomagok gyűjteménye, amelyhez az NVIDIA gyorsított számítást, fizikai AI-modelleket és gyártásra kész programkönyvtárakat ad.

A vállalat szerint a ROS csaknem 1,3 millió felhasználóhoz biztosít nyílt forráskódú eszközöket, könyvtárakat és szabványokat robotalkalmazások építéséhez és összekapcsolásához. Az Isaac ROS 5.0 célja, hogy a fejlesztők és az AI-ügynökök együtt gyorsabban készíthessenek, szabjanak testre és telepítsenek robotikai alkalmazásokat.

Az új NVIDIA Isaac-skillek ismét felhasználható munkafolyamatokat kínálnak a rendszer beállításához és a robotok manipulációs feladatainak fejlesztéséhez. Az ügynökökre felkészített dokumentáció segít az AI-rendszereknek megérteni az Isaac ROS eszközeit és munkafolyamatait, így a fejlesztői szándék gyorsabban alakítható működő alkalmazássá.

Új ROS-verzió, finomhangolás és gyorsabb tárgykövetés

Az Isaac ROS 5.0 támogatja a ROS Lyricalt és az Ubuntu 24.04-et. Az NVIDIA az Open Source Robotics Alliance-szal együttműködve egy szabványos adatkezelési felülethez is hozzájárult a ROS Lyricalben. Ez lehetővé teszi, hogy a robotikai szoftver különböző számítási hardvereken, köztük GPU-kon is hatékonyan működjön. A CUDA a GPU-gyorsítás gyakorlati példájaként szolgál.

A FoundationStereo finomhangolási skill segítségével egy AI-ügynök a fejlesztő kameráihoz, környezetéhez és robotikai alkalmazásához igazíthatja a sztereó érzékelési modellt. Az NVIDIA szerint ez pontosabb érzékelést tehet lehetővé az adott szenzorkonfiguráció mellett.

A tárgyak helyzetének és orientációjának becslésére, valamint követésére szolgáló FoundationPose ügynökökre felkészített következtetési könyvtárat kapott. Az NVIDIA szerint a robotok ezzel akár 5,5-szer gyorsabban érzékelhetik és követhetik a tárgyak pozícióját és irányát. A felismerést, mélységbecslést és helyzetbecslést összekapcsoló pick and place munkafolyamat különálló, ügynökökre felkészített skillként is elérhető.

Partnerek építenek az Isaac ROS ökoszisztémájára

A robotikai ökoszisztéma több szereplője már az AI-ügynökökre épülő fejlesztési megközelítést használja. A RealSense által támogatott, nyílt forráskódú AgenticROS az Isaac ROS-t NVIDIA Nemotron nyílt modellekkel és NVIDIA NemoClaw-tervekkel kapcsolja össze, így az AI-ügynökök ROS-alapú robotokkal léphetnek kapcsolatba.

Az Intrinsic Open Machine Tending Solution nevű referenciaalkalmazása CNC-gépek kiszolgálására készült, és az új, nyílt forráskódú Intrinsic Core része. A megoldás beépített kompatibilitást kínál a FoundationPose-zal, így a robotok dinamikusan érzékelhetik és kezelhetik az alkatrészeket. A Seeed Studio a reBot Arm rendszert használja NVIDIA Isaac ROS-szal és Jetson Thorral, többek között tárgy-localizációhoz, ütközéstudatos manipulációhoz és önálló pick and place feladatokhoz.

A Magna az Isaac ROS-t robotikai érzékeléshez, szinkronizált adatgyűjtéshez és NVIDIA Isaac GR00T modellek telepítéséhez használja. A vállalat az Isaac Sim hardver a hurokban tesztelésével együtt alkalmazza a rendszert. Az Ekumen GPU-gyorsított Isaac ROS-csomagokat épít meglévő ROS- és Nav2-rendszereibe. A cég közlése szerint az isaac_ros_cumotion GPU-n nagyjából 2 és 5 ezredmásodperc között számít ki ütközésmentes útvonalat egy raktári robotkar számára.

Az Isaac ROS-hoz kapcsolódó további eszközök között szerepel a Prefix.dev Pixi csomagkezelője, a Foxglove megjelenítési és hibakeresési platformja, a Flexiv Rizon 4 adaptív robotja, valamint az Ouster és a Stereolabs ZED sztereó kameráinak integrációja.

A fejlesztéstől a roboton futó AI-ig

Az Isaac ROS 5.0 az NVIDIA szerint a belépőszintű Jetson Orin Nanótól a nagy teljesítményű Jetson Thor eszközökig támogatja a skálázható számítási platformokat. Ez fejlesztési és telepítési útvonalat ad azokhoz a robotikai munkaterhelésekhez, amelyek egyre összetettebbé válnak.

A Mentee Robotics a rendszert MenteeBot humanoid robotjának érzékelési és AI-háttereként használja, hogy a gép valós időben értelmezze a vizuális információkat és végrehajtsa a megtanult viselkedéseket. A Universal Robots az Isaac ROS-t AI Accelerator szoftverfejlesztői készletébe építette be, a ROBOTIS pedig AI Worker robotján használja GPU-gyorsított tárgyérzékeléshez és látásvezérelt manipulációhoz.

A FieldAI olyan robotalapmodelleket integrál Isaac ROS-szal Jetson eszközökön, amelyek felhőkapcsolat nélkül, közvetlenül a robotokon is futhatnak. A bejelentés alapján az Isaac ROS 5.0 a fejlesztőknek és az AI-ügynököknek egyaránt közös, nyílt forráskódú alapot kínál a robotikai alkalmazások létrehozásához, teszteléséhez és fizikai gépeken történő futtatásához.