Az NVIDIA AI-ügynökei szimulációkat építenek robotokhoz és járművekhez

Az AI-ügynökök a szimuláció összeállításában segítenek

Az NVIDIA október 8-i bemutatója szerint egy működő szimulációs alkalmazás elkészítéséhez eszközöket kell összeállítani, fizikát és renderelést kell kapcsolni a jelenethez, majd ellenőrizni kell, hogy a virtuális környezet a várt módon viselkedik-e. A vállalat által ismertetett munkafolyamatokban ezt a feladatot frontier AI-modellek és az NVIDIA Omniverse könyvtárai támogatják.

A fejlesztők természetes nyelvű utasításokkal vezetik az ügynököket, áttekintik az eredményeket, majd újabb kérésekkel irányítják a módosításokat. Az Omniverse könyvtárai GPU-gyorsított fizikát, renderelést és érzékelőszimulációt kínálnak. A bemutatott példákban a GPT-6 Astra, illetve egy esetben Claude Fable 5 ügynökök vettek részt.

Robotok és önvezető járművek virtuális tesztelése

Frank DeLise, az NVIDIA Omniverse termékmenedzsere az Astra segítségével interaktív raktári szimulátort készített egy SimReady raktárból és egy humanoid robotból. A környezet első és harmadik személyű nézetet is kínál. DeLise az ügynököt az NVIDIA fizikai, jelenetfrissítési, renderelési és felhasználói felületi könyvtárainak összekapcsolására irányította, majd az Astra animációs és alkalmazáskódot generált.

Doyub Kim, az NVIDIA szimulációs technológiai csapatának menedzsere egy San Francisco-i Market Streetre épülő, újrahasználható önvezetési tesztkörnyezetet hozott létre. Az Astra több lépésben kapcsolta össze az eszközök létrehozását, a forgalmat, az Omniverse RTX érzékelőszimulációját és az Alpamayo vezetési rendszert. A prototípus lehetővé tette a modellek összehasonlítását, valamint annak vizsgálatát, hogy a jelenet vagy az érzékelők módosítása miként hat a vezetési viselkedésre. Egy külön Cosmos3-Nano kísérletben a felvételek szimulációs videóinak időjárását és fényviszonyait változtatták meg.

Az NVIDIA egy robotikai kísérletet is bemutatott. Tae Kim, az Omniverse mérnöki és termékterületének vezetője sportvideók és természetes nyelvű utasítások alapján irányította az Astrát a Robo Olympics elkészítésében. A projekt szimulált Unitree G1 humanoidok sportmozgásait vizsgálta. A robot egy akadályt a 100 szimulációs próbából 64 alkalommal teljesített sikeresen, az eredmények pedig a mozgás időzítésének és vezérlésének javításához adtak visszajelzést.

Digitális ikrek és robotikai munkafolyamatok

Ashley Reid, az NVIDIA RTX-érzékelőhitelesítési területének munkatársa Astra és Claude Fable 5 ügynökökkel hasonlította össze az ovrtx kamerakimenetét és a nyers LiDAR-adatokat rögzített adatokkal. Az ügynökök három nap körüli iteratív munkafolyamatban két digitális ikert hoztak létre a semmiből, kettőt pedig továbbfejlesztettek. Megmérték az eltéréseket, OpenUSD-jeleneteket készítettek vagy módosítottak, majd kamerás és LiDAR-mutatók alapján ellenőrizték az eredményt. A változtatások hiányzó objektumokat, geometriát és anyagokat érintettek.

Jens Jebens, az NVIDIA OpenUSD-ért felelős vezető termékmenedzsere egy autófelfüggesztést modellezett PTC Onshape-ben, majd NVIDIA Isaac Simben állította be. Az Astra megmérte a rendelkezésre álló helyet, és olyan villáskulcsot tervezett, amellyel a robot elérhette a felfüggesztés csavarjait. Jebens beszámolója szerint a szimulációban sikerült eltávolítani egy felfüggesztési alkatrészt.

Egy másik projektben Chirag Majithia, az Isaac mérnöki alkalmazási csapatának tagja sztereókamerás felvételekből szerkeszthető OpenUSD-stúdiót készített. A rekonstrukcióhoz a PyCuSFM, a FoundationStereo és az nvblox eszközeit kombinálták. A felhasználói ellenőrzés segített az objektumok kiválasztásában és elhelyezésében, az Isaac Sim tesztjei pedig az ajtók és fiókok ütközési, illetve érintkezési viselkedésének javítását támogatták.

Az Omniverse alkalmazásokhoz és böngészős jelenetekhez is használható

Nic Johns, az NVIDIA mérnöki igazgatója egyetlen utasítással NASA-eszközökből, telemetriából és egy OpenUSD-modellből álló, böngészőben futó Nemzetközi Űrállomás-alkalmazást állított össze. Egy további utasítással a jelenetet a Föld nappali oldala felé fordította, hogy a bolygó látható legyen. A munkafolyamatban a Blender az eszközök előkészítését, az Omniverse ovrtx, ovstage és ovstream könyvtárai pedig a renderelést, a jelenet futtatását és a streamelést szolgálták.

Az NVIDIA szerint a bemutatott projektek azt szemléltetik, hogy az AI-ügynökök a szimulációs ötletek megvalósításának több részét is össze tudják kapcsolni, az eszközök és a fizikai jelenetek elkészítésétől a tesztelésig és az iterációig. A fejlesztők közben végig felülvizsgálják az eredményeket, és utasításokkal módosítják a munkát. A vállalat újabb példákat ígér saját csapataitól és az ökoszisztéma fejlesztőitől, miközben arra ösztönzi a fejlesztőket, hogy az Omniverse könyvtáraival kezdjenek szimulációkat építeni.