Az NVIDIA nyílt világmodellekkel gyorsítaná a fizikai AI fejlesztését

Miért fontosak a világmodellek a fizikai AI-ban?

Az NVIDIA blogbejegyzése szerint a fizikai AI esetében minden telepítés specializációs feladat: a rendszernek nem csak a látott képet kell értelmeznie, hanem a fizikai környezet következményeit is előre kell jeleznie. A világmodellek azt tanulják meg, hogyan viselkednek a fizikai környezetek, mi történhet ezután, és milyen következő műveletek lehetnek értelmesek.

A vállalat szerint ezek a modellek fizikailag megalapozott világ- és akcióadatokat generálhatnak, jövőbeli állapotokat szimulálhatnak, valamint alapot adhatnak robotokhoz, autonóm járművekhez vagy vision AI rendszerekhez igazított fejlesztésekhez.

Az NVIDIA kiemeli, hogy a fizikai AI-hoz szükséges adatok nagy léptékű gyűjtése nehéz és drága, a ritka események és a hosszú farokba tartozó helyzetek pedig különösen nehezen reprodukálhatók biztonságosan és ismételhetően. A világmodellek a cég szerint hasznosabb adatokat adhatnak a fizikai kapcsolatok tanulásával, változatosabb környezeteket hozhatnak létre időjárással, fényviszonyokkal, objektumokkal és pályákkal, valamint jobb kiindulási alapot kínálhatnak egy adott robothoz, járműhöz, szenzorkonfigurációhoz, feladathoz vagy működési környezethez.

Cosmos 3: nyílt modellcsalád robotokhoz, járművekhez és vision AI-hoz

Az NVIDIA Cosmos 3-at nyílt fizikai AI alapmodell-családként írja le, amely mixture-of-transformers architektúrára épül. A vállalat szerint a modellcsalád egyesíti a vizuális következtetést, a világgenerálást és az akció-előrejelzést, így a fejlesztők ugyanazon modellcsaláddal érthetnek meg jeleneteket, generálhatnak szintetikus adatokat, szimulálhatnak jövőbeli állapotokat és építhetnek specializált világ-akció modelleket.

A Cosmos 3 három megnevezett változatot tartalmaz. A Cosmos 3 Super (64B) nagy pontosságú világmodellezésre készült, a Cosmos 3 Nano (16B) hatékony következtetésre és utótanításra, a Cosmos 3 Edge (4B) pedig eszközön futó vizuális következtetésre és robotirányítási szabályzatok telepítésére. Az NVIDIA szerint a Cosmos 3 Edge elég könnyű ahhoz, hogy edge GPU-kon fusson, és telepíthető NVIDIA RTX GPU-kon, NVIDIA DGX rendszereken és NVIDIA Jetson platformokon, köztük Jetson Thor platformokon.

A modellcsaládhoz kapcsolódóan az NVIDIA több rangsort is megnevez. A cég szerint a Cosmos 3 első helyen áll az Artificial Analysis nyílt súlyú text-to-image és image-to-video generálási értékeléseiben, a PAI-Bench világgenerálási tesztjén, valamint a Physics-IQ image-to-video kategóriájában. Robotirányítási feladatban a vállalat szerint a RoboLab rangsorában első, a Cosmos 3 Super pedig a VANTAGE-Bench vision understanding értékelésében a legmagasabban rangsorolt nyílt modell.

Nyílt súlyok, OpenMDW 1.1 és Omniverse munkafolyamatok

Az NVIDIA szerint egy általános modell nem ismeri előre egy fejlesztőcsapat konkrét robotját, szenzorait vagy működési környezetét. Ennek a különbségnek az áthidalásához a vállalat szerint hozzáférés kell a modell súlyaihoz, olyan licenc, amely engedi az adaptációt, valamint az utótanításhoz szükséges eszközök.

A Cosmos világ alapmodellek a Linux Foundation OpenMDW 1.1 licence alatt érhetők el, ami az NVIDIA szerint lehetővé teszi, hogy a csapatok saját adataikon és hardverükön végezzenek utótanítást. A bejegyzés a nyitottságot gyakorlati műszaki követelményként mutatja be ott, ahol a modelleket konkrét fizikai AI feladatokra kell specializálni.

A specializáció mellett a fejlesztőknek olyan környezetekre is szükségük van, amelyekben adatot generálhatnak, szimulációkat futtathatnak és viselkedést tesztelhetnek. Az NVIDIA Omniverse könyvtárak, amelyek az NVIDIA Agent Toolkit részei, előre elkészített képességeket adnak szimulációra kész világok építéséhez. Az OpenUSD nyílt keretrendszert biztosít összetett 3D adatok összeállításához, újrafelhasználásához és cseréjéhez digitális ikrekben, szimulációkban és szintetikusadat-generálási munkafolyamatokban.

A vállalat szerint az Omniverse és az OpenUSD együtt csökkentheti azt a párhuzamos munkát, amely akkor keletkezik, amikor az eszközök, a szenzorkonfigurációk vagy a környezeti feltételek változnak.

Ipari használat és Cosmos Coalition

Az NVIDIA több iparági szereplőt is felsorol, amelyek a Cosmosra építenek fizikai AI alkalmazásokhoz. A robotikában a Doosan Robotics, az LG Electronics, a Samsung Electronics és a Skild AI szerepel a példák között. Az autonóm járművek területén a Li Auto, a Xiaomi és az Afari, a vision AI ágenseknél pedig a Centific, a Fogsphere, a Linker Vision, a Milestone Systems és a Yuan szerepel a bejegyzésben.

A vállalat külön említi az NVIDIA Cosmos Coalition kezdeményezést is, amely világmodell-építőket, AI-fejlesztőket és fizikai AI vezetőket fog össze modellek, kutatások és értékelési módszerek fejlesztésére. Az NVIDIA szerint a koalíciót nemrég Japánra is kiterjesztette, ahol robotikai és gyártási szereplők szándékoznak csatlakozni, hogy nyílt világmodelleket fejlesszenek gyárakhoz, logisztikához, mezőgazdasághoz, építőiparhoz, egészségügyhöz és közlekedéshez.

A bejegyzés alapján a Cosmos mellett az NVIDIA fizikai AI stackjének része az Isaac GR00T robotikához, az Alpamayo autonóm járművekhez és a Metropolis vision AI-hoz.

Mit jelent ez a fejlesztőknek és a piacnak?

Az NVIDIA üzenete szerint a fizikai AI fejlesztésében a nyílt világmodellek azért lehetnek fontosak, mert a valós telepítések eltérő robotokat, szenzorokat, feladatokat és környezeteket jelentenek. A nyílt súlyok, az adaptációt engedő licenc és az utótanítási lehetőség a cég szerint lehetővé teszi, hogy a csapatok saját helyzetükre igazítsák a modelleket.

A fejlesztői oldalról a Cosmos 3 egyetlen modellcsaládban kínálhat jelenetértést, szintetikusadat-generálást, jövőbeli állapotok szimulációját és világ-akció modellek alapját. Az Omniverse könyvtárak és az OpenUSD pedig a szimulációra kész környezetek és a 3D adatok kezelésének munkafolyamatát célozzák.

A piac számára a bejegyzésből az látszik, hogy az NVIDIA a nyílt modellökoszisztémát a fizikai AI egyik alapfeltételeként pozicionálja. A vállalat szerint az ilyen modellek már most használatban vannak tanítóadatok generálására, irányítási szabályzatok tesztelésére és fizikai AI rendszerek specializálására robotoknál, autonóm járműveknél és vision AI rendszereknél.