Az NVIDIA Cosmos világmodellekkel szimulálja a fizikai világot

A teljes fejlesztési folyamatot lefedi a Cosmos Framework

Az NVIDIA Developer november 2-i bemutatója szerint a fizikai AI fejlesztőinek két fő kihívással kell megbirkózniuk: a modelleket a saját érzékelőikhez, feladataikhoz és adataikhoz kell igazítaniuk, majd megbízhatóan kell alkalmazásba állítaniuk. A Cosmos platform világmodelleket és fejlesztői eszközöket kínál ezekhez a feladatokhoz.

A Cosmos Framework moduláris keretrendszer a világmodellek teljes fejlesztési életciklusát támogatja. Szövegen, képen, videón, hangon és cselekvéseken alapuló modellek betanítására használható, LoRA-alapú, paraméterhatékony adaptációval vagy teljes felügyelt finomhangolással. Az adatok JSONL, WebDataset, LeRobot vagy egyedi adapterek segítségével tölthetők be, a betanítás pedig több GPU-n is futhat.

A keretrendszer a Cosmos 3 mellett az NVIDIA Alpamayo, a GR00T, a Qwen, a pi0.5 és más kompatibilis Hugging Face-modellek támogatása felé is bővül. A fejlesztők többféle megerősítéses tanulási eljárást használhatnak, köztük a DPO, GRPO, PPO, OPD és DiffusionNFT módszereket.

Kamera- és LiDAR-adatokkal építhető szimuláció

Az NVIDIA szerint az új Cosmos 3 Nano szimulációs receptek kiadott ellenőrzőpontokból indulva szinkronizált kameravideókat és LiDAR-megfigyeléseket generálnak. A receptek autós, robotikai és sebészeti forgatókönyvekhez készültek, és a fejlesztők saját érzékelőkhöz, akcióterekhez és adatterületekhez is hozzáigazíthatják a Cosmos 3 Nano modellt.

Az önvezető járműves szimulációban a modellek a sávokat, objektumokat, útburkolati jeleket, közlekedési táblákat és útszéleket leíró World Scenario Map vezérléseket használják. A közös RGB és LiDAR-generálás HD-térképes hatótávolságképes vezérléseket, valamint opcionális kezdeti LiDAR-megfigyeléseket is fogad.

A Cosmos3-Nano-Transfer-Auto többkamerás klipeket dolgoz fel, és akár 400 képkockás, 480p vagy 720p felbontású, 30 képkocka/másodperces videók előállítását támogatja. A rendszerrel ugyanaz az útvonal eltérő időjárási és fényviszonyok között is létrehozható. Az NVIDIA referenciafuttatása hét, 720p-s videót generál 297 képkockával, 30 képkocka/másodperces sebességgel, valamint 99 LiDAR-pásztázással.

A Cosmos3-Nano-Sim-Auto ezzel szemben oksági, kevés lépésben desztillált változat, amely autoregresszív, folyamatos generálást tesz lehetővé. A járművezetési politika vagy az emberi vezetői bemenet frissíti a forgatókönyvet, a létrehozott kamera- és LiDAR-megfigyelések pedig visszakerülnek a politikához a zárt hurkú kiértékeléshez.

NIM mikroszolgáltatások a modellkiszolgáláshoz

A Cosmos NIM mikroszolgáltatások alkalmazásprogramozási felületeken keresztül teszik lehetővé a GPU-gyorsított következtetést. Az NVIDIA leírása szerint a konfigurációk között a GPU-hoz, a memóriához és a futtatási beállításokhoz lehet választani.

A szolgáltatások kvantálást, spekulatív dekódolást és KV-cache-alapú útválasztást használnak. Az NVIDIA H200 GPU-kon ezekkel a megoldásokkal nagyjából 2-3-szoros gyorsulást mértek. A memóriaigény modelltől és feladattól függ, a Cosmos3-Nano generálásához BF16 formátumban 58 GiB, FP8 formátumban, tehermentesítéssel pedig 44 GiB szükséges.

A fejlesztők a Cosmos Framework segítségével többek között Hugging Face Diffusers, PyTorch, SGLang, vLLM-Omni, vLLM, TRT-LLM és TRT-Edge-LLM környezetben, illetve NVIDIA NIM-mel futtathatnak kompatibilis ellenőrzőpontokat. A rendszer a modellek minőség, pontosság és GPU-használat szerinti értékelését is támogatja.

Az NVIDIA a Cosmos Framework használatáról november 5-én élő közvetítést is meghirdetett. A keretrendszer így a kutatási és betanítási feladatoktól a szimulációkon át a telepített, GPU-gyorsított következtetésig egyetlen fejlesztési folyamatot kínál a fizikai AI-val dolgozó csapatoknak.