Az NVIDIA új eszközökkel bővíti a Cosmos világmodell-platformot
Az NVIDIA új képzési, szimulációs és telepítési eszközökkel bővítette Cosmos platformját, amely a fizikai AI-rendszerekhez készülő világmodellek fejlesztését támogatja. A csomag adatgyártási munkafolyamatokat, nyílt modellek finomhangolását és autonóm rendszerek szimulációs tesztelését is tartalmazza.
- Az NVIDIA öt felhőalapú Cosmos Data Factory-mintát tett elérhetővé.
- A platform több nyílt modell finomhangolását és megerősítéses tanulását támogatja.
- A Cosmos 3 Nano szimulációs változatai autonóm rendszerek tesztelésére készültek.
- A frissített Cosmos 3 NIM mikroszolgáltatások akár kétszer gyorsabb következtetést kínálnak.
- Az ADNOC 65 telephelyen használ Cosmosra épülő biztonsági videóelemzést.
Adatfeldolgozás és szintetikus tanítóadatok
Az NVIDIA Cosmos Data Factory a világmodellek tanításához szükséges multimodális és több érzékelőtől származó adatok címkézését, válogatását, bővítését és értékelését támogatja. A Cosmos Curator GPU-gyorsított megoldás már ilyen bemeneteket és feldolgozási blokkokat is kezel.
A Data Factory öt felhőalapú munkafolyamat-mintát kínál, amelyek a GitHubon, a Microsoft Azure-on, a Nebiuson és a CoreWeave-en érhetők el. Az autonóm járművekhez készült minta vezetési adatokat válogat és címkéz, majd nehezen rögzíthető helyzetek szintetikus példáival bővíti az adatállományt. További lehetőség az objektumok megjelenésének módosítása képkereséshez, ritka vagy veszélyes események szintetikus videóinak létrehozása, áramköri lapok, fém- és üvegfelületek hibáinak generálása, valamint a meglévő videók időjárási és fényviszonyainak megváltoztatása a jelenet szerkezetének megtartásával.
Az NVIDIA szerint a Porsche a Volkswagen-csoport márkái közötti közös autonómjármű-adatfolyamat fejlesztésére használja a technológiát. A vállalatnál ez akár 90 százalékkal is csökkentheti az ismételt fizikai tesztvezetéseket, a fejlesztési ciklusokat pedig akár 85 százalékkal rövidítheti.
Nyílt modellek finomhangolása és optimalizálása
A GTC Berlin rendezvényen az NVIDIA a Cosmos Framework képzési, optimalizálási és telepítési eszközeit, valamint receptjeit ügynöki képességként további nyílt modellekhez is elérhetővé tette. A fejlesztők a GR00T, az Alpamayo, a QWEN, a Pi0.5 és más kompatibilis Hugging Face-modellek módosítását is elvégezhetik finomhangolással és megerősítéses tanulással.
A Cosmos Framework moduláris, nyílt keretrendszer. A modellek tudását desztillációval és kvantálással lehet optimalizálni, majd nagy teljesítményű következtetési környezetben telepíteni. A MicroAGI robotikai kutatólabor a Cosmos 3-at emberi tárgykezelésről készült videókon tanította tovább. A 32 milliárd paraméteres következtető modellt egy 8 milliárd paraméteres Nano modellé desztillálták, az NVIDIA közlése szerint pontosságvesztés nélkül.
A Roboflow segítségével a fejlesztők saját környezetükre és feladataikra címkézhetik az adatokat, majd a modelleket gyárakban és raktárakban használható NVIDIA GPU-kon telepíthetik.
Szimuláció, gyorsabb következtetés és ipari használat
Az új Cosmos 3 Nano szimulációs modellváltozatokkal autonóm járművek és kétkezes robotok vezérlési szabályzatai tesztelhetők ismételhető, nehezen rögzíthető, többnézetű és több érzékelőt használó helyzetekben. A mellékelt kód a modellek átalakítását, valamint a szabályzatok betanítását és értékelését is támogatja interaktív szimulációkban, még a valós tesztelés előtt.
Az NVIDIA frissített Cosmos 3 NIM mikroszolgáltatásai a vállalat által ellenőrzött konfigurációkban akár kétszer gyorsabb következtetést kínálnak minőségromlás nélkül. A folyamatos videóelemzés másodperc alatti riasztásokat tesz lehetővé. A Cosmos NIM-re épülő Metropolis Blueprint for Video Search and Summarization 3.3 ugyanazzal a GPU-val 40 százalékkal több videofolyam figyelését teszi lehetővé.
Az ADNOC 65 telephelyen használja a Fogsphere Cosmosra és a Metropolis Blueprintre épülő MistIQ platformját biztonsági veszélyek valós idejű felismerésére. Ritka eseményekhez a Cosmos Data Factory szintetikus tanítóadatokat készít, így a veszélyes helyzeteket nem kell fizikailag előidézni. A platform felépítése lehetővé teszi, hogy a fejlesztők az adatgyártástól a modellképzésen át a telepítésig különálló, nyílt Cosmos-összetevőket használjanak.
