Az NVIDIA új nyílt modellje képeket, dokumentumokat és videót is értelmez

Vizuális információkra építő ügynököknek szánják

A Baseten október 15-i bejelentése szerint egyre nagyobb az igény olyan ügynökökre, amelyek vizuális információkkal is tudnak dolgozni. A vállalat szerint az iparágban általános trend, hogy a multimodális bemenet a különböző méretosztályokba tartozó modellek standard képességévé válik.

Az NVIDIA Nemotron 3.5 Super VL ezt a vizuális értelmezést, a következtetést és az eszközhasználatot egyetlen modellben egyesíti. A modell dokumentumokat, képeket, alkalmazásképernyőket és videót dolgozhat fel, így olyan információkat is figyelembe vehet, amelyek pusztán szövegkinyeréskor elveszhetnek.

A vizuális környezet alapján a modell meghatározhatja a következő lépést, majd eszközhívásokat generálhat, amelyeket az alkalmazás végrehajthat. A Baseten szerint ez többek között ügyfélszolgálati, dokumentumfeldolgozási, vállalati produktivitási és webes kutatási feladatoknál lehet hasznos.

120 milliárd paraméteres Mixture-of-Experts modell

A Nemotron 3.5 Super VL a Nemotron 3 Super architektúrájára épül. A modell 120 milliárd paraméteres Mixture-of-Experts rendszer, amely tokenenként 12 milliárd paramétert aktivál. Hibrid Mamba-Transformer felépítése hosszú kontextusok feldolgozását támogatja, a multi-token prediction, vagyis több token előrejelzése pedig a generálás gyorsítását szolgálja.

A modell NVFP4 KV-cache kvantálást használ, amelyet a Baseten a hosszú kontextusú következtetés memóriaigényének csökkentésére tervezett megoldásként ír le. A vizuális bemenetek kezelését egy látóencoder hozzáadása teszi lehetővé. Ennek segítségével az ügynök megvizsgálhatja egy dokumentum elrendezését, értelmezhet egy képernyőképet, vagy elemezhet egy videórészletet, majd az így nyert információ alapján következtethet a további teendőkre.

A Basetenen a fejlesztők NVIDIA Blackwell GPU-kon, NVFP4 súlyokkal értékelhetik a modellt. A platform a modell testreszabását is támogatja a Baseten Training részeként.

A szöveges következtetésben is javulást jelentett az NVIDIA

A vizuális képességek hozzáadása a Baseten ismertetése szerint nem járt a szöveges következtetési teljesítmény feladásával. Az NVIDIA által közölt értékelésekben a Nemotron 3.5 Super VL magasabb eredményt ért el a Nemotron 3 Supernél mindhárom bemutatott, szöveges feladatokra épülő teszten.

A GDPval mérésében a Nemotron 3.5 Super VL 1190-es Elo-értéket kapott, míg a Nemotron 3 Super 493-at ért el. A modell a SciCode és a GPQA-diamond teszteken is magasabb pontszámot szerzett. A Baseten szerint ezek a mérések olyan területeket fednek le, mint a professzionális feladatok, a tudományos programozás és a felsőfokú szintű tudományos kérdések.

A vállalat értelmezése szerint az eredmények azt mutatják, hogy a vizuális bemenet támogatása nem ment a szöveges következtetés teljesítményének rovására. Ez azoknál az alkalmazásoknál lehet szempont, amelyek egyaránt dolgoznak képi vagy dokumentumalapú adatokkal és összetett szöveges feladatokkal.

Azonnal elindítható a kiértékelés és a testreszabás

A Nemotron 3.5 Super VL a Baseten közleménye szerint a bejelentés napjától elérhető a platform Model API és Dedicated lehetőségein keresztül. A fejlesztők saját képeikkel, dokumentumaikkal és alkalmazásképernyőikkel vizsgálhatják, mennyire jól érti a modell a bemeneteket, milyen megbízhatóan állítja elő az alkalmazás által igényelt kimeneteket, és megfelel-e a munkafolyamatuk késleltetési követelményeinek.

A modellt a Baseten Loops SDK segítségével is lehet testreszabni. A Loops a Baseten felügyelt terméke felügyelt finomhangoláshoz és megerősítéses tanuláshoz. A képzési folyamat Python-szkriptből, a Loops SDK meghívásával indítható. A Baseten biztosítja és működteti a megosztást, a megosztott képzést, a párhuzamosításokat és a GPU-fürtöket, így a csapatoknak nem kell saját képzési infrastruktúrát létrehozniuk.

A Super VL csatlakozik a Nemotron 3 Super és a Nemotron 3 Ultra modellekhez a Loops kínálatában. Azok a csapatok, amelyek már ezeket a modelleket tanítják, a Baseten szerint eszközeik megváltoztatása nélkül válthatnak alapmodellre. A befejezett tanítási futás után a képzett ellenőrzőpont ugyanazon a platformon telepíthető és szolgálható ki, ahol a tanítás történt.