Az NVIDIA új nyílt modellje multimodális ügynököket céloz

Az NVIDIA bemutatta a Nemotron 3.5 Super VL nyílt, testre szabható multimodális modelljét, amely a vállalati AI-ügynökök összetett feladataira készült. A 120 milliárd paraméteres modell tokenenként 12 milliárd paramétert aktivál.
- A Nemotron 3.5 Super VL 120 milliárd paraméteres modell, tokenenként 12 milliárd aktivált paraméterrel.
- Szöveget, képet, dokumentumot és videót is értelmez, emellett következtetésre és eszközhasználatra képes.
- Az NVIDIA szerint egy GPU-n legfeljebb ötször nagyobb áteresztőképességet kínál hasonló méretű nyílt modelleknél.
- A fejlesztők NVIDIA NeMo-val és nyílt adatkészletekkel szabhatják testre.
- A Scale AI, a Ramp és az AI21 különböző vállalati feladatokra finomhangolta a modellt.
Egy modellben egyesíti a szöveges és vizuális feladatokat
Az NVIDIA Developer október 15-i bejelentése szerint a Nemotron 3.5 Super VL kevert szakértői architektúrát, vagyis mixture-of-experts felépítést használ. A modell egyetlen rendszerben ötvözi a következtetést, az utasításkövetést, az eszközhasználatot, valamint a szöveg, a kép, a dokumentum és a videó értelmezését.
Ennek révén a fejlesztőknek egy munkafolyamatban nem kell külön szöveges és látásalapú nyelvi modelleket telepíteniük, illetve a feladat kontextusát sem kell ezek között átadniuk. Az NVIDIA szerint a modell egyetlen GPU-n legfeljebb ötször nagyobb áteresztőképességet kínál az azonos méretkategóriába tartozó más nyílt modelleknél. A Baseten végpontján az Artificial Analysis Intelligence Index ügynöki feladatain több mint 600 token/másodperc értéket mértek.
Vállalati ügynökökhöz és saját adatokhoz igazítható
A Nemotron 3.5 Super VL-t olyan többlépéses feladatokra szánják, amelyekben az ügynöknek dokumentumokat kell olvasnia, több forrásból kell információt összekapcsolnia, vállalati szabályokat kell követnie és eszközöket kell használnia. A lehetséges alkalmazások között szerepel a kód tesztelése és hibakeresése, a webes kutatás, a dokumentumokban található táblázatok és diagramok feldolgozása, a kiberbiztonsági fenyegetések rangsorolása, valamint a videók elemzése.
A fejlesztők az NVIDIA NeMo nyílt könyvtáraival felügyelt finomhangolást, alacsony rangú adaptációt és megerősítéses tanulást használhatnak. A Hugging Face-en az NVIDIA több nyílt adatkészletet is kiadott, köztük ügynöki eszközhasználati, pénzügyi következtetési, utasításkövetési, hosszú kontextusú és látásnyelvi adatokat. A csomag 45 látásnyelvi adatkészletet tartalmaz.
A vállalatok a nyílt súlyokat támogatott helyi, adatközponti vagy felhős környezetben is használhatják. A testreszabást saját adatokkal, eszközökkel, működési eljárásokkal és szabályzatokkal végezhetik el.
Már több vállalati feladatra is finomhangolták
Az NVIDIA közlése szerint a Scale AI a Skydance Corporation automatizált beszállítói hitelfeldolgozásához hangolta tovább a modellt. Ennél a munkafolyamatnál 40-szeres inferenciaköltség-csökkenést és ötször kisebb késleltetést várnak. A Ramp a nyugtaképeket alakítja strukturált JSON-adatokká, például kereskedői, dátum- és fizetési információkkal. A vállalat legfeljebb 50 százalékkal nagyobb áteresztőképességet és tízszer kisebb késleltetést vár.
Az AI21 az Alice fenyegetésfelderítési és sérülékenységelemzési feladatára hangolta tovább a modellt, amelynél 40 százalékos pontosságjavulást közölt. A Nemotron 3.5 Super VL a CharXiv diagramértelmezési mérésén 80,8 százalékos eredményt ért el, Python-kódértelmezéssel pedig 84 százalékot.
A Hermes Bench tesztjén a modell 63,44 százalékot, a LangChain értékelésén 87,05 százalékot ért el. Ugyanezeken a méréseken a Nemotron 3 Ultra eredménye 56,33, illetve 84,3 százalék volt. A felhasználók számára ez olyan nyílt modellalapot jelent, amely a szöveges és vizuális vállalati munkafolyamatokat egy rendszerben kezelheti, miközben saját adatokkal és szabályokkal alakítható.
NVIDIA Developer: NVIDIA Nemotron 3.5 Super VL Powers Specialized Agents with Multimodal Reasoning
NVIDIA: Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models
Kilo Code: NVIDIA Nemotron 3.5 Super VL Is a Builder Just Like You


