Az NVIDIA új nyílt modellel és útválasztóval gyorsítaná az ügynökös AI-t

Új taggal bővül a Nemotron 3 család

Az NVIDIA a Nemotron 3 Nano után újabb nyílt modellel bővíti a Nemotron 3 modellcsaládot. A Nemotron 3.5 Lightning egy 30 milliárd paraméteres, mixture-of-experts modell, amelyet a vállalat nagy volumenű, ügynökös munkafolyamatokra szán.

Az NVIDIA szerint a modell a saját kategóriájában a legnagyobb hatékonyságú megoldás hosszú ideig futó agentic AI terhelésekhez. A vállalat azt állítja, hogy a Nemotron 3.5 Lightning akár 4x gyorsabb kimeneti sebességet ad, ami 30% gyorsabb ügynökös feladatvégrehajtást eredményez más, azonos kategóriájú modellekhez képest.

A modell fejlesztéséhez a Nemotron Coalition tagjai is hozzájárultak. A közlemény szerint értékelési módszertanokat, inferenciaszoftvert és adatkészleteket biztosítottak a modell továbbfejlesztéséhez.

Az NVIDIA a modellt olyan, nagyobb, többmodelles ügynökrendszerek részeként képzeli el, ahol a különböző modellek eltérő feladatokra specializálódnak. A közlemény példája szerint egy frontier reasoning modell, például a Nemotron 3 Ultra vagy a GPT-5.6 tervezheti és koordinálhatja a munkafolyamatot, míg kisebb, célzott modellek, például a Nemotron 3.5 Lightning kódellenőrzést, eszközhasználatot, biztonsági riasztások figyelését vagy számlázási kérdések megválaszolását végezhetik.

Testreszabhatóság, helyi futtatás és partnerek

A Nemotron 3.5 Lightning nyílt és teljesen testreszabható modellként érkezik. Az NVIDIA szerint a szervezetek a saját szakterületi adataikon, eszközeiken és munkafolyamataikon utótaníthatják NVIDIA NeMo segítségével, hogy javítsák a pontosságot speciális feladatoknál.

A vállalat a PinchBench mérésekre hivatkozva azt írja, hogy a Nemotron 3.5 Lightning gyorsabb ügynökös feladatvégrehajtást biztosít frontier-szintű pontossággal a kategóriájában lévő más modellekhez képest.

A közlemény több iparági példát is felsorol. A CrowdStrike kiberbiztonsági, a Harvey a Trajectoryvel jogi szolgáltatási, a CodeRabbit a Basetennel kódellenőrzési munkaterhelésekre szabja testre a modellt. Az NVIDIA szerint a Lila Sciences az ügynökös feladatok érvelési képességeinek javításában segít a fizikai és élettudományok területén, a Fastino Labs pedig szoftverfejlesztési, pénzügyi és egészségügyi munkaterhelésekre testreszabva lát vezető pontosságokat.

A modell futtatható helyi AI-rendszereken is, köztük NVIDIA RTX PC-ken, NVIDIA DGX Spark, NVIDIA DGX Station és NVIDIA Jetson rendszereken. A közlemény szerint a vállalatok emellett edge AI eszközökön, NVIDIA RTX PRO munkaállomásokon, adatközpontokban és felhőkörnyezetekben is skálázhatják vállalati felhasználási esetekhez.

Az NVIDIA azt is közölte, hogy a Nemotron bevezetésekhez hasonlóan a licencelés által megengedett mértékben közzéteszi a képzési adatok és technikák minél nagyobb részét. A Lightning mellett megjelent a Nemotron-RL-Agentic-Terminal-Pivot nevű, ügynökös megerősítéses tanulási adatkészlet is, amelyet a modell kódoló ügynökképességeinek utótanításához használtak.

NeMo Switchyard: automatikus modellválasztás ügynökökben

Az NVIDIA a modell mellett kiadta a NeMo Switchyardot is, egy nyílt forrású modellútválasztó könyvtárat AI-ügynökökhöz. A technológia automatikusan a legalkalmasabb és leghatékonyabb modellhez irányítja a promptokat az ügynöki munkafolyamat egyes lépéseiben.

A vállalat szerint ez azért fontos, mert egyes modellek kódolásban, mások érvelésben vagy könnyebb feladatokban erősebbek, míg bizonyos modellek helyi futtatásra optimalizáltak az adatvédelem és hatékonyság miatt. Ha az ügyfelek egyetlen alapértelmezett modellre támaszkodnak, túlkölthetnek vagy minőséget veszíthetnek, a kézi útválasztás pedig integrációs munkát igényelhet.

A NeMo Switchyard a fejlesztők saját, nyílt, zárt és NVIDIA modellekből álló kombinációján belül tudja irányítani a kéréseket anélkül, hogy az alkalmazásokat újra kellene írni. A fejlesztők különböző útválasztási algoritmusokkal hangolhatják vagy módosíthatják a routert, például minőségi, késleltetési és költségigények alapján.

Az NVIDIA belső mérései szerint a NeMo Switchyard frontier-szintű pontosságot tart fenn, miközben a feladatvégrehajtás költségét az Opus 4.8 önálló használatához képest közel egyharmadra csökkenti.

Korai eredmények az NVIDIA partnereinél

Az NVIDIA több partneri eredményt is közölt a NeMo Switchyard kapcsán. A Boomi öt útválasztási képességen értékelte a Switchyardot, 100% domain-routing pontosságot ért el, a forgalom 59% részét egy 5x gyorsabb finomhangolt modellhez küldte, és 21% ért el a későbbi körök késleltetésének csökkentésében.

A Cadence a ChipStack AI Super Agentet használva 9,9% hatékonyságjavulást ért el egy formális verifikációs felhasználási esetben. A Classmethod belsőleg opencode és Fireworks munkaterheléseket futtat NeMo Switchyarddal, az első tesztek pedig 27% költségcsökkenést mutattak minőségmegőrzés mellett.

A Cognition a NVIDIA NeMo Switchyard staged routert integrálta a Devin Desktopba NVIDIA belső használatra, és a FrontierCode Main feladaton közel frontier teljesítményt ért el, miközben az átlagos költség 28% csökkent ahhoz képest, mintha minden kérést egyetlen frontier modellhez irányítottak volna.

A LangChain 145 többkörös Deep Agents feladaton 74% alacsonyabb költséget ért el úgy, hogy a hívásoknak csak 7% részét irányította frontier modellhez, 6% pontossági kompromisszum mellett. A Ramp a Ramp SWE-Bench feladaton egy frontier modell teljesítményét érte el, miközben 58% költségcsökkenést és 33% futásidő-csökkenést mért.

A Kong natívan kínál útválasztást NeMo Switchyarddal a Kong AI Gatewayen keresztül. A LiteLLM bővítményként adja hozzá a NeMo Switchyardot a proxyrétegéhez, a Nous Research pedig a Hermesbe integrálta. A Siemens a Fuse EDA AI Agent hatékonyságának javítására végez benchmarkokat.

Mit jelent ez a felhasználóknak és a piacnak

Az NVIDIA bejelentése az ügynökös AI rendszerek egyik gyakorlati problémájára válaszol: hogyan lehet több modellt együtt használni úgy, hogy a feladat, a költség, a késleltetés és az adatvédelmi igények alapján mindig megfelelő modell dolgozzon. A Nemotron 3.5 Lightning a nagy volumenű, specializált feladatokra készült, a NeMo Switchyard pedig az ezek közötti automatikus választást célozza.

A vállalati felhasználók számára a közlemény alapján a fő ígéret a nagyobb kontroll. A modellek futtathatók PC-ken, munkaállomásokon, adatközpontokban és felhőben, a NeMo Switchyard pedig meglévő ügynökeszközökbe illeszkedhet anélkül, hogy a fejlesztőknek át kellene írniuk alkalmazásaikat.

A Nemotron 3.5 Lightning elérhető a Hugging Face, a ModelScope, az OpenRouter és a build.nvidia.com felületein NVIDIA NIM mikroszolgáltatásként, továbbá NVIDIA Cloud Partnereken, utótanítási platformokon, inferenciaplatformokon és felhőszolgáltatókon keresztül. A NeMo Switchyard a GitHubon érhető el, és az NVIDIA szerint hamarosan partnerplatformokra is megérkezik.