Helyben futó, nyílt NVIDIA-modell érkezett az Ollamába

30 milliárd paraméter, ebből 3 milliárd aktív

Az Ollama augusztus 11-én jelentette be, hogy elérhetővé tette a NVIDIA Nemotron 3.5 Lightning modellt. A 30 milliárd paraméteres, nyílt modellből tokenenként 3 milliárd aktív, ezért a fejlesztők szerint helyi rendszerekre is alkalmas, nem kizárólag adatközponti használatra.

A Nemotron 3.5 Lightning hibrid Mixture-of-Experts architektúrát használ. Futtatható NVIDIA RTX PC-ken, NVIDIA RTX PRO munkaállomásokon, NVIDIA DGX Spark és DGX Station rendszereken, továbbá adatközpontban és felhőben is. A helyi futtatás egyik fontos következménye, hogy az adatok az eszközön maradhatnak.

Hosszú munkafolyamatokra és eszközhasználatra készült

A modellt olyan ügynökökhöz fejlesztették, amelyek folyamatosan dolgoznak, például kontextust gyűjtenek, eszközöket hívnak meg, több lépésen haladnak végig, majd egy sikertelen műveletet újrapróbálnak. Az Ollama példái között szerepel egy fájl elolvasása, egy eszköz meghívása, az eredmény rendezése és egy hibás lépés megismétlése.

A fejlesztés a Nemotron Coalition közreműködésével zajlott, a modellt pedig a fejlesztők által használt eszközökhöz és munkafolyamatokhoz, többek között kódoláshoz, eszközmeghíváshoz, utasításkövetéshez és többfordulós feladatokhoz képezték. A kontextusablak legfeljebb 1 millió tokenes, így hosszú eszközhasználati előzmények is elférhetnek a többfordulós folyamatokban.

Az Ollama szerint a spekulatív dekódolás, valamint a többtokenes előrejelzés, az MTP, a DFlash vagy a DSpark használata legfeljebb négyszer nagyobb áteresztőképességet kínálhat a hasonló nyílt modellekhez képest.

Helyi asszisztensek, kódolás és biztonsági műveletek

Az Ollama szerint a Nemotron 3.5 Lightning használható hosszú ideig futó személyi asszisztensekhez, amelyek e-mailekkel, naptárral, projektekkel és foglalásokkal dolgoznak. Helyi futtatás mellett ezek az ügynökök helyi kontextust használhatnak, és az adatok nem kerülnek másik rendszerbe.

Kódolási alügynökként a modell teszteket futtathat, kereshet a kódbázisban és refaktorálásokat alkalmazhat a már használt ügynöki keretrendszerekben. Biztonsági műveleteknél riasztások kiegészítésére, incidensek osztályozására, naplók lekérdezésére, indikátorok összekapcsolására és elemzők számára strukturált megállapítások előkészítésére használható.

Az Ollama egy helyi és felhős működést kombináló használati módot is felvázol. A nagy volumenű lépések helyben futhatnak, miközben az egyedi, nagyobb modellt igénylő feladatokat egy hosztolt modell végezheti el. A közlemény szerint ehhez ugyanaz a parancssori felület és ugyanaz az API használható.

Nyílt súlyokkal, több integrációval

A Nemotron 3.5 Lightning nyílt adatkészleteken betanított modell, amelynek súlyai hozzáférhetők. Az Ollama szerint a felhasználók egy szűkebb feladatra utólag betaníthatják, majd az eredményt helyben vagy adatközpontban futtathatják.

A modell az ollama run nemotron-3.5-lightning paranccsal indítható. Az Ollama külön indítási lehetőséget ad a Claude Code, az OpenClaw, a Hermes Agent és az OpenCode használatához is. Apple chipes gépekre a nemotron-3.5-lightning:30b-mlx változatot kínálja.

Az Ollama állítása szerint a modell a hasonló méretű, vezető nyílt modellekhez képest négyszer nagyobb áteresztőképességet és 30 százalékkal gyorsabb feladat-végrehajtási időt kínál, miközben ügynöki, kódolási és érvelési feladatokban is vezető pontosságot nyújt. A részletes eredményeket és tesztbeállításokat az NVIDIA indítási blogja tartalmazza.