NVIDIA: erősödik a helyben futó AI modellek és ügynökök ökoszisztémája

Helyi AI ügynökök kerülnek fókuszba augusztusban

Az NVIDIA szerint a nyílt forrású ökoszisztéma egyre könnyebbé teszi, hogy AI iránt érdeklődő felhasználók és fejlesztők helyben építsenek, testre szabjanak és futtassanak egyre képességesebb ügynököket. A vállalat egész augusztusban partnereket, nyílt forrású közösségeket, modelleket, alkalmazásokat és eszközöket mutat be a Local AI blogsorozat különkiadásában.

A sorozatban az NVIDIA saját nyílt modelljei, szoftverei és fejlesztői eszközei is szerepelnek, valamint azok a gyorsított számítási megoldások, könyvtárak és oktatási anyagok, amelyek a helyi AI használatának elindítását segítik. A vállalat megfogalmazása szerint augusztus nagy hónapnak ígérkezik az ügynökök számára.

A bejegyzés több időponttal jelölt frissítést tartalmaz. Ezek között vannak személyes AI rendszerekre optimalizált ügynökök, kódolást segítő nyílt modellek, videógeneráló megoldások, multimodális modellek és helyi tanítást, illetve következtetést kínáló asztali alkalmazások.

Perplexity Portable Computer DGX Sparkra

Az augusztus 25-i frissítés szerint a Perplexity új helyi ügynökalkalmazása, a Portable Computer NVIDIA DGX Spark rendszeren futtatható személyes AI ügynököt kínál. A megoldás helyi, privát munkafolyamatokat tesz lehetővé, amelyek az NVIDIA közlése szerint nem számítanak bele a tokenlimitekbe.

A Portable Computer a produktivitási felhasználóknak szól, és több alkalmazáshoz kapcsolódik, köztük a Google Drive, Gmail, Slack és GitHub szolgáltatásokhoz. A felhasználók válthatnak helyi és felhőben futó modellek között, így a forrás szerint az összetettebb feladatokhoz felhőmodelleket, a mindennapi teendőkhöz helyi modelleket használhatnak.

Az ügynök helyi AI képességeit DGX Sparkra optimalizálták. Az NVIDIA szerint a rendszer gyors nagy nyelvi modell következtetést és 24×7 folyamatos működést biztosít, ami hosszabb ideig futó autonóm ügynökökhöz illik. A GeForce RTX és RTX PRO GPU-k támogatása hamarosan érkezik.

Helyi futtatásnál a Perplexity egykattintásos helyi következtetés-beállítást és NVIDIA hardverre optimalizált élményt kínál, egy külön utótanított Qwen 3.8 27B modellel. A cég dolgozik egy finomhangolt Nemotron 3.5 Lightning változaton is, amelyet az NVIDIA közlése szerint ultragyors válaszokra szánnak, és hamarosan érkezik. A Perplexity a Windows és a DGX Station támogatásán is dolgozik.

Qwen3.8-27B és helyi kódoló ügynökök RTX GPU-kon

Az augusztus 14-i frissítés a Qwen3.8-27B modell helyi kódoló ügynökként való futtatásáról szól NVIDIA RTX GPU-kon. A 27 milliárd paraméteres nyílt modell a Qwen3.8-Max helyi kísérőjeként szerepel a bejegyzésben, és egyetlen GPU-ra méretezett megoldásként írják le, amely helyi fájlokkal, eszközökkel és projektkontextussal használható kódolási munkafolyamatokhoz.

A fejlesztők az NVIDIA szerint érzékeny kódot, saját adatot és projektkontextust tarthatnak saját rendszereiken, miközben AI segítséget használnak a fejlesztési folyamatban. A day-zero támogatás elérhető NVIDIA RTX GPU-kon, köztük NVIDIA RTX PRO GPU-kon és NVIDIA GeForce RTX 5090-en.

A forrásban szereplő mérés szerint a Qwen3.8-27B többtokenes előrejelzéssel, egyetlen GeForce RTX 5090-en 131 tokent ér el másodpercenként. A tesztet GeForce RTX 5090-en, Intel Core Ultra 9 285K processzorral, 64GB RAM-mal, Windows 11 alatt, NVIDIA 610.43 driverrel végezték, Q4_K_M checkpointtal llama.cpp alatt, speedbench benchmarkkal, MTP n_max = 3 beállítással.

A modell a llama.cpp, Ollama, Unsloth és LM Studio Bionic eszközökkel használható NVIDIA RTX GPU-kon. A bejegyzés szerint a Qwen3.8-27B DGX Spark és DGX Station rendszereken is támogatott, további optimalizációk, köztük az NVFP4 támogatás minden NVIDIA helyi AI eszközre, hamarosan érkeznek. Az NVIDIA Jetson szintén day-zero támogatást kap a Qwen3.8-27B-hez az edge környezetekben.

Videó, multimodalitás és asztali helyi AI

Az augusztus 11-i frissítések több új vagy frissített nyílt, illetve nyílt súlyú modellt sorolnak fel. Az NVIDIA nemrég kiadta a Cosmos 3 Edge modellt, amely 4 milliárd paraméteres nyílt világmodell robotikához, autonóm járművekhez és vizuális AI-hoz. A Cosmos 3 Nano méretének negyede, és eszközön fut NVIDIA DGX Spark és NVIDIA Jetson rendszereken.

A MiniMax-H3 egy 33 milliárd paraméteres nyílt súlyú modell, amely szövegből, képből, videóból, hangból vagy ezek keverékéből készít videót és natívan szinkronizált sztereó hangot. Az alkotók ComfyUI-on keresztül érhetik el, és NVIDIA GPU-kra optimalizált checkpointokkal futtathatják helyben.

A Poolside AI Laguna S 2.1 modellje 118 milliárd paraméteres nyílt súlyú ügynöki kódolómodell, amely órákig tartó feladatokon dolgozik. Az NVIDIA szerint egy NVFP4 checkpoint lehetővé teszi, hogy a fejlesztők a modellt helyben, egyetlen NVIDIA DGX Spark rendszeren futtassák alacsonyabb számítási és memóriaigénnyel, pontosságvesztés nélkül.

A DeepSeek frissítette a DeepSeek-V4-Flash modellt, amely 284 milliárd paraméteres MoE modell, 13 milliárd aktív paraméterrel és 1 millió tokenes kontextusablakkal. A fejlesztők közösségi GGUF változatokkal futtathatják helyben NVIDIA DGX Station rendszeren.

A Thinking Machines Lab Inkling-Small modellje nyílt súlyú, multimodális modellként szerepel, amely szöveg, kép és hang felett végez natív érvelést, állítható gondolkodási erőfeszítéssel. A 276 milliárd paraméteres modell NVIDIA GB300 NVL72-n tanult, tokenenként 12 milliárd paramétert aktivál, és egyetlen DGX Stationön vagy két DGX Spark rendszeren fut. NVIDIA Blackwellre optimalizált NVFP4 checkpoint érhető el Hugging Face-en.

Az Unsloth hétfőn elindította az Unsloth Desktopot. A forrás szerint ez egy teljesen nyílt forrású asztali alkalmazás, amely helyi modellkövetkeztetést, kép- és videódiffúziót, finomhangolást, ügynökintegrációkat, webes kutatást és kódfuttatást hoz egy felületre. Az NVIDIA állítása szerint ez az első asztali alkalmazás, amely helyben tanít és futtat AI modelleket.

Az Alibaba Wan-Animate-2 modellje 14 milliárd paraméteres nyílt súlyú megoldás, amely egy vezérlővideó mozgását és arckifejezéseit viszi át statikus karakterképre, legyen az ember, rajzfigura, robot vagy állat. ComfyUI day-zero támogatással az NVIDIA szerint akár 26x gyorsabban generál NVIDIA RTX PRO 6000 Blackwell rendszeren és 22x gyorsabban NVIDIA RTX 5090-en, mint Apple M3 Ultra esetén.

Mit jelent ez a felhasználóknak és a fejlesztőknek

A bejegyzés fő üzenete, hogy a helyben futó AI egyre több feladattípusra terjed ki: személyes ügynökökre, kódolásra, videógenerálásra, multimodális feldolgozásra, helyi tanításra és edge futtatásra. A felhasználói oldal számára a helyi futtatás a forrás alapján privátabb munkafolyamatokat és saját rendszeren tartott adatokat jelenthet, különösen olyan eszközöknél, mint a Portable Computer vagy a Qwen3.8-27B fejlesztői használata.

A fejlesztőknek az NVIDIA által felsorolt támogatott eszközök, köztük a llama.cpp, Ollama, Unsloth, LM Studio Bionic és ComfyUI, azt jelzik, hogy a helyi AI nem egyetlen alkalmazáshoz kötődik, hanem ismert nyílt forrású munkafolyamatokban is megjelenik. A bejelentésekben visszatérő elem a DGX Spark, a DGX Station, a Jetson és az RTX hardverek támogatása.

A piac szempontjából az NVIDIA blogja azt mutatja, hogy a vállalat a helyi AI-t hardverek, optimalizált checkpointok, fejlesztői eszközök és partneralkalmazások együttese köré szervezi. A forrás alapján a következő hetekben további frissítések érkeznek a különkiadású NVIDIA Local AI blogsorozatban.