Olcsóbban építhetők videóelemző AI-ügynökök az NVIDIA VSS 3.3-mal

Egyetlen utasításból állhat össze az alkalmazás

A VSS Blueprint élő és rögzített videókat alakít természetes nyelven kereshető tartalommá, és vizuális kérdések megválaszolására, ellenőrzött riasztásokra, valamint automatikus jelentések készítésére használható. A rendszer látás és nyelv modelleket, nagy nyelvi modelleket, visszakereséssel kiegészített generálást (RAG), illetve Model Context Protocol eszközöket kapcsol össze.

A 3.3-as kiadás egyik újdonsága a Build Vision Agent készség, amelyet az NVIDIA vss-build-vision-ai néven azonosít. A fejlesztő természetes nyelven írhatja le a kívánt alkalmazást, a készség pedig a VSS munkafolyamataiból, mikroszolgáltatásaiból, konfigurációiból és futtatási műveleteiből készít telepítési tervet.

A folyamat négy ellenőrzött fejlesztői profil egyikéből indul ki. Ezek között van a dense captioning és videoklipekkel végzett kérdezz-felelek, a valós idejű riasztás, a hosszú videók összefoglalása, valamint az objektum- és videóbeágyazásokra épülő keresés. A készség csak a kért képességhez szükséges szolgáltatásokat módosítja, a közös infrastruktúrát pedig összevonja. Így például két, detektort igénylő funkció egy detektort használhat, a Kafka és az Elasticsearch pedig közös példányon futhat.

A bemutatóban fél órán belül elkészült a rendszer

Az NVIDIA egy narancslé-palackozó sor példáján mutatja be a működést. A Build Vision Agent egyetlen utasításból olyan alkalmazást állított össze, amely keresést, riasztás-ellenőrzést és műszakjelentést is tartalmazott. A telepítés kevesebb mint 30 perc alatt elkészült, és egy két GPU-s RTX PRO 6000 Blackwell gépen futott.

A létrehozott build önálló telepítési fájlokat tartalmaz, köztük egy Compose-konfigurációt és annak feloldott változatát. A készség a telepítés előtt architektúraábrát készít ellenőrzésre, majd validációs, telepítési és készenléti ellenőrzéseket futtat. A fejlesztő arról is dönthet, hogy agent-harness fusson-e a telepítés mellett. Az alapértelmezett lehetőség a NemoClaw, amely a VSS-készségeket tartalmazó, gazdagépen futó homokozó.

A megközelítés a fejlesztési és a változtatási költséget mérsékelheti. A fejlesztőknek nem kell minden új képességhez a teljes rendszert az alapoktól felépíteniük, és a VSS 3.3 a futó telepítés kiterjesztését is támogatja a teljes verem újraépítése nélkül.

Kevesebb videótoken, több párhuzamos stream

Az üzemeltetési költségek csökkentését az Adaptive Efficient Video Sampling (EVS) szolgálja. A funkció képkockánként vizsgálja, mely vizuális részek változtak az előző képkockához képest, és elhagyja a változatlan képpanelekhez tartozó tokeneket. A VLM-feldolgozást közben azokhoz az időpontokhoz igazítja, amikor aktivitás történik.

Az NVIDIA mérése szerint egy RTX PRO 6000 Blackwell gépen, Cosmos 3 Super FP8 használatakor az Adaptive EVS 17 százalékkal csökkentette a riasztások környezetének feldolgozási késleltetését, és 46 százalékkal növelte az egyidejű valós idejű VLM-folyamok számát. Egy 60 perces videó összefoglalásához körülbelül feleannyi időre volt szükség, miközben a VLM bemeneti tokenjeinek száma 80 százalékkal csökkent.

Az eredmények a jelenet mozgásától, a feldolgozási részek hosszától és a hasonlósági küszöbtől is függhetnek. Az EVS korábbi, rögzített ritmusú változata már elérhető a vLLM-ben és a Cosmos NIM mikroszolgáltatásaiban, az adaptív verziót azonban a VSS 3.3 valós idejű VLM-mikroszolgáltatásába integrálták.

A VSS 3.3 készségei és telepítési kódja az NVIDIA VSS Blueprint tárházából érhető el. Az NVIDIA október 1-jén, csendes-óceáni idő szerint délelőtt 9 órakor élő bemutatót is tart, amelyen egyetlen utasításból építenek fel vizuális AI-ügynököt.