Az NVIDIA videóelemző ügynöke már munkafolyamatokat is indít

A videóelemzéstől a végrehajtásig

Az NVIDIA Developer július 16-i bejegyzése szerint a vállalati videóelemző rendszerek önmagukban nehezen illeszthetők be a mindennapi működésbe. A videórendszerek, a vállalati tudásbázisok és az operatív eszközök gyakran elkülönülten működnek, miközben a hasznos eredményhez ezek összehangolására van szükség.

Az NVIDIA által bemutatott megközelítés célja, hogy a rendszer ne csak arra válaszoljon, mit mutat egy felvétel, hanem arra is, milyen intézkedés következzen az elemzésből. A NemoClaw a Video Search and Summarization, röviden VSS, valamint a Retrieval-Augmented Generation, vagyis RAG Blueprint működését hangolja össze. Így a videóban észlelt eseményekből jegyek, riasztások és további üzleti lépések indulhatnak.

Az NVIDIA NemoClaw nyílt blueprintek gyűjteménye autonóm ügynökök építéséhez. Az NVIDIA Blueprints testre szabható referencia-munkafolyamatokat kínál vállalati méretű ügynökalapú mesterségesintelligencia-rendszerekhez, specializált mikroszolgáltatásokkal, optimalizált modellekkel és összekapcsolható programozási felületekkel.

Felhasználói szándék, vállalati tudás és időbélyeges jelentés

A VSS streaming vagy archivált videókat dolgoz fel, feliratokat és vizuális metaadatokat készít, valamint szemantikus keresést, interaktív kérdezz-feleleket és eseményösszegzést támogat. A RAG Blueprint vállalati dokumentumokat, például kézikönyveket, szabályzatokat, előírásokat, standard működési eljárásokat és referenciaadatokat indexel egy GPU-gyorsított vektortárban.

A folyamat első lépése az ember bevonása. A rendszer kérdésekkel tisztázza, mit kell elemezni, mi a videó helyzete, mely események érdekesek, milyen objektumokat kell követni, valamint milyen tudást kell lekérni. Ezek a válaszok programozottan is megadhatók kötegelt feldolgozásnál.

Három eszköz dolgozik együtt. A hosszú videók összegzésére szolgáló eszköz a megadott szempontok alapján értelmezi a felvételt. A tudáslekérdező eszköz a RAG Blueprint segítségével kikeresi a szervezeti dokumentumokból a releváns információkat. A jelentéskészítő ezután időbélyegekkel, narratív elemzéssel, forráshivatkozásokkal és ajánlott intézkedésekkel egészíti ki az eredményt.

Egészséges étkezést elemző bemutató és Jira-jegy

Az NVIDIA egy egészséges étkezési tanácsadó példáján mutatja be a működést. A felhasználó ételkészítésről készült videót tölt fel, majd a NemoClaw végigvezeti a szükséges kérdéseken. A rendszer a táplálkozási irányelveket lekéri a RAG Blueprintből, ezeket átadja a videóelemzésnek, végül strukturált jelentést készít.

A jelentés az észlelt eseményeket időpontokkal, a referenciaanyagokra támaszkodó elemzést, a releváns dokumentumokra mutató hivatkozásokat és konkrét következő lépéseket tartalmaz. A NemoClaw ezt követően a kész elemzésből összehangolt feladatot készít: a bemutató szerint automatikusan létrehoz egy Jira-jegyet, amely összefoglalja a megállapításokat és a javasolt étrendi módosításokat, továbbá megfelelő prioritást és hozzárendelést kap.

Az NVIDIA szerint a VSS és a RAG Blueprint összekapcsolása más folyamatokat is támogathat. A rendszer például jegyeket hozhat létre, több forrás mintázatait hasonlíthatja össze, eljárások módosított változatát készítheti elő, rendellenességeket eszkalálhat, és az eredményeket további vállalati munkafolyamatokba továbbíthatja.

Vállalati alkalmazási lehetőségek

A bemutatott architektúra a videóelemzés eredményét közvetlenül a szervezeti működéshez kapcsolja. Az NVIDIA által ismertetett cél a gyorsabb válaszadás, a referenciaismeretek következetes alkalmazása, a bizonyítéktól a döntésig követhető folyamat és a rutinfeladatok automatizálása.

A fejlesztők a VSS repository klónozásával telepíthetik az ügynököt tudáslekéréssel, majd az NVIDIA Blueprints telepítőjével állíthatják be a NemoClaw környezetét. A forrás szerint a rendszer olyan meglévő eszközökhöz kapcsolható, mint a Jira vagy a Slack. A megoldást az NVIDIA Nemotron technológiája támogatja.