Az NVIDIA DeepStream 9.1 több kamerán át is követi az objektumokat 3D-ben

Közös azonosító a kamerák között

Az NVIDIA Developer július 15-én ismertetett bejegyzése szerint a DeepStream 9.1 a többkamerás videóelemzéshez kínál új képességeket. A Multi-View 3D Tracking, röviden MV3DT, a kalibrált kamerák érzékeléseit egy közös, világkoordinátákon alapuló 3D rendszerbe vetíti. A rendszer ezután a különböző nézetekben látott objektumokat összerendeli, és egyetlen, globálisan konzisztens azonosítót ad nekik.

Ez olyan helyzetekben lehet fontos, ahol egy objektum elhagyja az egyik kamera képét, majd egy másik kamerán jelenik meg. Az NVIDIA szerint az egymagában működő, kétdimenziós követés ilyenkor elveszítheti a kapcsolatot az objektummal, miközben a 3D követés a kamerák összehangolt adataira támaszkodik.

Az MV3DT háromféle kimenetet biztosít. A képernyős megjelenítés élő kameraképeket mutat 2D és 3D keretekkel, valamint a megosztott azonosítókkal. A madártávlati nézet egy felülnézeti térképen jeleníti meg az objektumok pályáját, a Kafka-alapú üzenetküldés pedig képkockánként strukturált protobuf-metaadatokat továbbít, például az érzékelő, az objektum és a 3D keret adatait.

Automatikus kamerakalibráció az AutoMagicCalibbel

Az MV3DT működéséhez a kameráknak pontosan kell leképezniük a képpontokat a világkoordinátákra. A DeepStream 9.1 AutoMagicCalib, vagyis AMC képessége ezt a kalibrációt automatizálja. A megoldás meglévő videófájlokból vagy élő adatfolyamokból elemzi a mozgó objektumok követési pályáit, majd kiszámítja a kamerák belső és külső paramétereit.

A folyamat először kameránként kinyeri a pályákat, majd egyetlen nézetben elvégzi a kalibrációt és a korrekciót. Ezután a rendszer a kamerák közötti pályákat is összerendeli, kezdeti kapaszkodóként a felhasználó által megadott illesztési pontokat és az alaprajzot használva. A végén a kamera paramétereit közösen finomítja a teljes nézetrendszerben, hogy csökkentse a vetítési hibát.

Az AMC opcionálisan a Visual Geometry Grounded Transformer, vagyis VGGT modellalapú kalibrációját is használhatja. Ez az NVIDIA szerint különösen akkor lehet hasznos, ha kevés az objektummozgás, vagy a tanult geometriai modell robusztusabb kalibrációt adhat. A felhasználónak egy alaprajzi képet és néhány, a kameraképeken, illetve a térképen kiválasztott megfeleltetési pontot kell megadnia. Az AMC mikroszolgáltatásként, REST API-kkal és webes felülettel is elérhető.

Agentikus készségek és nyílt forráskód

A DeepStream 9.1 összesen 13, kódoló ügynökökhöz készült moduláris készséget tartalmaz. Ezeket a fejlesztők olyan eszközökkel használhatják, mint a Claude Code vagy a Codex. Ahelyett, hogy kézzel futtatnák a szkripteket és szerkesztenék a konfigurációs fájlokat, természetes nyelven írhatják le a kívánt telepítést. Az ügynök kezeli többek között az előfeltételek ellenőrzését, a konténerek kezelését, a modellek letöltését és a kalibráció összehangolását.

A csomag része az MV3DT és az AMC telepítését segítő készség is. A DeepStream 9.1 támogatja az NVIDIA JetPack 7.2-t, amely a vállalat szerint gyorsított látásalapú mesterségesintelligencia-feldolgozást tesz lehetővé a Jetson Orin és Thor edge platformokon. A teljes megoldás az egységes DeepStream GitHub-tárházon keresztül nyílt forráskódú, benne a forráskóddal, referenciaalkalmazásokkal és mintadatkészletekkel.

A bejelentés a fejlesztők számára azt jelenti, hogy a többkamerás 3D követés, a kamerahálózat kalibrációja és a telepítés egyetlen DeepStream-környezetben érhető el. A kipróbáláshoz az NVIDIA a DeepStream GitHub-tárházát, a készségek dokumentációját és a DeepStream fejlesztői fórumát ajánlja.