Agentikus videós képességeket kapott az NVIDIA JetPack 7.2.1

Pythonos hardveres videokódolás Jetsonon

Az NVIDIA közlése szerint a videó a Jetson alkalmazások egyik alapvető adatútja, a robotikától és intelligens videóelemzéstől az ipari automatizáláson, egészségügyön és médiamunkafolyamatokon át a távoli műveletekig. Egy ilyen rendszer több kamerát is kezelhet, hálózati streameket dekódolhat, AI-inferenciát vagy hagyományos gépi látási feldolgozást futtathat, eredményeket rajzolhat a képre, majd videót kódolhat tároláshoz vagy továbbításhoz.

A JetPack 7.1 már elhozta az NVIDIA Video Codec SDK támogatását Jetson Thor rendszerekre, közvetlen C és C++ hozzáféréssel az NVIDIA Video Encoder, NVENC, és NVIDIA Video Decoder, NVDEC, egységekhez. A JetPack 7.2.1 ehhez képest először támogatja Jetsonon a PyNvVideoCodec 2.2-t, amely az NVIDIA Python könyvtára hardveresen gyorsított videókódoláshoz és dekódoláshoz NVIDIA GPU-kon.

A PyNvVideoCodec GPU-n rezidens eszközmemóriában állít elő és fogyaszt videóképkockákat, DLPack protokollon és CUDA device buffereken keresztül. A könyvtár AI-csővezetékekhez illeszkedő funkciókat is tartalmaz, köztük többmódú képkocka-mintavételezést és ThreadedDecoder komponenst, amely háttérszálon előre dekódolja a képkockákat. Az NVIDIA szerint ez javítja a csővezeték hatékonyságát, mert szétválasztja a dekódolási késleltetést az inferencia késleltetésétől.

Agentikus videós munkafolyamatok a kodekek fölött

A JetPack 7.2.1 új, alapozó agentikus videós készségeket is bevezet a Video Codec SDK és a PyNvVideoCodec fölé. Az NVIDIA leírása szerint az SDK-k programozható videós primitíveket adnak, míg a készségek a fejlesztő célját kapcsolják össze az élő eszközfelderítéssel, a támogatott konfigurációkkal, a működő receptekkel, a futtatással, a méréssel és a reprodukálható bizonyítékokkal.

A forrás példája szerint egy olyan kérdésre, hogy hány H.264 1080p30 streamet tud futtatni egy adott Jetson alacsony késleltetésű használatra, nem lehet pusztán kódgenerálásból vagy adatlapból válaszolni. A válasz függ a telepített szoftvertől, a célrendszer tényleges kodekképességeitől, a memóriaúttól és egy kontrollált futtatástól, amely igazolja a késleltetést és az áteresztőképességet.

A Jetson video skills ezt a fejlesztői szándékot ismételhető kodekmunkafolyamattá alakítja. A rendszer megvizsgálja a célplatformot, kiválaszt egy támogatott Video Codec SDK vagy PyNvVideoCodec utat, tesztelt konfigurációt generál, lefuttatja azt, majd mért eredményeket, figyelmeztetéseket és bizonyítékokat ad vissza.

A JetPack 7.2.1-ben ezek az alapvető videós munkafolyamatok az egységes jetson-videosdk készségen keresztül érhetők el. A fejlesztők külön is meghívhatják az egyes munkafolyamatokat, vagy kombinálhatják őket egy nagyobb csővezeték kodeklépéseinek beállításához és ellenőrzéséhez.

Mit tudnak az új Jetson video skills funkciók

Az NVIDIA négy fő területet emel ki az új készségeknél. Az első a felderítés, beállítás és képességjelentés: a rendszer azonosítja a Jetson platformot és a telepített szoftvert, támogatott beállításhoz ad útmutatást, valamint lekérdezi az élő célrendszeren az encode és decode kodekeket, formátumokat, memóriautakat és munkamenet-képességeket.

A második terület az enkóderreceptek létrehozása. A készségek olyan célokat fordítanak konkrét beállításokká és futtatható Video Codec SDK vagy PyNvVideoCodec útvonalakká, mint az alacsony késleltetés, az állandó minőség, a korlátozott bitráta, a felbontás, a képkockasebesség és a kodekválasztás.

A harmadik funkciócsoport a teljesítmény és a minőség benchmarkolása. A rendszer ismételhető méréseket futtat az áteresztőképességre, késleltetésre, kihasználtságra, bitrátára és kimeneti minőségre. A negyedik a kodekmunkafolyamat validálása, amely összekapcsolja a beállítást, a receptválasztást, az encode vagy decode lépést, a mérést és az artefaktumok átadását, majd visszaadja a konfigurációt, eredményeket, figyelmeztetéseket és a reprodukcióhoz szükséges bizonyítékokat.

Az NVIDIA külön jelzi a hatókört is: a JetPack 7.2.1 videós készségei a Video Codec SDK-t és a PyNvVideoCodecet fedik le. Ebben a kiadásban nem adnak GStreamer, V4L2, AI-modell vagy alkalmazásszintű csővezeték-építő készségeket. A vállalat szerint a jövőbeli kiadások további Jetson készségekkel bővítik majd ezt az alapot.

T3000 emuláció és fejlesztői jelentőség

A JetPack 7.2.1 másik újdonsága a Jetson T3000 teljesítményének emulációja. Az NVIDIA szerint ez egy Jetson T5000 modulon használható a Jetson Thor AGX Developer Kit részeként, így a fejlesztők elkezdhetnek dolgozni a nemrég bejelentett T3000 platformra.

A bejelentés gyakorlati súlya abban van, hogy a videós alkalmazásoknál nem elég egy támogatott kodeket kiválasztani. A fejlesztőnek az adott Jetson eszközön kell igazolnia, hogy a választott interfész, kodek, pixelformátum, memóriaút, rate control és pufferelés együtt teljesíti a késleltetési, áteresztőképességi és minőségi célokat.

A PyNvVideoCodec mintapéldái és a Jetson video skills együtt olyan munkafolyamatot adhatnak, amelyben egy kódolóasszisztens előbb ellenőrzi a platformot, a szoftvert és a kodekképességeket, majd kiválasztja a dekódert, a kimeneti formátumot, a memóriautat és a pufferelést. Ezután a PyNvVideoCodec minta háttérszálon készítheti elő a képkockákat, és keretrendszer-tensoroknak adhatja át őket, alkalmazásspecifikus kodekpuffer-kód nélkül.

A fejlesztő ezután saját döntése szerint illesztheti be az előfeldolgozást, detektálást vagy osztályozást, adatvédelmi szűrést, például elmosást, vizualizációt és kimenetkezelést. A készség a kodek konfigurációját, a futás állapotát, az áteresztőképességet, a késleltetést, a kihasználtságot, a figyelmeztetéseket és a bizonyítékokat rögzíti, vagyis a JetPack 7.2.1 elsősorban a videós AI-csővezetékek kodekszakaszainak beállítását és ellenőrzését teszi jobban reprodukálhatóvá.