Az NVIDIA valós idejű AI-eszközöket jelentett be médiacégeknek az IBC-n

Valós idejű AI a médiás munkafolyamatokban

Az IBC 2026 az NVIDIA közlése szerint több mint 44 000 résztvevőt fogad több mint 170 országból, a programban több mint 1 300 kiállítás szerepel több mint 14 csarnokban és kültéri helyszínen, valamint több mint 600 előadó tart beszámolókat. A vállalat ezen az eseményen jelentette be az NVIDIA AI for Media bővítését.

Az NVIDIA AI for Media GPU-gyorsított szoftverfejlesztő készletek, NVIDIA NIM mikroszolgáltatások, playbookok és blueprint-ek gyűjteménye. A célja, hogy hang-, videó- és kiterjesztettvalóság-effekteket támogasson médiás és szórakoztatóipari munkafolyamatokban. Az NVIDIA szerint a bővítés új lehetőségeket ad a mozgás értelmezésére, a videók hitelességének ellenőrzésére és javítására, a műsorok lokalizálására, valamint AI-alapú médiaalkalmazások építésére.

A vállalat azt írja, hogy a médiacégek egyre gyakrabban építenek AI-t az élő gyártásba, sportközvetítésekbe, hírszerkesztőségi és streaming folyamatokba. Ezekben a felhasználásokban a cél lehet részletesebb teljesítményadatok kinyerése, a videók hitelességének ellenőrzése, a tartalom javítása és lokalizálása úgy, hogy közben a meglévő broadcast környezetek működése ne szakadjon meg.

Videóhitelesség, mozgáselemzés és képfeljavítás

Az NVIDIA Synthetic Video Detector, röviden SVD, NIM mikroszolgáltatás azt segíti, hogy a szervezetek megbecsüljék, egy felvétel autentikus vagy AI által generált lehet-e. Az NVIDIA szerint az eszköz egy további elemzési pontot ad szerkesztőségi, tartalomhitelesítési, digitális kriminalisztikai és médiaintegritási csapatoknak. A vállalat közlése alapján az SVD pontossága a kezdeti megjelenés óta 99,3 százalékra jutott szövegből videót készítő tartalmaknál, és 97,7 százalékra képből videót készítő tartalmaknál.

A Dalet az SVD-t biztonságos, felhőben hosztolt ellenőrzési munkafolyamatba építi hírszervezetek számára. A TwelveLabs általánosan elérhetővé tette a Compliance by TwelveLabs alkalmazást, amely a cég videóintelligencia-platformjára épül, és az SVD integrációjával képkockaszintű hitelességi jeleket és megbízhatósági pontszámokat ad a megfelelőségi ellenőrzéshez. A Wowza a Wowza Video Intelligence Frameworkön keresztül terjeszti az SVD-t, amely az NVIDIA-gyorsított infrastruktúrával élő videófolyamokat elemezhet, objektumokat, jeleneteket és AI-generálásra utaló jeleket keresve valós időben.

Az NVIDIA 3D Body Pose egyetlen kamerával rögzített videóból becsüli meg az emberi ízületek 2D-s és 3D-s helyzetét és szögeit. Sportos felhasználásnál ez játékos- és sportolómozgás-követést, biomechanikai és teljesítményelemzést, visszajátszások javítását, játékvezetői és döntéstámogató folyamatokat, játékosbiztonsági alkalmazásokat, valamint virtuális interakciókat és immerzív élményeket támogathat. A Vizrt a Body Pose technológiát élő virtuális stúdiókban használja, ahol a követett testmozgás valós idejű 3D-s fényhatásokat, például tükröződést, árnyékot és környezeti renderelést vezérel.

A Video Frame Generation generatív AI-val hoz létre új képkockákat az eredeti képkockák közé, hogy simábbnak tűnjön a mozgás. Az NVIDIA szerint 2-szeres vagy 4-szeres képkockasebesség-növelést tesz lehetővé a vizuális minőség és az időbeli konzisztencia megőrzése mellett. A Ross Video a VFG-t a Rio Replay platformba építi, AI-asszisztált lassított videók készítésére sportprodukciókhoz. A munka 6-szoros lassítás létrehozását támogatja, és fejlesztés alatt áll a 8-szoros interpoláció.

Az NVIDIA Video Super Resolution AI-t használ a videók felskálázására, miközben csökkenti a zajt, az elmosódást és a tömörítési hibákat. Az új streaming módokkal a fejlesztők a valós idejű teljesítmény és a magasabb képminőség között választhatnak, a beállítható vezérlők pedig a kívánt javítási szint elérését segítik. A VSR 10 bites videótámogatást is kapott, és a NVIDIA Video Effects SDK-n, valamint NIM mikroszolgáltatáson keresztül érhető el. Az NVIDIA TrueHDR valós időben alakít standard dinamikatartományú videót nagy dinamikatartományú kimenetté, körülbelül 2 000 nitig, a helyi kontraszt megőrzésével és a tartalomhoz igazított fényerővel.

Lokalizáció és hangjavítás meglévő adáskörnyezetekben

Az NVIDIA LipSync és Active Speaker Detection NIM mikroszolgáltatások lokalizációs rendszerek építését támogatják olyan műsorokhoz, ahol több ember is megjelenhet a képernyőn, például interjúkhoz, hírekhez, sporthoz és szórakoztató tartalmakhoz. A LipSync a bemeneti videó szájmozgását egy cél hangsávhoz igazítja, miközben az NVIDIA szerint megőrzi a természetes fejtartást, pislogást és testmozgást. Az új kiadás javítja az arc takarásának kezelését, és jobban megőrzi a fogak, az ajkak és az arc textúráit.

Az új Active Speaker Detection NIM mikroszolgáltatás több hangsáv esetén már nem igényel beszélőszétválasztást, hozzáadja a hangaktivitás-észlelést, és gRPC felületen, valamint szélesebb GPU-kompatibilitással bővíti a NIM mikroszolgáltatás telepítési támogatását. Az NDI az NVIDIA AI for Media, köztük a NVIDIA LipSync NIM mikroszolgáltatás használatával valós idejű fordítást, ajakszinkronizált szinkront és regionális nyelvi adaptációt tesz lehetővé meglévő broadcast munkafolyamatokban.

A Studio Voice új Microphone Profiles képességet kapott, amely NVIDIA Studio Voice NIM mikroszolgáltatásokra épül. A funkció célja a háttérzaj elnyomása, a helyiség-visszhang csökkentése és a beszédérthetőség javítása, majd a javított kimenet formálása egy kiválasztott mikrofonprofil karaktere szerint. Az NVIDIA ezt élő kommunikációhoz, streaminghez, podcastinghoz és tartalomkészítéshez szánja.

Nyíltabb élő médiás infrastruktúra felé

Az NVIDIA a Holoscan for Media és a Media Exchange Layer, röviden MXL, integrációjáról is beszámolt. A Holoscan for Media nyílt referenciaarchitektúra és fejlesztői eszközkészlet AI-alapú médiafunkciók és alkalmazások építéséhez szoftveralapú élő produkciókban. Az MXL nyílt módot ad arra, hogy a szoftveres médiafunkciók élő videót, hangot és adatot cseréljenek elosztott környezetben.

Az NVIDIA szerint ahogy a produkciós funkciók szoftverbe költöznek, a fejlesztők olyan alkalmazásokat építhetnek, amelyek közös gyorsított infrastruktúrán osztoznak, dinamikusan kapcsolódnak egymáshoz és önállóan fejlődnek. Ez segítheti a médiacégek infrastruktúrájának hatékonyabb használatát, az új képességek gyorsabb bevezetését, valamint csökkentheti az alkalmazások közötti egyedi integrációk mennyiségét.

Mit jelenthet ez a médiacégeknek és a nézőknek

Az NVIDIA bejelentése alapján a vállalat a valós idejű AI-t a meglévő broadcast, streaming és sportprodukciós folyamatokba próbálja beilleszteni. A hangsúly nem X, hanem Y: nem önálló demóeszközökön, hanem integrálható mikroszolgáltatásokon, SDK-kon és partneri munkafolyamatokon van.

A médiacégek számára ez gyorsabb videóellenőrzést, automatizáltabb megfelelőségi vizsgálatot, simább lassításokat, jobb minőségű felskálázást, valós idejű HDR-átalakítást és többnyelvű tartalomkészítést jelenthet. A nézők ebből a forrás alapján jobb minőségű képet, természetesebb mozgású visszajátszásokat és több nyelven elérhető tartalmakat tapasztalhatnak, miközben a szerkesztőségi csapatok új eszközöket kapnak az AI-val készült vagy módosított videók felismeréséhez.