A Netflix automatikusan vágja mobilra a vízszintes videókat

A középre vágás helyett virtuális kamera követi a jelenetet

A Netflix szerint a függőleges videók egyre fontosabbak a vállalat számára. A streamingcég közösségi médiás fiókjainak összesen 1,2 milliárd követője van, emellett a Netflix mobilalkalmazásában nemrég elindult a Clips nevű, függőleges videófolyam is.

A korábbi munkafolyamatban a szerkesztőknek és producereknek kézzel kellett újravágniuk a vízszintes felvételeket. Ez a módszer a katalógus és a felhasználási esetek növekedésével nehezen skálázható. A Netflix ezért olyan automatizált rendszert fejlesztett, amely több képarányhoz készít változatokat, miközben a kreatív csapatok később módosíthatják az eredményt.

A 16:9-es, filmszerű felvételek mobilbarát képarányokra alakítása a Netflix megközelítésében több egy egyszerű középre vágásnál. A jelenetekben a szereplők mozoghatnak, a kamera pedig összetett módon követheti az eseményeket. A rendszer ezért egy virtuális kameraként próbálja követni a kulcsfontosságú történéseket, és a jelenet kompozíciójához igazítani a kivágást.

Három lépésben keresi meg a megfelelő képkivágást

A Netflix technológiai blogján bemutatott folyamat egyetlen menetben készít 9:16, 4:5 és 1:1 arányú kivágásokat. A vállalat szerint ez nem jár további számítási többlettel.

Elsőként egy neurális hálózaton alapuló jelenethatár-felismerő választja szét a videót önálló snittekre. Ha egy folyamatos jelenetben több szereplő beszélget a kép különböző oldalain, a rendszer az aktív beszélő felismerését is használja a jelenet logikai felosztásához. Ehhez a Netflix belső arcfelismerőjét és a LipFlap nevű technológiát alkalmazza, élőszereplős és animációs tartalmaknál is.

A második szakaszban a rendszer meghatározza az egyes képkockák legfontosabb területét. Az arcfelismerést vizuális kiemelési térképekkel kombinálja, majd több szereplő esetén olyan jeleket is figyelembe vesz, mint az aktív beszélő állapota és az arc relatív mérete. Ezekből a rendszer egy, a snitt teljes időtartamán át követhető fókuszterületet alakít ki.

A harmadik szakasz az időbeli újrakomponálás. Kis elmozdulásnál statikus vágási ablak marad a fontos területen, nagyobb mozgásnál pedig dinamikus követőablak készül. Ennek útvonalát simítják, hogy a pásztázás folyamatosnak és szándékosnak hasson, a képkockáról képkockára történő rángatózó követés helyett.

A szerkesztők módosíthatják az automatikus eredményt

A Netflix az algoritmust közvetlenül a belső Clips eszközbe építette be. A szerkesztők és producerek így a meglévő munkafolyamatuk részeként hozhatnak létre több képarányú változatokat, majd egy közös alkalmazáson belüli felületen ellenőrizhetik a kivágásokat.

A felület lehetőséget ad a snittek újrakomponálására és a célzott kézi korrekciókra is. Összetettebb jeleneteknél vagy egyedi kampányoknál a producerek XML-fájlként exportálhatják az átméretezési paramétereket, majd ezeket külső idővonal-szerkesztőkbe, például az Adobe Premiere-be tölthetik be.

A külső ügynökségek és partnerek így a Netflix algoritmusának képkivágási döntéseiből indulhatnak ki, ahelyett hogy minden vágást kézzel készítenének újra, vagy olyan eszközökre támaszkodnának, mint a Premiere Auto Reframe. A Netflix belső tesztje szerint a saját rendszere egy összeállított értékelési adathalmazon jobb eredményt ért el az Auto Reframe-nél. A vállalat ennek alapján az XML-exporttal külső munkafolyamatokba is eljuttatja a szerinte jobb minőségű kivágásokat.

A Netflix a fejlesztést a tartalomkészítés skálázhatóbbá tételére irányuló szélesebb munka részeként írja le. A cél a repetitív átméretezési feladatokra fordított idő csökkentése, a gyorsabb kísérletezés támogatása a mobilos videófolyamokban és a marketingkampányokban, valamint az alkotók kreatív kontrolljának megőrzése. A vállalat a képességeket további formátumokra és munkafolyamatokra is ki akarja terjeszteni.