A Flux 3 egy menetben készíti el a videót és a hangot

Egy modell kezeli a képet, a mozgást és a hangot

A Picsart augusztus 13-i bemutatása szerint a Flux 3 a Black Forest Labs első teljesen multimodális modellje. Az image, video és audio egyetlen architektúrában kap helyet, így a rendszer nem külön készíti el a képet, a mozgóképet és a hangsávot.

A modell egy kérésből legfeljebb 20 másodperces videoklipet és annak szinkronizált hangsávját generálja. A bemenet lehet szöveg, hang, videó, valamint legfeljebb 10 képreferencia. Ez a Picsart szerint szerkesztést, remixet és több snittből álló storyboardok készítését is lehetővé teszi.

A Flux 3 háromféleképpen indítható. A szövegből videó üzemmód csak a promptból dolgozik, a képből videó egy vagy több megadott kép köré építi fel a klipet, a videófolytatás pedig egy meglévő felvételt visz tovább. A rendszer a Picsart szerint filmes realizmusra és fizikai koherenciára törekszik, vagyis az objektumok a klip során következetesen viselkednek.

Akár 20 másodperc, 24 képkocka másodpercenként

A választható videóhosszak 5, 10, 15 és 20 másodperc, illetve az automatikus beállítás, amely a tartalomhoz igazítja az időtartamot. A kimenet minden esetben 24 képkockát tartalmaz másodpercenként. A felhasználó HD és FHD felbontás között választhat, valamint nyolc képarány közül dönthet, köztük a 21:9, a 4:3, az 1:1 és a 9:16 formátumok közül.

A hang alapértelmezés szerint be van kapcsolva, de kikapcsolható, ha néma klipre van szükség. Meglévő videó folytatásakor a kezdőfelvétel legfeljebb 15 másodperces lehet. A draft mód gyors előnézetet készít a teljes renderelés töredékéért, a kiválasztott előnézet pedig később ugyanannak a generálásnak a teljes minőségű változataként állítható elő.

A hang a képkockákkal egy menetben készül. A Picsart szerint a Flux 3 atmoszférát, fizikai interakciók hangját és több nyelven, ajakszinkronnal létrehozott párbeszédet is kezel. A képek időpontokhoz is rögzíthetők: egy kép lehet a nyitóképkocka, két kép meghatározhatja a kezdő- és végpontot, több kép pedig sorrendbe rendezett storyboardként működhet.

AI Playground a próbákhoz, Flow a sorozatgyártáshoz

A Flux 3 a Picsart AI Playground felületén választható ki, ahol a felhasználók más modellekkel is összehasonlíthatják. A Playgroundban egy jelenetként érdemes megfogalmazni a promptot, külön kitérve arra, mi történik, hogyan szól a párbeszéd, milyen atmoszféra hallható, és milyen fizikai hangok kísérik a mozgást.

A Picsart szerint legfeljebb 10 kép, valamint hang vagy videó is hozzáadható, ha egy karakter, termék vagy helyszín következetessége fontos több snitten át. A vállalat azt javasolja, hogy a felhasználók először draftot készítsenek, majd egyszerre csak egy változót módosítsanak, például a fényt, a szöveget vagy a kameramozgást.

A Picsart Flow ismételhető munkafolyamatokra szolgál. Szöveges promptokat, feltöltött képeket és hangot fogad bemenetként, a Flux 3 pedig a lánc egyik generálási lépése lehet. A folyamatba ezután átméretezés, stílusmódosítás és többféle változat készítése is beilleszthető.

A Flux 3 előnézeti modellként jelenik meg, és a képességek fokozatosan érkeznek. A Picsart szerint a szigorúan márkakötött dizájnmunka és a hosszú, folyamatos szimuláció továbbra is külön erre szakosodott eszközöket vagy modelleket igényelhet. A rendszer elsősorban olyan rövid videók készítését gyorsíthatja, amelyeknél a kép, a párbeszéd és a hanghatások egyetlen, önálló klipben jelennek meg.