Pika H3 Flex: nyílt súlyokkal érkezik a valós idejű videógeneráló modell

A MiniMax H3-ra épülő modell gyorsabb generálást ígér

A Pika H3 Flex a MiniMax H3 utólagosan tanított változata. A Pika csapata finomhangolással és jutalmazáson alapuló optimalizálással fejlesztette tovább egy, esztétikai minőség alapján összeállított belső adathalmazon.

A vállalat szerint a modell valós időben generál videót, vagyis a késleltetés rövidebb lehet a létrehozott videó hosszánál. A Pika H3 Flex egy 15 másodperces, szinkronizált hanggal készült, 768p felbontású klipet akár hét másodpercnyi transzformátorszámítással is elkészíthet.

A Pika közlése szerint a modellt úgy alakították át, hogy a MiniMax H3 eredeti 50 lépése helyett hat lépésben generáljon. A cég technikai értékelése alapján a Pika H3 Flex a nyílt forrású szövegből videót készítő modellek között az első helyen áll, egy másik, a DesignArena szövegből videót készítő ranglistáján pedig az összesített hetedik helyet foglalja el.

Akár 12 referencia és öt külön hangsáv

A modell szöveges, képi és referencia alapján vezérelt videógenerálást támogat. Egy generálásban legfeljebb 12 referenciafájl használható, ezek között lehetnek képek, videók és hanganyagok is. A Pika példái szerint különböző forrásokból lehet átvenni egy karaktert, egy világot vagy egy mozgást, majd ezeket egyetlen videóban összeállítani.

A Pika H3 Flex 480p és 4K közötti kimeneti felbontásokat támogat. A generált hangsáv mellett öt külön szerkeszthető hangsávot ad: párbeszédet, zenét, hangeffekteket, zörejeket és környezeti hangokat. A vállalat ezt a funkciót elsőként mutatja be egy videómodellnél.

A rendszerhez kapcsolódó szerkesztési feladatok között szerepel a stílusátvitel, a mozgásátvitel, a tárgyak cseréje, a karaktercsere és a kijelölt területek módosítása. A Pika bemutatói között összetett kameramozgások, több snittből álló videók, több referencia kombinációja és szelektív videószerkesztés is látható.

Nyílt súlyok, több fejlesztői hozzáférési lehetőség

A Pika H3 Flex súlyai elérhetők a Hugging Face-en, a hozzá tartozó kód pedig a GitHubon található. A modellt a Pika API-ján, ComfyUI-ban és a Diffusers keretrendszerben is használni lehet. A vállalat egyedi modellbetanítási szolgáltatást is kínál, az érdeklődő vállalati ügyfeleknek az [email protected] címen ad meg kapcsolatfelvételi lehetőséget.

A Pika által közölt ár-összehasonlítás szerint a szövegből vagy képből készülő videó generálásának kezdő költsége 0,01 dollár kimeneti másodpercenként. A referencia alapján végzett videógenerálásnál a kezdő költség 0,03 dollár másodpercenként. A táblázatokban szereplő adatok alapján a Pika H3 Flex egyszerre támogatja a 4K kimenetet, a nyílt súlyokat, a több képi, hang- és videóreferenciát, valamint a feltöltött hang alapján végzett ajakszinkront és újraszinkronizálást.

A cél a gyorsabb kreatív iteráció

A Pika a modellt elsősorban olyan alkotói munkafolyamatokra pozicionálja, amelyekben a kezdeti generálást több módosítás és újrapróbálás követi. A vállalat szerint az alacsony késleltetés, a referenciafájlok kombinálása, a külön hangsávok és a nyílt súlyok gyorsabb kísérletezést tesznek lehetővé a kezdeti ötlettől a nagy felbontású kimenetig.

A bemutatott példák között szerepel egy asztalitenisz-jelenet több előre megadott kameramozgással, egy modernista épület körül végzett folyamatos kameramozgás, valamint egy mezőt bemutató követőfelvétel. A fejlesztők és kreatív szakemberek így a Pika szerint saját munkafolyamataikba illeszthetik a modellt, illetve új alkalmazásokat is kipróbálhatnak.