Seedance 2.5: több referencia, hosszabb videók és beépített hang

A Seedance 2.5 fő újdonságai

A Krea augusztus 11-i bemutatója szerint a Seedance 2.5 a ByteDance szöveg-videó, kép-videó és referenciaalapú videógeneráló modellje. A Krea felületén szövegalapú és referencia-vezérelt generálásra használható.

A modellhez opcionális hanggenerálás is társítható. A generate_audio vezérlő egyetlen kérésben készíthet hangsávot a képpel együtt, így a szobahang, a hangeffektek vagy a szájmozgáshoz kapcsolódó hang már a jelenet részeként jelenhet meg. A hang alapértelmezés szerint ki van kapcsolva.

A Krea szerint a promptkövetésben jelentett javulás körülbelül 20 százalékos, ez azonban önmagában nem oldja meg az identitáshűséget. Ha egy konkrét ember, termék vagy helyszín megőrzése fontos, ezekhez külön referenciaanyagokat kell megadni.

A referenciák külön szerepet kapnak

A Seedance 2.5 a bemeneteket külön szerepekre osztja. A referenciák az identitást őrzik, a szöveges prompt a képernyőn történő eseményt írja le, a kezdő- és zárókép pedig a videó határait rögzíti.

A Krea példája szerint egy pusztán szöveges utasítás létrehozott egy zöld mezei kabátot viselő nőt, aki egy esős, neonfényes tésztabárba lép be, de a rendszer másik nőt, amerikai stílusú éttermet és egyszerű szürke bögrét generált. A szöveg meghatározta a hangulatot és a cselekvést, de nem rögzítette az egyes elemek pontos azonosságát.

Egy több nézetből álló karakterlappal már megmaradt a nő arca, hajvonala és zöld kabátja. A helyszín és a bögre viszont továbbra is általános maradt. A Krea gyakorlati szabálya ezért az, hogy minden fontos, változatlanul megőrzendő elemhez külön referencia szükséges.

Három célzott referenciával, egy karakterlappal, a termékfotóval és a helyszín képével a modell ugyanazt a nőt, a rézfedeles terrakotta bögrét és a neonfényes, esős tésztabárt is megőrizte egy nyolc másodperces generálásban.

Korlátok és összevetés a Seedance 2.0-val

A Krea API-jában a Seedance 2.5 egy kérésben legfeljebb 30 referencia-képet, 10 referencia-videót és 10 referencia-hangot fogad el, összesen 50 multimodális bemenetet. A klipek hossza 4 és 30 másodperc között lehet, a natív renderelési szintek pedig 480p és 720p.

A modell hat képarányt támogat, köztük a 16:9, az 1:1 és a 9:16 formátumot. Beállítható egy kezdőkép, egy zárókép és egy egész számként megadott seed. Emellett legfeljebb 12 elnevezett kép- vagy videóeffektus csatolható, a prompt javítása pedig be- és kikapcsolható.

A Krea modelloldala egy kiterjesztett béta módot is leír, amely akár 180 másodperces generálást érhet el. A Seedance 2.5-höz régiószintű szerkesztési útvonal is tartozik, amely egy arc, tárgy vagy háttér hibájának javítására szolgálhat a teljes klip újragenerálása nélkül.

A Seedance 2.0 legfeljebb 15 referenciát és 4, illetve 15 másodperc közötti klipeket kezel. Cserébe natív 1080p és 4K kimenetet kínál, egy felskálázási kapcsolóval pedig egy elkészült videó 8K-ra is felvihető. A Krea alapján a 2.5 akkor illeszkedik jobban a munkához, ha több referencia vagy hosszabb klip szükséges, míg a 2.0 előnye a magasabb natív felbontás.

Kezdő- és záróképek, hang és összetettebb jelenetek

A kezdő- és zárókép nem ugyanazt a feladatot látja el, mint a referencia. A referenciák az eszközök, szereplők és helyszínek azonosságát segítik megőrizni, a két képkocka pedig a videó vizuális kiindulópontját és célállapotát rögzíti.

A Krea bemutatójában egy éjszakai tésztabár szolgált kezdőképként, a zárókép pedig ugyanazt a helyszínt mutatta délelőtt, kikapcsolt neonfényekkel és eső nélkül. A modell így az eső elállását és a nappali fény megjelenését generálta a két rögzített állapot között.

A Krea szerint a Seedance 2.5 azokban a munkákban lehet hasznos, ahol konkrét embereknek, termékeknek és helyszíneknek kell hosszabb generáláson keresztül felismerhetőnek maradniuk. A felhasználóknak ehhez a fontos elemeket külön referenciafájllal kell megadniuk, miközben a promptot az események és a mozgás leírására használhatják.