A Black Forest Labs bemutatta a képet, videót és hangot együtt tanuló FLUX 3-at

Egy modellben egyesíti a képet, a videót és a hangot

A Black Forest Labs július 23-án mutatta be a FLUX 3-at, amelyet a vállalat a valós világ modellezésére szánt multimodális alapmodellként ír le. A rendszer egységes architektúrában tanul képekből, videókból és hangból. A cég szerint ennek célja, hogy a modell ne különálló adatformátumokat kezeljen, hanem a világ tárgyairól, mozgásáról és eseményeinek hangjáról is összefüggő reprezentációt alakítson ki.

A Black Forest Labs magyarázata szerint a kép elsősorban a térbeli struktúrákat és az adott pillanat kapcsolatait mutatja meg, a videó ehhez hozzáadja az időbeli változásokat és a fizikai dinamika jeleit. A hang olyan ok-okozati összefüggésekre is utalhat, amelyeket önmagában a látás nem érzékel. A nyelv ezeket a benyomásokat célokkal, elvonatkoztatásokkal és utasításokkal kapcsolja össze.

A FLUX 3 a vállalat Self-Flow nevű megközelítésére épül, amely a multimodális tartalom létrehozását és megértését ugyanazon architektúrán belül hangolja össze. A Black Forest Labs a modell tanításához a videó, a kép és a hang feldolgozását egyszerre skálázta fel.

Hanggal együtt készít akár 20 másodperces videókat

A FLUX 3 egyetlen generálással legfeljebb 20 másodperces, hanggal kiegészített videót tud létrehozni. Támogatja a szövegből videó készítését, a kezdőképből indított animációt, a képes referenciák használatát, valamint a videóból videóba történő átalakítást. Utóbbi esetben egy forrásvideó központi elemei, például egy karakter, új jelenetbe vagy környezetbe vihetők át.

A felsorolt képességek között szerepel a bemeneti videó és hang folytatása, a kulcsképek közötti átmenetek létrehozása, a többnyelvű párbeszéd, valamint a különböző képarányok és vizuális stílusok kezelése. A modell a Black Forest Labs szerint a kamerás felvételektől az animációkon át a filmes megjelenésig többféle stílussal is dolgozik, és az animált feliratok, illetve tipográfiai elemek létrehozásában is erős.

A vállalat előzetes összevetéseiben a FLUX 3-at 10 másodperces, 720p felbontású, hanggal ellátott szövegből videó klipekkel vizsgálták. A modell a Grok Imagine Video ellen az összehasonlítások legfeljebb 69 százalékában, a Kling v3 Pro ellen 60 százalékában kapott előnyt. A Runway Gen-4.5-tel szemben ez az arány 77 százalék, a Luma Ray 3.2-vel szemben pedig 93 százalék volt. A Black Forest Labs hangsúlyozza, hogy ezek korai, fejlesztés alatt végzett értékelések.

Képgenerálás, robotika és fokozatos bevezetés

A FLUX 3 képek szintetizálására és szerkesztésére is használható, sokféle stílussal, képaránnyal és felbontással. A Black Forest Labs szerint a köztes tanítási szakaszban végzett előzetes vizsgálatok javulást mutattak az összetett utasítások értelmezésében és a szöveg létrehozásában. A modell több nyelven is képes nagy pontosságú szöveget megjeleníteni. A FLUX 3 Image korai hozzáférését a vállalat a következő hetekben tervezi megnyitni.

A modell akciók előrejelzésére is használható. A Black Forest Labs ezt közvetlenül a FLUX 3-ba épített akció-előrejelzéssel, illetve a videós alaprendszerre finomhangolt, feladatspecifikus modellekkel közelíti meg. A korai partnerek egyike a mimic robotics, amellyel közösen fejlesztették a FLUX-mimic rendszert. Ez a FLUX 3 gerincét a robotok ügyes manipulációjához és termelési bevetéséhez kapcsolja.

A következő hetekben és hónapokban a vállalat fokozatosan tervezi elérhetővé tenni a videó- és hanggenerálást, az akció-előrejelzést, valamint a képalkotást és képszerkesztést. Ezek API-kon, privát modellhozzáférésen, kiválasztott kutatási és kereskedelmi partnereken, illetve a FLUX 3 Dev nyílt súlyú multimodális alaprendszeren keresztül jelenhetnek meg. Minden képesség korai hozzáférési szakaszon, visszajelzésgyűjtésen és biztonsági tesztelésen megy keresztül.