A Visko élő videóvilág-modellje már valós időben fut TPU-kon

Folyamatosan változó videóvilágot épít a Visko

A Visko Orbis modellje egyetlen szöveges vagy képi utasításból indít élő videostreamet. A néző közben újabb vezérlőutasításokat adhat, amelyek a jelenetet menet közben módosítják, a stream újraindítása és a folytonosság megszakítása nélkül.

A Google Cloud példája szerint egy tesztben a közvetítés egy kandalló mellett szundító macskával kezdődött. Amikor a néző egy tál ételt kért a jelenetbe, a tál megjelent, a macska pedig nyújtózott, felállt és nyávogott.

A Visko nyilvános bemutatója 2026. szeptember 1-jén indult. A vállalat az ilyen modellek lehetséges felhasználási területei között az interaktív szórakoztatást, az élő kereskedelmet, az AI-társakat, a magával ragadó oktatást és a robotikai szimulációt említi.

A valós idő szigorú határidőt jelent

Egy hagyományos videógenerátornál a felhasználó elküldi a kérést, majd megvárja a kész klipet. Egy élő világmodellnél minden új videórészletnek és a hozzá tartozó hangnak el kell készülnie, mielőtt a néző lejátszaná az előző részt. Ha a feldolgozás lemarad, a világ megáll.

Az Orbis minden videórészletet 1664x936 felbontásra, másodpercenként 18 képkockával skáláz fel, miközben a rendszer zajtalanítja a videót, dekódolja a látens reprezentációkat és hangot generál. A munkát nehezíti, hogy egy stream egyetlen néző interaktív munkamenete, ezért a késleltetés kötegelt feldolgozással nem rejthető el. Emellett minden részlet az előzőtől függ, mivel a modell a korábbi videólátens elemekből tartja fenn a mozgás folytonosságát.

Harminc nap alatt került TPU-ra a teljes feldolgozási lánc

A Visko 2026 augusztusában kezdett együtt dolgozni a Google Cloud TPU-mérnökeivel. A közlemény szerint 30 napon belül a teljes multimodális lánc valós időben futott a TPU-kon.

A csapat a videódiffúziós modellt, a szuperfelbontású felskálázót és a hanggenerátort egyetlen Cloud TPU-szeleten futtatja BF16 pontossággal. A modellek egymás után használják ugyanazt a hardvert minden videórészlet feldolgozásakor. A megoldás szoftveres alapját a JAX, a PyTorch-modellek TPU-s futtatását segítő torchax és a TPU-khoz készült egyedi kernelprogramozási nyelv, a Pallas adja.

A Google Cloud szerint a teljes lánc 1,07-szeres lejátszási sebességgel renderel. A mérnökök a feldolgozás egyes szakaszainak elemzése után körülbelül 7 százalék tartalékot is fenntartottak a streaming közbeni ingadozások kezelésére.

A fejlesztők számára új infrastruktúra-minta rajzolódik ki

A videófeldolgozás számítási igényének közel kétharmadát a zajtalanítás adja, ezért a csapat elsősorban ezt a szakaszt optimalizálta. Az egyik technika az Ulysses kontextuspárhuzamosság, amely a videó tokenjeit osztja szét a TPU-k között, így kötegelt feldolgozás nélkül is megosztható a munka.

A figyelemszámításhoz a MaxDiffusion nyílt forrású könyvtárból származó Pallas splash attention kernelt használták. Ez a teljes figyelemmátrix helyett kisebb csempékkel dolgozik, amelyek a gyors, lapkán belüli VMEM memóriában maradnak.

A Google Cloud és a Visko együttműködése azt mutatja, hogy egy induló vállalat meglévő PyTorch-komponensekből is felépíthet TPU-kon futó, alacsony késleltetésű élő generatív rendszert. A hangsúly ebben a feladatban nem az átlagos áteresztőképességen, hanem azon van, hogy minden egyes videórészlet időben elkészüljön.