Valós időben készít hanghatásokat szövegből a Pika új modellje

Egy ajtócsapódástól a teljes hangjelenetig

A Pika SFX egy új, szövegből hanghatást készítő modell. A felhasználó olyan egyszerű utasítást is megadhat, mint egy üveg összetörése vagy egy rajzfilmes suhanó hang, de részletesebb leírásokkal a történés időzítését, környezetét, textúráját és hangulatát is irányíthatja.

A modell például egy nagy, üres raktárban becsapódó nehéz fémajtót és az azt követő hosszú, fémes visszhangot is előállíthatja. Több esemény egymásutánját szintén kezeli: egy pezsgősüveg dugójának kipattanását a folyadék pohárba töltése, majd a buborékok halk pattogása követheti.

A Pika bemutatása szerint a rendszer kerüli a nem kért beszédet, zenét és háttérzajokat. Ezek csak akkor jelennek meg, ha a felhasználó kifejezetten belefoglalja őket a promptba. A vállalat rétegzett hangdizájnként egy hibásan működő gép példáját is említi, amelyben fogaskerekek zaja, gőzszivárgás, elektromos szikrák és egy zörgő csavar hallható, a végén pedig egy súlyos koppanás és leállási hang következik.

A gyorsaság és a hangminőség egyszerre volt cél

A Pika szerint egy használható hanggeneráló rendszernek három követelményt kell teljesítenie: pontosan követnie kell a szöveges utasítást, jó minőségű és tiszta hangot kell készítenie, valamint gyorsan és hatékonyan kell működnie. A vállalat külön kiemeli a tiszta hangkezdeteket, a hihető akusztikát és visszhangot, továbbá azt, hogy a kész anyagban ne legyenek a prompt által nem kért elemek.

A Pika SFX egy természetes nyelvű szövegbemenetet alakít át 44,1 kHz-es, sztereó hanghullámmá. A rendszer szövegkódolója a leírásból olyan jellemzőket nyer ki, mint a hangforrások, a fizikai történések, a környezet, az időzítés, a textúra és a kreatív irány. A generatív mag egy szöveggel vezérelt diffúziós transzformer, amely tömörített akusztikai látens térben dolgozik, majd egy szemantikai és akusztikai autoencoder dekódolja a végeredményt.

A modellt három szakaszban tanították. Először folyamatillesztési célfüggvénnyel tanulja meg, hogyan lesz a zajból strukturált hang. Ezután egy hosszabb generálási folyamatot használó tanármodell tudását desztillálják egy diákmodellbe, így kevesebb következtetési lépéssel is létrehozható a hang. A végső finomhangolás válogatott, jó minőségű adatokon, emberi visszajelzéssel történik.

A Pika mérése szerint egy másodpercnél gyorsabb

A Pika 50 prompttal és modellenként 454 másodpercnyi kért hanganyaggal hasonlította össze a rendszereket. A kérések 2 és 20 másodperc közötti hangokat tartalmaztak, és többek között ütközésekre, Foley-hangokra, állatokra, természetre, járművekre, emberi hangokra, környezetekre, térbeli mozgásra és többrétegű eseménysorozatokra terjedtek ki.

A vállalat közlése szerint a helyben futtatott, teljes folyamat átlagosan 0,847 másodperc alatt készült el. Ugyanebben a mérésben az ElevenLabs v2 hosztolt API-ja átlagosan 2,47, a Stable Audio 3 SFX pedig 2,64 másodpercet ért el. A Pika szerint a mérés a CPU-feldolgozást és a fájl mentését is tartalmazta.

A hangminőséget több szempont alapján vizsgálták. A CLAPScore a hang és a prompt hasonlóságát méri, az AQAScore azt értékeli, hogy jelen vannak-e a kért események, a további mutatók pedig a tartalom használhatóságát és a produkciós minőséget vizsgálják. A Pika állítása szerint a Pika SFX érte el a legmagasabb tartalomhasználhatósági és produkciósminőség-pontszámot a tesztelt rendszerek között.

Az API-n keresztül már használható

A Pika SFX a Pika API Clubon keresztül érhető el. A fejlesztők szöveges promptokból letölthető MP3-hanghatásokat készíthetnek, 1 és 20 másodperc közötti, beállítható időtartammal. Opcionálisan negatív prompt, seed, következtetési lépésszám és guidance scale is megadható.

A szolgáltatás felhasználható egy vágás elszigetelt hanghatásának elkészítésére, részletesen leírt hangfolyamatok létrehozására, jelenetek atmoszférájának megteremtésére vagy hanggenerálás beépítésére más alkalmazásokba. A Pika a Pika Video-to-SFX rendszert is fejleszti, amely a vállalat leírása szerint magából a videóból, a látható eseményekhez és mozgásokhoz igazodva készít hanghatásokat és atmoszférát.