A Baseten bemutatta a gyors, valós idejű Gradium TTS-t
A Baseten elérhetővé tette Model Libraryjében a Gradium TTS beszédszintézis-modellt, amelyet valós idejű hangalapú AI-ügynökökhöz terveztek. A cég szerint a rendszer a tipikus emberi válaszidőnél gyorsabban kezdi lejátszani az első hangot.
- A Gradium TTS valós idejű AI-hangügynökökhöz készült.
- A Coval benchmarkban a medián TTFA 155 ms volt.
- A modell a teljes szövegválasz elkészülte előtt elkezdheti a beszédet.
- A CUDA Graphs kis kötegméreteknél több mint 2,5-szeres TTFA-csökkenést hozott.
- A Gradium TTS dedikált telepítésként elérhető a Baseten Model Libraryben.
155 milliszekundumos medián válaszidő
A Gradium TTS írott szöveget alakít beszéddé, és kifejezetten valós idejű AI-hangügynökök interakcióira készült. A teljesítmény egyik fontos mérőszáma a Time-to-First-Audio, vagyis a TTS-kérés elküldése és az első lejátszható hang megérkezése közötti idő.
A Baseten által ismertetett, független Coval-mérések szerint a Gradium TTS a gyorsabb az emberi beszédnél kategóriába került. A 2026. május 4-én rögzített benchmarkban a medián TTFA 155 ms volt, mindössze 2 ms-os interkvartilis terjedelemmel. A Baseten szerint ez kiszámíthatóbbá teszi a késleltetési keretek megtervezését a teljes hangügynöki rendszerben.
A beszéd már a teljes válasz elkészülte előtt elindul
A Gradium TTS nem várja meg, hogy a mögötte dolgozó szöveggenerátor, például egy nagy nyelvi modell, elkészítse a teljes mondatot. A Kyutai által fejlesztett Delayed Streams Modeling architektúra a szöveget és a hangot két, közös órajelen futó párhuzamos adatfolyamként kezeli.
A két folyam 80 milliszekundumos lépésekben halad, a hangfolyam pedig néhány lépéssel a szöveg mögött fut. Így a modell már az érkező szöveg alapján elkezdheti előállítani a hangot, miközben a következő szavakból is kap némi kontextust. A hosszabb késleltetés jobb hangminőséget és több kontextust adhat, a rövidebb pedig alacsonyabb késleltetést eredményez. A Gradium TTS ezért már az első néhány token után megszólalhat.
Minden 80 ms-os hangkeret előállításában két transzformer vesz részt. A temporális transzformer az új szövegtokent és az előző hangkeretet olvassa, majd összefoglalja, hogyan szóljon a következő keret. A mélységi transzformer ezt az összefoglalót alakítja hanggá, legfeljebb 32 tokent generálva a fontosabb jellemzőktől a finomabb részletek felé.
GPU-optimalizálás és gyorsabb skálázás
A kisebb, késleltetésre optimalizált modelleknél a GPU helyett a CPU is szűk keresztmetszetté válhat. A CPU készíti elő a bemeneteket, választja ki a GPU-kernelt, és indítja el a számításokat. A Baseten szerint a Gradium TTS ezt kernel-összevonással és CUDA Graphs használatával kezeli.
A torch.compile és a Triton több, külön kernelindítást igénylő műveletet egyetlen kernelbe von össze. A CUDA Graphs ezzel szemben egyszer rögzíti egy előrelépés teljes kernelsorozatát, majd a CPU később egyetlen újrajátszási paranccsal indítja el azt. A Baseten közzétett benchmarkjai alapján a CUDA Graphs kis kötegméreteknél több mint 2,5-szeresére csökkentette a medián TTFA-t.
A Baseten Delivery Network a forgalom hirtelen változásához igazodó skálázást támogatja. A modell súlyait telepítéskor Baseten által kezelt tárhelyre tükrözi, háromszintű gyorsítótárazást használ, és a csomópontok között koordinálja a letöltéseket. A vállalat szerint ez 2-3-szor gyorsabb hidegindítást eredményez. A Gradium TTS dedikált telepítésként érhető el a Baseten Model Libraryben.
Baseten: Delivering real-time text-to-speech with Gradium
