A Vercel AI Gatewayre érkezett a Gemini 3.8 Live

Valós idejű hang és vizuális értelmezés

A Vercel szeptember 15-i bejelentése szerint a google/gemini-3.8-live modell valós idejű hangot, vizuális megalapozást és automatikus váltást támogat 97 nyelv között. A beszélgetés közben háttérben futó eszközhívásokat is képes kezelni, így a hangalapú interakció folytatódhat akkor is, amikor egy háttérfeladat zajlik.

A Vercel a modelleket olyan felhasználási területekre ajánlja, mint a hangasszisztensek, a társalgási élményt nyújtó alkalmazások és azok a rendszerek, amelyek hangon keresztül válaszolnak. A Gemini 3.8 Live Extended Thinking ehhez több lépésből álló következtetést ad, amely a beszéddel párhuzamosan fut.

A bővített gondolkodás beszéd közben is működik

A google/gemini-3.8-live-extended-thinking lehetővé teszi, hogy a modell a beszélgetés megszakítása nélkül jelezze a kérés fogadását, és közben elmondja, hogyan halad a feladat feldolgozásával. A forrás szerint ez a működés a több lépésből álló következtetést a beszéddel párhuzamosan kezeli.

Mindkét modell az AI SDK valós idejű API-ján keresztül használható. A fejlesztőknek telepíteniük kell a Gateway szolgáltatót és egy WebSocket-klienst. A Vercel példája a @ai-sdk/gateway és a ws csomag telepítését mutatja a pnpm add @ai-sdk/gateway@latest ws paranccsal.

WebSocketen keresztül kapcsolható be

Az integráció rövid élettartamú token létrehozásával kezdődik. Ezután a fejlesztő megnyitja a WebSocket-kapcsolatot, majd az AI Gateway modelladapterével szerializálhatja a kliensoldali eseményeket és feldolgozhatja a szerver válaszait.

A Vercel kódpéldája hangkimenetet és hangátiratot állít be, majd egy szöveges üzenetet küld a modellnek. A kliens az audiotranszkript részleteit folyamatosan feldolgozhatja, a válasz lezárásakor pedig bezárja a kapcsolatot. A Gemini 3.8 Live Extended Thinking használatakor a példában egy gondolkodási szintet vagy egy gondolkodási keretet kell megadni.

A Vercel szerint az AI Gateway egységes API-t kínál a modellek meghívásához, a használat és a költségek követéséhez, valamint az újrapróbálkozás, az átirányítás és a teljesítmény-optimalizálás beállításához. A részletesebb eseménykezeléshez a szolgáltató valós idejű gyorsútmutatót biztosít, a modellek pedig a modelljátszótérben is kipróbálhatók.