GPT-Live-1 az API-ban: természetesebb hangos AI-ügynököket ígér az OpenAI

Egy modell kezeli a hallgatást és a beszédet

Az OpenAI szerint a GPT-Live-1 fő ígérete, hogy természetesebb hangos élményt adhat az API-t használó fejlesztőknek. A modell egyszerre képes figyelni és beszélni, valamint a hozzá kapcsolt modelleknek és eszközöknek átadhat összetettebb következtetési és cselekvési feladatokat.

A vállalat kiemeli a megszakítások kezelését. A GPT-Live-1 egyetlen modellben értelmezi a bejövő és kimenő hangot, így az OpenAI szerint elkerülhetők azok a késleltetések és sérülékeny átadások, amelyek a beszédfelismerésből, nagy nyelvi modellből és beszédszintézisből összeláncolt rendszereknél jelentkezhetnek.

A forrás szerint a korai értékelésekben a Speak azt tapasztalta, hogy a GPT-Live-1 több gondolkodási időt adott a nyelvtanulóknak, mielőtt a nyelvi tutor válaszolt volna. Ez majdnem 80 százalékkal csökkentette a megszakításokat a korábbi, körökre épülő rendszerekhez képest.

Testreszabható hangügynökök és háttérben futó feladatok

Az API-s kiadásnál az OpenAI olyan képességekre helyezte a hangsúlyt, amelyekkel a fejlesztők a felhasználókhoz, munkafolyamatokhoz és célokhoz igazíthatják a hangos élményt. A GPT-Live-1 rendszerutasításon keresztül alakítható hangnem, beszédtempó és társalgási stílus szerint.

A modell jobban kezeli a háttérzajt és a csendet is, a közlemény szerint anélkül, hogy megszakítaná a beszélgetést vagy minden lépést hangosan narrálna. Az OpenAI hosszabb munkameneteknél is jobb kontextusmegőrzést és társalgási minőséget említ.

A GPT-Live-1 képes a mélyebb következtetést és az eszközhívásokat háttérben futó szöveges modelleknek átadni, például GPT-6 Astra vagy külső modell felé. A fejlesztők választhatják meg, milyen modellek, eszközök és ügynökkeret működik a beszélgetés mögött. Az OpenAI példaként említi, hogy egy fejlesztő a GPT-Live-1-et nagy volumenű feladatokra, például időpont-egyeztetésre vagy rendelési frissítésekre Luna modellel, összetett ügyfélesetekre pedig Astra modellel párosíthatja.

A modell natívan ad ASR-átiratokat és válaszszöveget, erős alfanumerikus megértést kínál, és támogatja a kulcsszóalapú torzítást. Bár a GPT-Live-1 nem körökre épülő modell, natívan támogatja a fordulódetektálást, így a fejlesztők továbbra is építhetnek explicit beszélgetési határokra.

Mérések, telefonos használat és új hangok

Az OpenAI saját értékelései szerint a GPT-Live-1 a Full Duplex Bench teszten 30 százalékponttal javítja a teljesítményt a GPT-Realtime-2.1-hez képest, jelentős nyereséggel a válaszváltási késleltetésben és az interaktív viselkedésben. GPT-6 Astra háttérmodellel, közepes következtetési erőfeszítés mellett a vállalat szerint első helyen áll a Tau3 teszten, amely végponttól végpontig tartó feladatokon méri a hangos ügynökök intelligenciáját.

A közlemény több értékelési területet is felsorol. Ezek között szerepelnek beszélt ügyfélszolgálati feladatok légitársasági, kiskereskedelmi és telekommunikációs területen, banki támogatás tudáslekéréssel és fiókeszközökkel, valamint a szünetek, megszakítások, háttérbeszéd, visszajelző hangok és eszközhasználat kezelése.

A GPT-Live-1 telefonos támogatást is kapott, így teljes duplex hangügynökök telepíthetők telefonhívásokhoz. Az OpenAI példái a vendéglátóhelyi foglalásoktól az ügyfélszolgálatig terjednek. A vállalat a Yelp Host példáját is említi, ahol a GPT-Live-1 háttérzaj, mellékbeszélgetések és megszakítások mellett kezeli a foglalást.

Az OpenAI a hangválasztékot is bővíti. A GPT-Live-1-gyel a korábbi, kisebb valós idejű hangkészletnél szélesebb kínálatot ad akcentusok, dialektusok és nyelvek mentén. A vállalat azt írja, hogy a következő hónapokban tovább bővíti a hangopciókat és a nyelvi elérhetőséget.

Elérhetőség és jelentőség a fejlesztőknek

A GPT-Live-1 az OpenAI szerint már elérhető az API-ban. Az ár a front-end hangrétegre percenként 0.05 dollár. A fejlesztők ezt a réteget a termékükhöz illő háttérmodellel és ügynökkerettel párosíthatják.

Egyedi hanghozzáféréshez az OpenAI az értékesítési csapat megkeresését javasolja, ahol az érdeklődők az alkalmasságról és az igénylési folyamatról kaphatnak információt. A vállalat az OpenAI Presence-t is megemlíti mint a GPT-Live-1-re épülő hangos munkafolyamatok másik módját. A Presence valós idejű hanginterakciókat hajt meg, és vállalati AI-ügynökök telepítését támogatja kérdések megválaszolására, ügyek megoldására, vállalati rendszerek használatára, jóváhagyott műveletekre és emberhez eszkalálásra.

A hír a fejlesztőknek főként architekturális szempontból fontos. A forrás alapján a GPT-Live-1 csökkentheti a külön beszédfelismerő, következtető és beszédszintetizáló elemek összehangolásának terhét, miközben megmarad a választás szabadsága a háttérmodellek és eszközök között. Ez különösen azoknál az alkalmazásoknál számíthat, ahol a felhasználók természetes beszédtempóban, megszakításokkal, szünetekkel és háttérzaj mellett kommunikálnak.