Hét tanulság a valódi hangalapú ügynökök építéséről
A bemutatón jól működő hangalapú AI-ügynököt gyorsan össze lehet rakni, éles környezetben azonban a hangposta, a megszakítások, a késleltetés és a bizalom komoly kihívást jelent. Az AssemblyAI és a LiveKit New York-i eseményén két, eltérő célú rendszer fejlesztői osztották meg tapasztalataikat.
- A Boardy és a Flagler Health eltérő célú, mégis hasonló élesüzemi problémákkal találkozik.
- A Boardy szabadabb, a Flagler Health szigorúan irányított beszélgetéseket használ.
- Mindkét rendszer az első mondatban közli, hogy AI beszél a hívóval.
- A több résztvevős beszélgetésekben a megszólalás időzítése különösen nehéz.
- Az AssemblyAI szerint az ügynök kontextusának átadása 10,2 százalékkal csökkentette a szóhibaarányt.
Két különböző alkalmazás, hasonló problémák
Az eseményt az AssemblyAI és a LiveKit közösen rendezte New Yorkban. A beszélgetésben Owen Gretzinger, a Boardy mérnöki vezetője, Dylan Wight, a Flagler Health szoftvermérnöke, valamint Ryan Seams, az AssemblyAI ügyfélmegoldásokért felelős alelnöke vett részt.
A Boardy egy olyan szolgáltatás, amely alapítók, befektetők, ügyfelek és tehetségek között hoz létre kapcsolatokat egy nagyjából 200 000 fős hálózatban. A platform telefonon és szöveges üzenetben is elérhető. A Flagler Health mozgásszervi ellátást támogató AI-platformot épít. Hangalapú ügynökei bejövő időpont-egyeztető hívásokat kezelnek, valamint a beavatkozások előtt felhívják a pácienseket, hogy átadják a gyógyszerekre, étkezésre és a beavatkozás napjára vonatkozó tudnivalókat.
A két rendszer eltérő felhasználóknak és eltérő célokra készült, mégis ugyanazokkal a gondokkal találkozik: a bizalom, a beszélgetési fordulók kezelése, a megszakítások, a késleltetés, a tesztelés és a memória mind éles helyzetben válik igazán nehézzé. Mindkét csapat LiveKitet használ a valós idejű réteghez. A Boardy az AssemblyAI beszédfelismerését használja folyamatos átíráshoz, a Flagler pedig minden híváson teljes AssemblyAI-átírást futtat.
Nincs egyetlen helyes beszélgetési minta
A Boardy számára a beszélgetés szabadsága maga a termék része. Minél többet beszél valaki a céljairól és prioritásairól, annál jobb bemutatkozást tud létrehozni a rendszer. A vállalat szerint a javasolt bemutatkozások több mint 50 százaléka már valódi találkozóhoz vezet.
A Flagler Health ezzel szemben szigorú forgatókönyvet követ. A rendszer adatokat kérhet be, például e-mail-címet, telefonszámot vagy biztosítási információt, illetve meghatározott műtét előtti utasításokat adhat át. Ha a beteg eltér a beszélgetés menetétől, a hívás emberhez kerülhet. A cég szerint különösen fontos, hogy az ügynök ne kezdjen orvosi tanácsot adni.
A beszélgetés tanulsága szerint az ügynök viselkedését a hívó személye és a hívás célja alapján kell megtervezni. Ami a Boardynál hasznos rugalmasság, az egy klinikai hívásban könnyen hibává válhat.
A bizalomhoz az azonnali azonosítás is hozzátartozik
A Flagler Health úgy döntött, hogy minden hívás első mondatában közli: a beszélgetőpartner AI. A bemutatkozásban az ügynök megnevezi magát, és elmondja, hogy a klinika AI-asszisztense. A cég korai hívásaiban előfordult, hogy a páciens csak a beszélgetés végén kérdezte meg, emberrel beszél-e. A fejlesztők szerint ez nagyobb bizalomvesztést okoz, mint az előzetes tájékoztatás.
A Boardy szintén jelzi, hogy AI-ról van szó, csak közvetlenebb módon. A rendszer gyakran azzal nyit, hogy megkérdezi, ez-e a hívott személy első telefonbeszélgetése egy AI-jal. A résztvevők szerint a nyílt közlés után a fejlesztők arra összpontosíthatnak, hogy jó legyen a beszélgetés.
A Flagler tapasztalatai szerint a technikai telefonos háttér legalább ilyen fontos. A kimenő hívások jelentős része hangpostára fut, a nem megfelelően beállított hívóazonosító pedig spamként jelenhet meg. Egy jól működő ügynök sem tud beszélgetést kezdeni, ha a páciens nem veszi fel a hívást.
A késleltetés és a megszakítások élesben válnak döntővé
Gretzinger szerint az egy az egyben zajló telefonbeszélgetésekben a beszélgetési fordulók kezelése már nagyrészt megoldott. A nehezebb feladat a több résztvevős hívásoknál jelentkezik, például amikor a Boardy Google Meet-megbeszélésekhez csatlakozik. Ilyenkor a rendszernek el kell döntenie, hogy valóban hozzá intéztek-e egy kérdést.
A Boardy ezt egy osztályozóval kezeli, amely a korábbi beszélgetés alapján dönti el, megszólaljon-e az ügynök. Közben egy másik folyamat előre elkészíti a válaszokat, hogy a rendszer azonnal reagálhasson. Gretzinger szerint körülbelül egy másodperc alatt már beszélgetési résztvevőként tud működni egy ügynök, a Boardy pedig a másodperc alatti késleltetést tekinti saját céljának.
A Flagler más jellegű kockázattal szembesül. Az ügynök tudja, mit akart elmondani, de nem tudja, hogy a beteg a megszakítás előtt pontosan meddig hallotta az utasítást. Ezért az instrukciókat kisebb részekre bontják, megszakítás után pedig újraindíthatják az egész blokkot. Ez ismétlődést okozhat, az előrelépés pedig azzal járhat, hogy a beteg kihagy egy fontos részt.
Az AssemblyAI rendezvényén bemutatott Universal-3.5 Pro Realtime egyik funkciója az ügynök saját kérdésének átadása az átírási kérésben. A vállalat 20 000 hangalapú ügynökhangfájlon végzett benchmarkja szerint ez 10,2 százalékkal csökkentette a szóhibaarányt, különösen rövid vagy nehezen érthető válaszoknál.
