98 százalékos teszteredménnyel váltott hangalapú AI-ügynököt a Serve AI

Egyre összetettebb lett a régi rendszer

A Serve AI terepi szolgáltatócégek számára kínál mesterséges intelligenciára épülő telefonos ügynököket. Ezek a bejövő hívásokat kezelik, amelyek egyébként ügyfélszolgálati központba kerülnének. A LiveKit 2026. október 8-án közzétett beszámolója szerint a Serve egyik legnagyobb ügyfele egy évente körülbelül 150 millió dolláros árbevételt elérő kártevőirtó vállalat, amely 100 fős ügyfélszolgálati központra 8 millió dollárt költött.

A Serve rendszere ma a bejövő hívások teljes körét kezeli. Ide tartozik az ügyfélszámlák lekérdezése, a jogosultságok ellenőrzése, az időpontfoglalás, a számlázás és a lemondás is. Ha szükséges, a hívást emberi ügyintézőhöz kapcsolja.

A vállalat eredetileg Retellre építette az ügynököt, amelyben a működés egy beszélgetési folyamatábrában kapott helyet. Egyetlen ügyfélnél ez az ábra 224 csomópontra és több mint 600 kapcsolatra nőtt. Anthony Rassi, a Serve technológiai vezetője szerint egyetlen módosítás elvégzése ekkor már egy teljes napot vehetett igénybe.

Egyetlen prompttal váltották ki a folyamatábrát

Rassi ezért úgy döntött, hogy a teljes folyamatot egyetlen, LiveKitre épülő promptba sűríti, és minden fordulóban a megfelelő eljárást adja át az ügynöknek. A LiveKit szerint ez akkor vált megvalósíthatóvá, amikor a kisebb és gyorsabb modellek elég fejletté váltak. Rassi korábban olvasta a LiveKit Gemmával működő, késleltetésre optimalizált hangalapú ügynökökről szóló írását, és azt vizsgálta, hogy egy ilyen gyors modellen futó, egyetlen promptot használó ügynök képes-e megtartani a folyamatábra által kikényszerített viselkedést.

A fő nehézséget nem az új ügynök megírása jelentette, hanem annak ellenőrzése, hogy az új rendszer mindent ugyanúgy elvégez-e, mint a régi, és megfelel-e a Serve változó igényeinek. Rassi a LiveKitnek azt mondta: „Amikor az egyik ügynök-architektúráról egy másikra váltasz, meg akarsz győződni arról, hogy a második legalább olyan jól működik, mint az első, ideális esetben pedig jobban. Ennek megismerésére szolgálnak az Agent Simulations.”

A Serve korábban Hammingen futtatta az értékeléseit, és a Covalt, valamint a Bluejayt is megvizsgálta. Rassi szerint ezeknél több integrációs munkára lett volna szükség, többek között külső tesztelési rendszereket kellett volna LiveKit-szobákhoz kapcsolni.

Valódi hívásokkal mérték az új ügynököt

Az Agent Simulations segítségével a Serve közvetlenül az ügynökkel szemben határozhatta meg és futtathatta a teszteket. A csapat mintegy száz olyan éles hívást választott ki, amelyet korábban a Retell-alapú ügynök kezelt. Claude segítségével mindegyikből szimulációs forgatókönyvet készített, majd az újraírt rendszert lefuttatta a teljes készleten.

A tíz és tizenöt közötti iteráció során a Serve addig módosította a promptot, amíg a tesztcsomag 98 százalékos megfelelési arányt nem ért el. A medián fordulókésleltetés 1,3 másodperc lett, szemben az 1,5 másodperces felső határral. Ezután élesítették az új ügynököt.

Az első ügyfél migrációja egy hétig tartott, visszaállításra nem volt szükség. A LiveKit beszámolója szerint az új rendszer a Retell teljesítményével nemcsak elérte a paritást, hanem 15 százalékkal növelte a kezelő nélküli hívások arányát is. A Serve becslése szerint ez az ügyfélnek évente további 320 ezer dollár megtakarítást jelent.

A javulást a cég az új architektúrához köti. A régi folyamatábrában előfordulhatott, hogy egy időpontfoglalási csomópontnál tartó hívó hirtelen számlázási kérdést tett fel, amelyre nem volt előre meghatározott útvonal. Ilyenkor az ügynök improvizálhatott. Az egyetlen prompttal a teljes eljárás minden fordulóban rendelkezésre áll, így az ügynök megbízhatóbban tudja kezelni az ilyen váltásokat. A szimulációk pedig lehetővé tették, hogy a Serve valódi hívásokon ellenőrizze az új működést, majd csak a 98 százalékos eredmény elérése után terelje át a forgalmat.