Új benchmark méri, mennyire pontosak a hangalapú ügynökök

Egyszerű adatokon is elbukhat a beszélgetés

A Sierra szerint a hangalapú ügynökök egyre összetettebb beszélgetéseket tudnak kezelni, de egy hívást már egy egyszerű adat, például egy név, telefonszám vagy e-mail-cím hibás rögzítése is megszakíthat. A vállalat a τ-Voice használata során többször azt tapasztalta, hogy az ügynök rosszul rögzített egy részletet, ezért az ügyfél nem jutott át a hitelesítésen.

A 2026. október 22-én bemutatott τ-Entity ezt a problémát méri ellenőrzött körülmények között. A benchmark 200 feladatot tartalmaz, tíz entitástípussal, köztük nevekkel, telefonszámokkal, címekkel és e-mail-címekkel. Minden hívás egyetlen mezőre összpontosít, a hívó pedig együttműködő, és kérésre pontosan betűzi az adatot. A hívások többsége két percnél rövidebb.

Háromféle környezetben vizsgálják a pontosságot

A feladatok egy hiányzó értékkel kezdődnek. Az ügynöknek meg kell kérdeznie a hívót, majd helyesen be kell küldenie a kapott adatot. A siker feltétele, hogy a tárolt érték pontosan megegyezzen az elvárt értékkel.

A Sierra három tényezőt változtat a tesztekben: magának az értéknek a nehézségét, a hívó viselkedését, például a javításokat és újrakezdéseket, valamint a hangkörnyezetet. A Pass³ mutató azt jelzi, hogy az ügynök ugyanazt a feladatot sikeresen teljesíti-e normál, zajos és beszéddel terhelt környezetben is. Így külön mérhető, hogy az adat rögzíthető-e, illetve hogy a teljesítmény változó körülmények között is megbízható marad-e.

A Sierra által közölt rangsorban, amely a τ-i18n mind a hat nyelvét egyesíti, a GPT Live 1 vezet. Normál hívásokban az esetek 60,3 százalékában rögzítette helyesen az értéket, mindhárom körülményben pedig a feladatok 34,0 százalékát teljesítette sikeresen. A Gemini 3.8 Live normál környezetben 43,8 százalékot, a Grok Voice Think Fast 2.0 pedig 44,2 százalékot ért el. A három feltétel együttes teljesítésekor ezek az arányok 19,5, illetve 24,0 százalékra estek.

Angol nyelven könnyebbnek bizonyultak a feladatok. A GPT Live 1 normál hívásokban 74,0 százalékot, mindhárom környezetben 47,5 százalékot ért el. A spanyol, a portugál és a hindi eredménye közel maradt az angolhoz, a Gemini és a Grok esetében pedig meg is haladta azt. A koreai Pass³ ugyanakkor az ügynököknél 3,5 és 8,5 százalék közé, a mandarin eredménye 12,5 és 24,5 százalék közé esett.

A visszakérdezés önmagában nem elég

A Sierra τ-Elicitation című tanulmányában azt is vizsgálta, hogy az ügynökök mikor kérnek visszaolvasást vagy betűzést. A rendszerek általában alaposabban ellenőrizték a nehéz és ismeretlen entitásokat. Zajos környezetben azonban csak a Grok növelte az ellenőrzés mértékét, és egyik vizsgált rendszer sem ellenőrizte többet azt a hívói hangot, amelynél a leggyengébben teljesített.

A kutatók egy előírt ellenőrzési folyamatot is teszteltek. Ennek lépései: az ügynök kérdezzen, kérje az adat betűzését vagy visszaolvasását, erősítse meg és javítsa, ha szükséges, majd küldje be az értéket. Saját választású stratégiával a feladatok 14 és 41 százaléka sikerült mindhárom körülményben. Az előírt folyamat ezt 37 és 54 százalék közé emelte, konfigurációtól függően 14 és 31 százalékpontos javulást hozva. A hívások ugyanakkor 21 és 28 másodperccel hosszabbak lettek.

A javítás sem garantált: a kezdetben hibásan rögzített, majd ellenőrzött értékeknek csak 24 és 37 százalékát korrigálták végül helyesen. Több mező esetén a hibák összeadódhatnak. Hárommezős hívásoknál 75 százalékos egyedi mezőpontosság mellett csak 53 százalékos volt a teljes sikerarány. Egy külön összehasonlításban az egyes mezők ellenőrzése és az újrapróbálkozás lehetősége 64 százalékról 82 százalékra növelte a sikert.

A benchmark a megbízhatóság javítását célozza

A Sierra szerint a mérési eredmények két fejlesztési irányt mutatnak. Az ügynököknek jobban kell eldönteniük, mikor és hogyan ellenőrizzék az adatokat, és megbízhatóbban kell kijavítaniuk a hibákat. A hosszabb ellenőrzési folyamat növeli a pontosságot, de időigényesebb, ezért az egyik kihívás annak felismerése, mikor indokolt a többletmunka.

A τ-Entity a Sierra közlése szerint a különböző entitástípusok, hívói viselkedések és hangkörnyezetek mentén kínál ellenőrzött feladatokat a fejlődés mérésére. A benchmarkot a τ-i18n mellett vezették be, és ugyanazt a hat nyelvet fedi le. A vállalat közzétette a τ-Entity rangsort, valamint hivatkozást ad a τ-Elicitation tanulmányra.