Öt új nyelvvel bővült a Sierra hangalapú ügynököket mérő tesztje
A Sierra bemutatta a 𝜏-i18n benchmarket, amely a korábbi 𝜏-Voice tesztet spanyollal, brazil portugállal, hindivel, koreai nyelvvel és mandarinnal bővíti. A rendszer hat nyelven vizsgálja a hangalapú ügyfélszolgálati ügynökök feladatvégzését, társalgását és a megszólalások minőségét.
- A 𝜏-i18n öt új nyelvvel bővíti a 𝜏-Voice benchmarket.
- A teszt hat nyelven, azonos ügyfélszolgálati feladatokkal dolgozik.
- A feladatvégzés mellett az interakciót és a generálás minőségét is méri.
- A koreai nyelv teljesített a leggyengébben mindhárom vizsgált ügynöknél.
- A Sierra nyílt forráskódúvá tette a benchmark kódját és a LanguageFactory keretrendszert.
Azonos feladatok, eltérő nyelvi környezetek
A Sierra október 21-én ismertette a 𝜏-i18n projektet, amely a 𝜏-Voice kiterjesztése. A benchmark az angol mellett spanyol, brazil portugál, hindi, koreai és mandarin nyelven használja ugyanazokat a légitársasági, kiskereskedelmi és távközlési feladatokat. A feladatok, az alkalmazott szabályzatok, az eszközök és a siker feltételei változatlanok maradnak, így a készítők nyelvek között is össze tudják vetni a teljesítményt.
A Sierra szerint a nemzetközivé tétel önmagában nem elég a természetes ügyfélszolgálati beszélgetéshez. A helyi illesztéshez többek között a nevek, dátumok, pénznemek, termékek és megszólítások kezelését is hozzá kell igazítani az adott nyelvhez és régióhoz. A hangalapú rendszereknél ehhez társul a kiejtés, a nyelvek közötti váltás és a beszélők fordulóinak kezelése.
A nyelvi részletek a sikeres azonosítást is befolyásolhatják
A 𝜏-i18n nyelvi csomagokra épül. Ezekben anyanyelvi beszélők határozhatják meg az adott helyhez illő hívóazonosságokat, adatbázisrekordokat, személyiségeket, hangokat, beszédszokásokat és értékelési szabályokat, miközben az alapul szolgáló szolgáltatási feladatok azonosak maradnak.
A Sierra példája szerint a koreai és mandarin nyelvű hívók jellemzően először a családnevüket mondják. Ha egy ügynök az elsőként hallott nevet keresztnévként rögzíti, az azonosítás akkor is sikertelen lehet, ha magát a nevet helyesen értette. A vállalat hindi és mandarin példákkal azt is szemlélteti, hogy egy nyelvtanilag vagy stilárisan oda nem illő mondat átadhatja az információt, mégsem hangzik természetesnek.
A feladat teljesítése csak az egyik mérőszám
A 𝜏-i18n két további területet is értékel. Az interaction, vagyis az interakció azt vizsgálja, hogy az ügynök megfelelő időben válaszol-e vagy adja át a szót, elkerüli-e a félbeszakítást és a hosszú monológokat, valamint felismeri-e, amikor egy hümmögés vagy véletlen hang nem igényel választ. Ide tartozik az eszközhasználat hatékonysága, például a megfelelő paraméterek használata és az ügynök által okozott hibák elkerülése.
A generation quality, azaz a generálás minősége azt méri, mit hall ténylegesen a hívó. A természetesség értékelése kiterjed a fordítási hatású megfogalmazásokra, a nyelvtani nem hibáira, a nem megfelelő stílusrétegre és az elmaradt tiszteleti formákra. A beszédfedélzet azt mutatja, hogy a hang pontosan közvetíti-e a szándékolt szavakat, neveket és számokat. A Sierra ezeket külön közli, mert egy ügynök elérheti a hívó célját úgy is, hogy közben a társalgás vagy a nyelvi megformálás gyenge marad.
Jelentős különbségek a nyelvek és az ügynökök között
A leaderboard három hangalapú ügynökének eredményei 2700 elsődleges híváson alapulnak. A feladatvégzésben a spanyol átlagosan 2,4, a hindi 3,8, a portugál 6,4 százalékponttal maradt el az angoltól. A koreai 22,6, a mandarin 9,1 százalékpontos lemaradást mutatott. A koreai mindhárom ügynöknél a leggyengébben teljesítő nyelv volt.
A koreai és mandarin hívásokban minden vizsgált ügynöknél gyakoriak voltak az eszközhasználati hibák. A GPT Live 1 és a Gemini 3.8 Live a hívások több mint 80 százalékában elmulasztott egy beszélői fordulót, lassan válaszolt vagy nem adta át időben a szót. A Grok Voice Think Fast 2.0 esetében ez az arány 16 százalék volt. A szelektivitás szintén problémát jelentett, az ügynökök a hívások 26 és 60 százalékában háromnál többször válaszoltak háttérhangokra, beszédtöltelékekre vagy nekik nem címzett megszólalásokra.
A GPT Live 1 érte el a legmagasabb feladatvégzési arányt, 79,9 százalékot, és a generálás minőségében is vezetett 63,4 százalékkal. Az interakcióban a Grok Voice Think Fast 2.0 lett az első 52,6 százalékkal, miközben a generálás minőségére 17,7 százalékot kapott. A Sierra adatai szerint a leggyorsabban reagáló ügynök nem feltétlenül beszél a legtermészetesebben.
A Sierra nyílt forráskódúvá tette a kódot és a nyelvi csomagok mögött álló LanguageFactory keretrendszert. Anyanyelvi beszélők, kutatók és nyelvi közösségek további nyelvekhez és régiókhoz igazíthatják a 𝜏-i18n-t, reprezentatív hívókat hozhatnak létre, hangokat és mintabeszélgetéseket vizsgálhatnak, valamint meghatározhatják az értékelés helyi szempontjait.
