Az IBM memóriával érte el a τ²-bench retail ranglista élét
Az IBM Research ALTK-Evolve rendszere 67,5 százalékos Pass^4 értéket ért el a τ²-bench retail feladatain GPT-4.1 használatával. A megközelítés tanult irányelveket ad az ügynök rendszerüzenetéhez, a modell súlyainak frissítése és emberi annotáció nélkül.
- Az ALTK-Evolve GPT-4.1-gyel 67,5 százalékos Pass^4 értéket ért el retail feladatokon.
- A rendszer korábbi próbálkozásokból tanult irányelveket ad az ügynök rendszerüzenetéhez.
- A módszer nem módosítja a modell súlyait, és emberi annotációt sem igényel.
- Retail területen a Pass^4 57,5 százalékról 67,5 százalékra javult.
- A tanult irányelvek növelték a költséget, de nem hosszabbították meg a beszélgetéseket.
Tanult irányelvekkel javítottak az ügyfélszolgálati ügynökön
Az IBM Research október 20-án ismertette az ALTK-Evolve eredményeit a Hugging Face-en. A rendszer egy alap ReAct ügynököt egészít ki olyan viselkedési szabályokkal, amelyeket korábbi tanítási feladatok próbálkozásaiból állít elő a GPT-4.1.
A modell a sikeres és sikertelen próbálkozásokat rövid irányelvekké sűríti. Ezek többek között azt rögzíthetik, hogyan kell az ügyfelet azonosítani, miként kell megerősíteni egy tranzakciót, illetve hogyan kell kezelni egy visszaküldést. Az elkészült irányelveket változtatás nélkül hozzáadják az ügynök rendszerüzenetéhez.
A megoldás ugyanazt a GPT-4.1 modellt használja az irányelvek kinyerésére és az ügynök működtetésére. Az IBM szerint ehhez nincs szükség a modell súlyainak módosítására vagy emberi annotációra.
A Pass^4 mutatja, hogy a feladat ismételten is sikerül-e
A τ²-bench a Sierra ügyfélszolgálati benchmarkja. A feladatokban az ügynök egy nyelvi modell által szimulált ügyféllel beszél, különböző eszközöket használhat, és egy írott szabályzatot kell követnie. A feladat csak akkor számít sikeresnek, ha az adatbázis végső állapota megfelel az elvárt eredménynek.
Az IBM a benchmark retail és airline területén tesztelt. A GPT-4.1 volt az ügynök modellje, a GPT-5.5 pedig az ügyfélszimulátoré. Minden feladathoz négy próbát futtattak, a benchmark eredeti ReAct vázával. A szabályzat, az eszközök és a váz változatlan maradt, csak a tanult irányelvek kerültek a rendszerüzenetbe.
A retail teszten a tanult irányelvek nélküli alapváltozat 57,5 százalékos Pass^4 értéket ért el. A teljes, lossless irányelvkészlettel ez 67,5 százalékra nőtt. A 40 tesztfeladaton mért átlagos pontosság 78,1 százalékról 82,5 százalékra javult.
Az airline területen az átlagos pontosság 57,5 százalékról 65 százalékra emelkedett. A Pass^4 értéke 35 százalékról 45 százalékra nőtt. Ebben a tartományban azonban a kisebb, legalább három különböző feladatból származó irányelveket megtartó sup3 készlet megbízhatóbbnak bizonyult, 45 százalékos Pass^4 értékkel, szemben a lossless változat 40 százalékával.
A több irányelv nagyobb költséggel járt
Az irányelvek javították a teljesítményt, de növelték a beszélgetésenkénti nyelvimodell-költséget. A retail feladatokon az alapváltozat költsége 0,084 dollár volt, a sup3 konfigurációé 0,095, a lossless változaté pedig 0,139 dollár. Ez rendre 12 és 65 százalékos emelkedést jelentett.
Az airline feladatokon a költség 0,081 dollárról 0,097 dollárra nőtt a sup3, illetve 0,107 dollárra a lossless beállításnál. Az IBM mérése szerint a javulás nem hosszabb beszélgetésekből származott. A közös, mindkét beállítással megoldott feladatokon az irányelveket használó változat beszélgetései kissé rövidebbek voltak.
Az eredmények alapján az irányelvek mennyiségét területenként kell beállítani. Retail esetén a teljes készlet adta a legjobb eredményt, airline feladatokon viszont a kisebb, 14 irányelvből álló sup3 mag bizonyult megbízhatóbbnak. Az IBM szerint ez lehetővé teszi, hogy egy GPT-4.1-re épülő, alap ügyfélszolgálati ügynök szabályozott feladatokban javuljon anélkül, hogy magát a modellt újra kellene tanítani.
Hugging Face: ALTK-Evolve: How learned memory tops the τ²-bench leaderboard on customer service tasks without a frontier model
