Nincs egyetlen legjobb modell a hangátiratok összefoglalására

A beszélgetés hossza alapvetően megváltoztatja a választást

Az AssemblyAI a Voice Standard Bench nevű, nyílt forráskódú tesztjével vizsgálta a modelleket. A rangsor négy hosszúságot különít el: 30 másodperces hangpostát, 2 perces rövid hívást, 15 perces ügyfélszolgálati beszélgetést és 60 perces értekezletet. A vállalat október 28-i állapotot tükröző eredményei szerint a rövid bemeneteken az olcsóbb és kisebb modellek is versenyképesek, az eltérés pedig az értekezletek hosszánál válik jelentősebbé.

A 30 másodperces hangpostáknál az 52 vizsgált modellből 41 legalább 90 pontot ért el. Itt ezért főként a válaszidő, az ár és a felesleges szöveg megjelenése különbözteti meg a modelleket. A 15 perces támogatási hívásoknál már a lefedettség is fontosabb, ezen a hosszon csak 10 modell ért el legalább 90 pontot. Az egyórás megbeszéléseknél több téma, döntés, felelős és kitérő jelenik meg, itt volt a legnagyobb különbség a rangsor eleje és vége között.

A teszt valódi beszédfelismerési kimeneteket használ

A Voice Standard Bench minden Gateway-modellt ugyanazzal az utasítással értékel. A modellnek olyan összefoglalót kell írnia, amelyet egy elfoglalt ember a hívás helyett elolvashat, és csak a leiratban szereplő információkat tartalmazhatja. Az utasítás a témák, majd a döntések és a teendők bemutatását kéri, a szöveg hosszát pedig a beszélgetéshez kell igazítani.

Az eredményeket két nyelvi modell, Claude Opus 5.5 és GPT-5.6 Sol bírálja el három szempont alapján: hűség, lefedettség és tömörség. Az AssemblyAI azért nem kizárólag ROUGE vagy BERTScore típusú mérőszámokat használ, mert ezek a referencia-összefoglalóval való tokenátfedést mérik. Egy jó átfogalmazás így rossz pontszámot kaphat, miközben egy tényt megfordító, a referencia szóhasználatát másoló összefoglaló jól teljesíthet.

Minden hosszúsági kategóriában 10, a célhosszhoz képest 15 százalékon belüli valódi leirat szerepel. Ezeket az AssemblyAI beszédfelismerő rendszere állította elő, ezért a tesztben a beszédre jellemző töltelékszavak, ismétlések és esetleges felismerési hibák is megjelennek. A pontszám mellett a mérés a medián válaszidőt és az egyórányi hang feldolgozásának költségét is rögzíti.

Ezeket a modelleket emeli ki az AssemblyAI

A 30 másodperces hangposták legmagasabb pontszámát a gpt-5.6-terra érte el 100 ponttal. A legalacsonyabb költségű választás a nemotron-3-nano-30b-a3b lett 76 ponttal, óránként 0,0016 dolláros hanganyagköltséggel. A leggyorsabb modell a qwen3.5-4b-32k-fast, 0,28 másodperces medián válaszidővel és 76 ponttal.

A 2 perces hívásoknál a claude-opus-5-5 végzett az élen 99 ponttal. A nemotron-3-nano-30b-a3b itt is a legolcsóbb, 82 ponttal és 0,0016 dolláros költséggel, míg a qwen3.5-4b-32k-fast 0,60 másodperces mediánnal volt a leggyorsabb, 69 pont mellett.

A 15 perces ügyfélszolgálati hívások legjobb modellje szintén a claude-opus-5-5 lett, 97 ponttal. A legolcsóbb modell 77 pontot és 0,0013 dolláros óránkénti költséget mutatott, a leggyorsabb pedig a qwen3.5-4b-32k-fast lett 1,49 másodperces medián válaszidővel és 60 ponttal.

A 60 perces értekezleteknél a deepseek-v4.1-flash érte el a legmagasabb, 96 pontos eredményt. A teszt 25 hibás kérést is rögzített ennél a modellnél a 60 perces futások során, ezeket a pontszámításból kihagyták. A modell medián válaszideje 73,3 másodperc, költsége pedig körülbelül 0,0092 dollár volt óránként. A következő legmagasabb pontszámot a claude-opus-5-5 és a gpt-6-astra érte el, egyaránt 95 ponttal. A legolcsóbb modell ezen a hosszon a nemotron-3-nano-30b-a3b, 69 ponttal és 0,0011 dolláros költséggel, a leggyorsabb pedig a gemini-3.5-flash-lite, 76 ponttal és 2,86 másodperces mediánnal.

A költség és a megbízhatóság együtt számít

Az AssemblyAI a költséget nem tokenenként, hanem egyórányi hang alapján adja meg. Ennek oka, hogy a hangalapú termékek jellemzően órában számolnak, miközben a bemeneti és kimeneti tokenek mennyisége, valamint a modellek rejtett következtetési költsége eltérhet. A 2 perces hívásoknál a legjobb pontszámot elérő claude-opus-5-5 körülbelül 0,30 dollárba kerül óránként, a legolcsóbb nemotron-3-nano-30b-a3b pedig körülbelül 0,0016 dollárba.

A gyakorlati választás ezért a felhasználási céltól függ. A hangpostát azonnal megjelenítő felületnél a válaszidő lehet a legfontosabb, ügyfélszolgálati utómunka esetén a lefedettség és a hűség, nagy mennyiségű feldolgozásnál pedig a költség. Az AssemblyAI arra is felhívja a figyelmet, hogy a legolcsóbb és a leggyorsabb kártyák nem tartalmaznak minőségi küszöböt, ezért a pontszámot és a hosszúság szerinti rangsort is ellenőrizni kell.