Az AssemblyAI tesztelte, mely LLM-ek kezelik legjobban a beszélt szövegeket
Az AssemblyAI összehasonlította, hogyan nyernek ki strukturált adatokat a nagy nyelvi modellek beszélgetések átirataiból. A teszt szerint a legjobb modell és a legkedvezőbb választás jelentősen változhat az átirat hosszától függően.
- Az AssemblyAI több mint 50 modellt tesztelt beszélgetések átiratain.
- A modelleknek résztvevőket, feladatokat, döntéseket és entitásokat kellett JSON-ba rendezniük.
- 30 másodpercnél a gpt-5.6-sol, 15 percnél a gpt-6-luna, 60 percnél a gpt-6.1-sol érte el a legmagasabb pontszámot.
- A modellválasztást az átirat hossza, a pontosság, a költség és a válaszidő együtt határozza meg.
A beszélt nyelv külön problémát jelent
Az AssemblyAI szerint a beszélgetések átirataiból való adatkinyerés eltér a PDF-ek, számlák vagy weboldalak feldolgozásától. A beszédfelismerő rendszer által készített szöveg közel áll ahhoz, amit a beszélő mondott, de nem feltétlenül tükrözi pontosan a szándékát.
Gondot okozhatnak a félrehallott vagy betűzve kimondott számok, az ismétlések, a bizonytalan dátumok, a megszakított mondatok és az egymásba beszélés. A beszélő azonosítása szintén fontos: egy ügyfélszolgálati hívásban például az ügynök megismételhet egy hibás telefonszámot, miközben az ügyfél korábban a helyes értéket mondta ki.
A vállalat szerint ezért az a megfelelő kérdés, hogy egy modell csak a ténylegesen elhangzott információkat adja-e vissza a kért formában, és ezt elég gyorsan teszi-e meg. A kitalált mezők különösen kockázatosak lehetnek egy CRM-rendszerben.
Így mérték a modelleket
A Voice Standard Bench több mint 50, az LLM Gatewayben elérhető modellt vizsgált valódi beszédfelismerési kimeneteken. Az információkinyerési feladatban a modelleknek egy rögzített JSON-sémát kellett kitölteniük. A séma a résztvevőket, a feladatokat, azok felelőseit és határidejét, a meghozott döntéseket, valamint a megnevezett személyeket, szervezeteket, termékeket és dátumokat tartalmazta.
Minden kulcsnak szerepelnie kellett a válaszban. Ha egy mezőhöz nem volt adat, üres tömböt kellett visszaadni, a ki nem mondott felelős vagy határidő helyére pedig az „unspecified”, vagyis „nincs megadva” érték került. A válasz kizárólag JSON-objektum lehetett, bevezető szöveg és Markdown-formázás nélkül.
Elsőként gépi ellenőrzéssel vizsgálták, hogy a kimenet érvényes JSON-e, és tartalmazza-e mind a négy kötelező kulcsot. A hibás válasz a lehető legalacsonyabb értékelést kapta. Az érvényes kimeneteket Claude Opus 5.5 és GPT-5.6 Sol alapú bírák pontozták a megalapozottság, valamint a teljesség alapján.
A tesztben 30 másodperces, 2 perces, 15 perces és 60 perces átiratok szerepeltek. Mindegyik kategóriában 10 valódi átiratot használtak, a célhosszhoz képest 15 százalékos eltéréssel. Az AssemblyAI a pontszám mellett a válaszidő mediánját és az egy órányi hangra jutó költséget is rögzítette.
Más modell nyer rövid hívásban, mint egy értekezleten
Az AssemblyAI 2026. október 28-i eredményei szerint 30 másodperces hangpostáknál a Highest Performance kategóriát a gpt-5.6-sol vezette 94 pontos eredménnyel. A legalacsonyabb költséget a nemotron-3-nano-30b-a3b érte el, óránként 0,0015 dolláros költséggel és 73 pontos eredménnyel. A leggyorsabb a qwen3.5-4b-32k-fast volt, 0,28 másodperces medián válaszidővel és 80 pontos eredménnyel.
Kétperces rövid hívásoknál a nemotron-lightning-3p5-30b-a3b 100 ponttal végzett az élen. Ezt az eredményt azonban kiugró értékként kell kezelni, mivel a modell futásai során 15 hibás kérés történt, ezeket pedig nem számították nullás eredménynek. A modell medián válaszideje 18,1 másodperc volt.
15 perces ügyfélszolgálati hívásoknál a gpt-6-luna vezetett 85 ponttal, 60 perces értekezleteknél pedig a gpt-6.1-sol ért el 85 pontot. A leghosszabb kategóriában a nemotron-3-nano-30b-a3b volt a legolcsóbb, óránként 0,0012 dollárral, míg a gemini-3.5-flash-lite bizonyult a leggyorsabbnak 2,86 másodperces medián válaszidővel.
A hosszúság alapvetően módosítja a választást
A rövid átiratoknál a tények általában közel vannak egymáshoz, ezért a kisebb modellek is gyorsan megtalálhatják őket. A 30 másodperces kategóriában az 52 vizsgált modell közül 43 legalább 80 pontot ért el. 15 percnél már jobban elválik a modellek teljessége, 60 percnél pedig a hosszú kontextus kezelése válik meghatározóvá. Ebben a kategóriában csak 9 modell szerzett legalább 80 pontot.
Az AssemblyAI azt javasolja, hogy a felhasználók először a saját válaszidő- és átirathossz-korlátaikat határozzák meg. A valós idejű, hívás közbeni feldolgozásnál a sebesség lehet elsődleges, a korábbi felvételek éjszakai feldolgozásánál viszont a magasabb pontszám kaphat nagyobb súlyt. A vállalat szerint a kimenetet minden saját rendszerben érdemes ellenőrizni, még akkor is, ha a modell strukturált kimenetet támogat.
AssemblyAI: Best LLMs for Extracting Structured Data from Transcripts (JSON Output, Speed, and Cost) | AssemblyAI
