Rövid hangátiratokon a kis modellek, értekezleteken a nagyok nyernek
A kis nyelvi modellek rövid hangátiratokon közel olyan jók lehetnek, mint a legnagyobb modellek, miközben gyorsabban és olcsóbban válaszolnak. Az AssemblyAI mérése szerint egyórás értekezleteknél viszont a nagyobb modellek minőségi előnye már indokolhatja a magasabb költséget.
- A GPT-6 Luna 96, 94, 89 és 88 pontot ért el a négy vizsgált átirathossznál.
- A Qwen3.5 4B Fast 30 másodpercnél 74, 60 percnél 31 pontos eredményt hozott.
- A kis modellek rövid átformázási feladatoknál gyorsak és olcsók.
- Hosszú értekezleteknél a döntések és felelősök követése miatt nő a nagy modellek előnye.
- A modell szolgáltatója a válaszidőt és az átirat adatkezelési útját is meghatározza.
Rövid szövegen kicsi a különbség, hosszún nagyra nő
Az AssemblyAI Voice Standard Bench tesztje valódi beszédfelismerési kimeneteken vizsgálta a modelleket négyféle átirathossznál: körülbelül 30 másodperces, 2 perces, 15 perces és 60 perces szövegeken. A 2026. október 13-án közzétett futásban a teljes minőségi pontszámot minden feladat azonos súllyal adta, a skála 0-tól 100-ig terjedt.
A táblázatban a GPT-6 Luna 96, 94, 89 és 88 pontot ért el a négy hosszúságnál. A gemma-4-31b 93, 89, 87 és 85 pontot kapott. A Qwen3.5 4B Fast eredménye 74, 64, 47 és 31 pont volt. Az AssemblyAI szerint a 2 és 3 ponton belüli különbségek gyakorlatilag döntetlennek tekinthetők.
A gemma-4-31b rövid bemeneteken három-öt ponttal maradt el a vezető modelltől, 15 percnél viszont több mint 20 pontot veszített. A legkisebb vizsgált modell, a Qwen3.5 4B Fast már a kezdetektől fokozatosan gyengült.
A Qwen3.5 4B Fast gyors, de szűkebb feladatokra való
Az AssemblyAI saját infrastruktúráján futtatja a nyílt forráskódú Qwen3.5 4B modellt, 32 768 tokenes kontextusablakkal. Az ára 0,10 dollár egymillió bemeneti tokenenként és 0,50 dollár egymillió kimeneti tokenenként.
A Qwen3.5 4B Fast a Voice Standard Benchben minden hosszúságnál a leggyorsabb modell volt 15 percig bezárólag. A medián válaszidő 30 másodperces átiratoknál 0,28 másodperc, 2 perces szövegeknél 0,60 másodperc, 15 perces átiratoknál pedig 1,49 másodperc volt. Az AssemblyAI korábbi indulási tesztjeiben hangátírások átírási feladatain átlagosan 612 ezredmásodperc alatt válaszolt, a GPT-4.1-nél 1,9-szer gyorsabban, az óránkénti hangköltség pedig 94 százalékkal alacsonyabb volt.
A modell rövid, átírást átformáló feladatokra készült, például diktálás tisztítására, e-mailek vagy jegyzetek készítésére, élő formázásra és egy beszélgetési forduló egysoros összefoglalására. Szövegjavításban 30 másodpercnél 62 pontot, diktálásban 81 pontot ért el, szemben a gemma-4-31b 93, illetve 98 pontjával. Információkinyerési eredménye 30 másodpercnél 80, 2 percnél 51, 15 percnél 33 pont volt.
A Qwen3.5 4B Fast API-ja csak a max_tokens, temperature és stream paramétereket támogatja. Eszközhívást és strukturált kimenetet nem kínál, ezért az AssemblyAI szerint JSON-kinyeréshez és hangalapú ügynökökhöz nem megfelelő, az átirat hosszától függetlenül.
Három nyílt modell eltérő erősségekkel
A gemma-4-31b az AssemblyAI szerint rövid átiratoknál a sebesség és a minőség közötti jó választás lehet. Egy 30 másodperces bemenetet egy másodpercnél rövidebb idő alatt dolgozott fel, 93 pontos minőséggel, míg a GPT-6 Luna 1,7 másodperc alatt válaszolt. Kétperces hívásnál a gemma-4-31b 1,5 másodperces, a GPT-6 Luna 2,4 másodperces eredményt ért el. A modell 15 percnél 64 pontra esett vissza.
A GLM-5.3 Flash volt a legolcsóbb olyan modell, amely a vezető eredményétől legfeljebb 8 ponttal maradt el összefoglalásban és diktálásban. Ezekben a feladatokban 91, illetve 96 pontot ért el, 15 perces átiratoknál azonban 74 pontra esett.
A Nemotron 3 Nano 30B A3B óránkénti hangra minden vizsgált hosszúságnál körülbelül 0,002 dollárba vagy annál kevesebbe került. Információkinyerési pontszáma a négy hosszúságnál 73, 58, 49 és 52 volt. Ez az AssemblyAI szerint azt mutatja, hogy a legalacsonyabb ár nem feltétlenül jelenti a legjobb választást, ha a modell nem teljesíti a feladatot.
A hosszú értekezleteknél a követés a szűk keresztmetszet
Az AssemblyAI szerint a kis modellek hosszú átiratokon tapasztalt visszaesését önmagában nem a kontextusablak mérete okozza. Egy egyórás értekezlet több mint 10 000 bemeneti tokent tartalmazhat, ez pedig még belefér a Qwen3.5 4B Fast 32 768 tokenes ablakába.
A probléma inkább az, hogy a modellnek mennyi információt kell követnie. Egy rövid hangpostában jellemzően egy beszélő, egy kérés és esetleg egy visszahívási szám szerepel. Egy egyórás értekezleten viszont több tucat döntés és felelős jelenhet meg, miközben a témák később újra előkerülnek. Az összefoglalás lefedettsége és a kinyerés teljessége ezért hosszú szövegnél gyorsabban romlik a kisebb modelleknél.
A forrás szerint a modelleket a felhasználás hossza és célja alapján érdemes útválasztani. Rövid, a felhasználó által azonnal látott átformázási feladatoknál a gyors kis modell lehet megfelelő. Hosszú összefoglalásoknál, információkinyerésnél és döntések követésénél a nagyobb modell többletköltsége indokolható. A szolgáltatás helye szintén számít: ugyanazon nyílt modellcsaládok más szolgáltatóknál 10 és 20 másodperc között válaszoltak, míg a Qwen3.5 4B Fast saját, erre a feladatra hangolt telepítésben másodperc alatti eredményeket is elért. A szolgáltató kezeli a továbbított átiratot, ezért ezt a pontszámok mellett szintén figyelembe kell venni.
