Melyik LLM tisztítja legjobban a diktálást? Az AssemblyAI tesztelt

A diktálás tisztítása pontos formázási feladat

A diktálásból származó nyers átirat a kimondott szavakat tartalmazza, a tisztítás feladata pedig az, hogy ezekből a felhasználó által írni kívánt szöveg készüljön. A gyakorlatban ez többek között a töltelékszavak és félbehagyott mondatok eltávolítását, az önjavítások feloldását, valamint a központozás és a nagybetűs írás alkalmazását jelentheti.

A Voice Standard Bench diktálási feladata ennél szűkebb területet vizsgál. Minden modell ugyanazt a nyers átiratot kapja, amelyben a beszélő szóban mondja ki a formázási utasításokat, például a vesszőt, az új bekezdést, az idézőjelet vagy a nagybetűsítést. A modellnek ezekből kell elkészítenie a formázott szöveget.

A teszt nem várja el a kimondott számok számjeggyé alakítását, és a modellnek nem szabad szavakat hozzáadnia, elhagynia vagy átrendeznie. Ha például a szövegben a „twelve thirty four” szerepel, annak szavakként kell megmaradnia. A közölt eredmények 2026. október 28-i állapotot tükröznek.

A pontosság mellett a válaszidőt és az árat is mérték

A Voice Standard Bench nyílt forráskódú mérés, amely az LLM Gateway több mint 50 modelljét vizsgálja négy hangalapú feladaton. A diktálási eredményeket mechanikusan értékelik, mivel minden bemenethez ismert a helyes kimenet. A mérés figyelembe veszi a pontos egyezést, a szóhibaarányt, a központozás, a nagybetűsítés és a formázási parancsok pontosságát.

A diktálási adathalmaz szintetikus, vagyis nyelvi modellek által létrehozott mintákból áll. Hosszúság szerint csak a 30 másodperces és a 2 perces kategória szerepel benne. A többi vizsgált feladatnál 15 és 60 perces kategóriák is vannak, de a benchmark készítői szerint ilyen hosszúságú diktálás nem jellemző egy szövegmezőben.

Az AssemblyAI útmutatása szerint diktálásnál először a késleltetést, utána a pontosságot, majd a költséget érdemes figyelni. A cég szerint a 2-3 ponton belüli eredménykülönbség csak csekély eltérést jelenthet, miközben a felhasználó közvetlenül érzékeli, ha a feldolgozás több másodpercig tart. A költséget hangóránkénti listaáron hasonlították össze.

A Gemini 4 Argon a legpontosabb, a Qwen3.5 4B Fast a leggyorsabb

A 30 másodperces bemeneteknél a legjobb teljesítményt a Gemini 4 Argon érte el 100 pontos eredménnyel. Medián válaszideje 2,00 másodperc volt, költsége pedig 0,047 dollár hangóránként. A leggyorsabb modellként a Qwen3.5 4B Fast végzett, 0,28 másodperces medián válaszidővel és 81 pontos eredménnyel. A legalacsonyabb költséget a Nemotron 3 Nano 30B A3B kínálta, 0,0013 dollárral hangóránként, szintén 81 pontos eredmény mellett.

A 2 perces bemeneteknél ismét a Gemini 4 Argon került az első helyre, 99 ponttal. Ennél a kategóriánál a medián válaszidő 2,61 másodperc, a költség pedig 0,068 dollár hangóránként volt. A Qwen3.5 4B Fast 0,60 másodperces mediánnal és 75 ponttal lett a leggyorsabb, míg a Nemotron 3 Nano 30B A3B 0,0017 dolláros hangóránkénti költséggel és 67 ponttal lett a legolcsóbb.

Az AssemblyAI külön kiemeli a Gemini 2.5 Flash Lite modellt. Ez 30 másodpercnél 97 pontot ért el, körülbelül 0,002 dolláros óránkénti költség és 0,70 másodperces medián válaszidő mellett. A 2 perces kategóriában 82 pontot kapott.

A benchmark rövidlistát ad, a végső döntéshez saját teszt kell

Az eredmények alapján a választás a kívánt minőség és a válaszidő közötti kompromisszumról szól. A nagyobb modellek egyes esetekben pontosabban követik a formázási utasításokat, a kisebb modellek viszont gyorsabban és olcsóbban válaszolhatnak. A mérés szerint a legolcsóbb és a leggyorsabb kártya nem tartalmaz automatikus minőségi küszöböt, ezért ezeknél külön meg kell nézni a pontszámot.

Az AssemblyAI azt javasolja, hogy a fejlesztők a Gateway modelllistáját feladat és hossz alapján szűrjék, két vagy három modellt válasszanak ki, majd saját adatokon is teszteljék őket. A benchmark szintetikus diktálási mintákon és pontos egyezésen alapul, ezért önmagában nem helyettesíti a valós felvételekkel végzett ellenőrzést.

Azok számára, akik nem akarnak külön modellt választani, a Dictation API egyetlen hívásban végzi el az átírást és a tisztítást, és visszaadja a szó szerinti átiratot, valamint az átírt szöveget is. A forrásban ismertetett alapértelmezett tisztítás eltávolítja a töltelékszavakat és feloldja az önjavításokat.