A Fireworks szerint a modellek együtt többre képesek, mint külön-külön

A router elméletben 97,6 százalékot érhet el

A Fireworks a DeepSWE v1.1 nevű, ügynökalapú kódolási mércén vizsgálta, mennyit számít a modellválasztás. A feladatok mérnöki munkát igényelnek: az ügynöknek értelmeznie kell egy problémát, meg kell vizsgálnia egy kódtárat, eszközöket kell használnia, módosítania és futtatnia kell a kódot, végül pedig teljesítenie kell a feladatot.

Az elemzésben 113 feladaton, 18 modellen és modellenként négy próbálkozáson alapuló eredményeket használtak. Az úgynevezett orákulum-router minden feladathoz utólag azt a modellt választja, amelyik a legjobb eredményt érte el, döntetlen esetén az olcsóbb modell nyer.

Ebben az elméleti helyzetben a 18 modell együtt 97,6 százalékos teljesítményt ért el, feladatonként 1,88 dolláros költséggel. Összehasonlításként a legjobb egyetlen modell, a GPT-6 Astra 74,1 százalékot ért el, feladatonként 6,52 dollárért. A Fireworks hangsúlyozza, hogy az orákulumeredmény utólagos választáson alapul, ezért a gyakorlati router számára nem elérhető ugyanilyen formában.

A drágább modellek ritkán nélkülözhetetlenek

A vizsgált modellek között a Claude Opus 5 73,8 százalékos eredményt ért el 11,84 dolláros feladatonkénti költséggel, a GPT-5.6 Sol 72,6 százalékot 6,46 dollárért, a Claude Fable 5 pedig 69,9 százalékot 13,41 dollárért. A Fireworks szerint egy rögzített modell használata minden feladaton megfizetteti a széles képességkészletet, akkor is, ha az adott munkához erre nincs szükség.

Az orákulum-router a 113 feladatból 94 esetben olyan modellt választott, amelynek költsége 3 dollár alatt maradt. A három legdrágább modell, amelyek mindegyike 11,50 dollárnál többe kerül feladatonként, csak három alkalommal volt kizárólagosan a legjobb választás. További 79 feladatnál valamelyik drága modell ugyan elérte a legjobb pontszámot, de az ár miatt elvesztette a döntetlent.

A csak nyílt súlyú modellekből álló összeállítás is 90,3 százalékos eredményt ért el, feladatonként 1,45 dolláros költséggel. A Fireworks által felsorolt modellek a DeepSeek V4 Flash és Pro, a GLM-5.3 és GLM-5.3 Flash, a Kimi K3, valamint a Qwen3.8 Max voltak.

A gyakorlati routernek előre kell jól döntenie

Az orákulumeredmény legnagyobb korlátja, hogy a választás a kimenet ismeretében történik. Egy éles rendszernek a feladat elején kell eldöntenie, melyik modell dolgozzon, és a hibás döntés költsége nagyobb lehet, mint az olcsóbb modell választásából származó megtakarítás.

A Fireworks szerint a legjobb modellpár 13,1 százalékponttal javít a legjobb egyetlen modellhez képest, a három modellből álló összeállítás pedig 91,2 százalékot ér el. A teljes, 18 modellből álló készlet ehhez képest további 6,4 százalékpontot ad. A cég ebből azt a következtetést vonja le, hogy a modellek száma önmagában kevésbé fontos, mint a kiegészítő képességeket lefedő portfólió.

A Fireworks saját FireRouter rendszerét feladatszinten történő választásra építi, nyílt és zárt modellek között. A router a gyorsítótár állapotát is figyelembe veszi, így a modellváltás nem dobja el automatikusan a korábban létrehozott kontextust. A cég négy hét saját, éles kódolási forgalmának adatai szerint a FireRouterrel irányított munkamenetek átlagosan 7,42 dollárba kerültek, míg a Claude Opus 5 önálló használata 15,81 dollárba, 2334 munkamenet alapján. Ez a Fireworks számítása szerint 53 százalékos csökkenés.

A bejelentés alapján a router feladata nem pusztán a költségcsökkentés. A kódoló ügynökökben a modell mellett a kontextus, az eszközök, a futtatás, a tesztek, az állapot és a visszajelzés is a rendszer része. A Fireworks szerint ezek összehangolása határozhatja meg, hogy a rendelkezésre álló modellek együttes képessége mennyire válik használhatóvá.