A Fireworks AI új routere 57 százalékkal csökkentette a költséget

A Fireworks AI bemutatta a FireRouter with Opus szolgáltatást, amely a feladatokat több modell között osztja el. A vállalat belső tesztjeiben a megoldás 57 százalékkal csökkentette a munkamenetenkénti költséget, miközben az Opus önálló használatához képest 98,1 százalékos pontosságot ért el.
- A FireRouter with Opus a Claude Opus 5.5, a GLM 5.3 és a GLM 5.3 Flash között útválaszt.
- A Fireworks belső tesztjében a költség 15,36 dollárról 6,63 dollárra csökkent munkamenetenként.
- A megoldás az Opus önálló használatának pontosságának 98,1 százalékát érte el.
- A gyorsítótár-találati arány 94,2 százalék volt, szemben az Opus 97,8 százalékával.
- A szolgáltatás a Claude Code, a Codex és a Cursor IDE környezetében is használható.
Több modell között választ a FireRouter
A Fireworks AI szeptember 28-i bejelentése szerint a FireRouter with Opus a vállalat Fireworks Nexus megoldásának része. A szolgáltatás a cég meghatározása alapján az első gyorsítótár-tudatos útválasztó a piacon. A FireRouter egy adott felhasználói kérést megvizsgál, majd felméri, hogy a rendelkezésre álló modellek közül melyik illik hozzá a legjobban.
A jelenlegi modellkészletben a Claude Opus 5.5, a GLM 5.3 és a GLM 5.3 Flash szerepel. Az útválasztó a feladat várható költségét is számításba veszi, beleértve a prompt gyorsítótárának költségét és azt is, hogy egy másik modellre váltás miatt mennyibe kerülne a gyorsítótár-találatok elvesztése. Ez alapján választja ki azt a modellt, amely a Fireworks szerint a minőség és a költség között a legjobb egyensúlyt kínálja.
A modellkészlet később változhat, amikor új modellek és verziók jelennek meg.
A belső tesztben jelentősen csökkent a költség
A Fireworks AI több mint egy hónapon át végzett belső A/B tesztet. A kódolási forgalomból származó munkameneteket véletlenszerűen osztották két csoportba: az egyik a FireRouter with Opust használta, a másik kizárólag az Opusra támaszkodott. A csoportok azonos munkaterheléseken és felhasználókkal dolgoztak.
A vállalat adatai szerint a munkamenetenkénti költség 15,36 dollárról 6,63 dollárra esett, ami 57 százalékos csökkenést jelent, plusz-mínusz 19 százalékpontos eltéréssel. A pontosság értékelésénél azt vizsgálták, hogy az ügynök befejezte-e a munkát, eljutott-e a helyes válaszig, illetve szükség volt-e felhasználói javításra a következő körben.
A FireRouter with Opus a vizsgált fordulók 78,7 százalékán ért el megfelelő eredményt, míg az Opus önálló használata 80,2 százalékot produkált. A Fireworks ezt az Opushoz viszonyított 98,1 százalékos teljes pontosságként adja meg.
A gyorsítótár találati aránya kisebb mértékben esett
A forgalom jelentős része belső kódolási feladatokból állt, amelyeknél a Fireworks szerint a nyílt modellek sok rutinszerű kérést is képesek kezelni. Az útválasztás során a rendszer összevetette a modellváltással elérhető megtakarítást a gyorsítótár-találatok elvesztésének költségével.
Ennek eredményeként a FireRouter with Opus használatakor 94,2 százalékos gyorsítótár-találati arányt mértek, szemben az Opus önálló használatánál elért 97,8 százalékkal. A vállalat ezt tudatos, kisebb kompromisszumként írja le, amely a teljes költséget jelentősen mérsékelte.
Több fejlesztői környezetben is elérhető
A FireRouter with Opus a Fireworks szerint már használható több fejlesztői környezetben, köztük a Claude Code, a Codex és a Cursor IDE rendszerében. A szolgáltatás a parancssori felület mellett önálló routermodellként is elérhető, így bármely Fireworks-fiók szerver nélküli végpontként használhatja, ugyanúgy, mint más modelleket.
A Fireworks a bejelentésben a következő parancsokat adta meg a kipróbáláshoz: fireconnect login, majd fireconnect claude --model firerouter/opus. A vállalat szerint a felhasználók a Fireworksbe bejelentkezve megtekinthetik a csapatuk Claude Opusra fordított kiadásainak becsült megtakarítását. A közölt eredmények alapján a szolgáltatás elsősorban azoknak a fejlesztői csapatoknak lehet releváns, amelyek a kódolási feladatok minőségének megtartása mellett szeretnék csökkenteni a modellhasználat költségét.
Fireworks AI: Introducing FireRouter with Opus

