A Cloudflare Auto Router akár 30 százalékkal csökkentheti az AI-költséget

A felhasználónak nem kell modellt választania

A Cloudflare szeptember 30-i bejelentése szerint az Auto Router public beta, vagyis nyilvános béta formájában érhető el az AI Gatewayen keresztül. A használatához a modellt cloudflare/auto értékre kell állítani. Ezután a rendszer minden kérést olyan modellhez irányít, amely várhatóan elég jól képes elvégezni az adott feladatot.

A megközelítés célja, hogy a szervezetek automatikusan csökkenthessék az AI-használat költségeit, miközben a felhasználók továbbra is hozzáférhetnek a nagyobb teljesítményű modellekhez, amikor valóban szükségük van rájuk. A Cloudflare példája szerint egy e-mail vagy beszélgetés összefoglalásához nincs szükség az Opus szintű képességekre, egy biztonságtechnikai feladatnál viszont indokolt lehet az erősebb modell használata.

A belső tesztben olcsóbban dolgozott

A Cloudflare az Auto Routert saját OpenCode-telepítésében és a Cloudflare OS nevű egyedi ügynöki rendszerében is használja. A vállalat szerint kódolási feladatoknál a teljesítmény összemérhető volt a csúcskategóriás modellekével, különösen akkor, amikor a rendszer sokféle, technikai és nem technikai tudásmunkát kezel.

A belső általános tudásmunkát vizsgáló tesztben 97 feladatot futtattak modellenként, feladatonként három mintával. A feladatok e-mailekhez, naptárakhoz, Slackhez, fájlokhoz, utazáshoz és pénzügyekhez kapcsolódó, szimulált munkahelyi eszközöket használtak.

• cloudflare/auto: 252 sikeres próba a 291-ből, 86,6 százalékos sikerarány, 2,10 dolláros teljes költség és 0,0084 dolláros költség sikeres feladatonként.
• Anthropic Claude Opus 5.5: 281 sikeres próba, 96,6 százalékos sikerarány, 5,91 dolláros teljes költség és 0,0210 dolláros költség sikeres feladatonként.
• OpenAI GPT-6 Sol: 245 sikeres próba, 84,2 százalékos sikerarány, 2,64 dolláros teljes költség és 0,0108 dolláros költség sikeres feladatonként.

A Cloudflare értékelése szerint az Auto Router a Sol költségének 80 százalékából, az Opus költségének pedig 35 százalékából hozta az eredményét. A vállalat belső használatban legfeljebb 30 százalékos megtakarítást mért, amikor a rendszert kizárólagos csúcskategóriás modellekhez hasonlította.

A rendszer a feladat nehézségét és a munkamenet költségét is figyeli

Az AI Gateway először kiszűri azokat a modelleket, amelyek nem támogatják a kérés formátumát vagy végrehajtási módját. A kiválasztásnál figyelembe veszi a hitelesítési adatokat, a számlázási beállításokat, a hozzáférési szabályokat és a költési korlátokat is. Az éppen hibás vagy leállt szolgáltatókat szintén eltávolítja a lehetséges jelöltek közül, majd a kiesés után automatikusan visszahelyezi őket.

A router a beszélgetés rövidített képét elemzi, elsősorban a legutóbbi üzenetekre támaszkodva. A Workers AI-on futó osztályozó 14 feladatkategória, például kódolás, tervezés, kutatás és adatelemzés között osztja el a valószínűségeket. Emellett egytől ötig értékeli a komplexitást, a bizonytalanságot, a feladat tétjét és a korábbi kontextustól való függést.

Ezeket a jeleket a rendszer a modellek teszteredményeivel és tokenáraival kapcsolja össze. Egyszerű kéréseknél nagyobb súlyt kap az ár, összetettebb feladatoknál viszont több lehetőségük van a nagyobb képességű modelleknek. Hosszú, ügynöki munkamenetekben a gyorsítótár olvasási és írási költsége is számít. Modellváltáskor a rendszernek újra fel kell építenie a kontextust, ezért a router a beszélgetés hosszával növekvő váltási büntetést alkalmaz.

A Cloudflare szerint a kétlépcsős felépítés átláthatóbbá teszi a döntéseket, mivel megvizsgálható a feladat előre jelzett kategóriája és nehézsége. Új modell beillesztésekor a routert nem kell újratanítani, elég hozzáadni a modell teszteredményeiből származó súlyokat. A vállalat később olyan útválasztót is tervez, amely a költség figyelembevétele nélkül a legjobb várható minőségű modellt választja.