A Databricks szerint az AI-költségek kordában tartásához átjáró kell

A használat növekedése felpörgette a számlát

A Databricks 2026. október 22-én közzétett beszélgetésében Patrick, a vállalat AI-termékeiért felelős vezetője arról beszélt, hogyan vezették be széles körben az AI-kódolóügynököket. A kezdeti időszakban minden akadályt igyekeztek eltávolítani: a legdrágább modelleket tették elérhetővé, a tokenhasználatot pedig nem korlátozták.

A fogyasztásalapú árazás miatt egyetlen felhasználó elméletben korlátlan összeget is elkölthet. A Databricksnél a költségek növekedése egy idő után az AI-tól várt hatékonysági nyereséget fenyegette. A vállalat szerint ma az egy főre jutó tokenköltés nagyjából változatlan, miközben a teljes használat és az elért érték tovább nő.

Patrick szerint a cég az AI-eszközökkel közel megduplázta a fejlesztési teljesítményt ugyanazzal a csapattal, a pull requestek, a kiadott funkciók és a kódsorok számát is figyelve. Ezek közül egyik mutató sem tökéletes önmagában, ezért együtt használják őket.

A kemény plafon helyett fokozatos korlátozás jön

A Databricks kipróbálta a költési plafonokat, de a vállalat szerint a teljes leállítás rossz felhasználói élményt okoz. A fejlesztő munka közben kieshet a folyamatból, ráadásul éppen a legaktívabb felhasználókat érintheti. Egyesek ilyenkor személyes fiókra válthatnak, ami csökkenti a vállalat rálátását a használatra.

A cég ezért fokozatosan növekvő súrlódást alkalmaz. Először figyelmezteti a felhasználót, majd jóváhagyást kér, végül olcsóbb modellre válthat, miközben a munkát folytathatja. A teljes leállítás csak végső eszköz. A felhasználók rendszeresen részletes bontást kapnak saját költésükről, megtakarítási javaslatokkal együtt. Patrick szerint ez önmagában körülbelül 10 százalékos megtakarítást hoz.

A modell ára önmagában félrevezető lehet

A költségcsökkentés legnagyobb hatású módszere a Databricks szerint az olcsóbb, de megfelelő teljesítményű modellekre való átállás. Patrick állítása szerint ez önmagában legalább 50 százalékos csökkenést hozott, a modellválasztás, az útválasztás, a költés láthatóvá tétele és a tokenfelesleg visszavágása együtt pedig egyes esetekben 90 százalékkal mérsékelte az egy feladatra jutó költséget.

A vállalat saját, több millió soros kódbázisából származó pull requestekkel teszteli a kódolóügynököket, és a válaszokat a tesztek tényleges futtatásával értékeli. A Databricks szerint a nyilvános mérőszámok nem feltétlenül tükrözik egy vállalati kódbázis valós igényeit.

A belső tesztekben a Databricks szerint az open source GLM 5.2 minőségben döntetlenre végzett az Opus 4.8-cal, miközben feladatonként körülbelül egyharmaddal olcsóbb volt. Egy másik modell tokenenként 1,7-szer olcsóbbnak bizonyult, mégis többe került feladatonként, mert több tokent használt. A kódolóeszköz modell körüli rétege, a harness, szintén jelentős tényező: azonos modell mellett több mint kétszeres költségkülönbséget mértek. A harness és a gyorsítótárazási beállítások finomhangolása közel 50 százalékot takarított meg.

A Unity Gateway központi vezérlőréteget ad

A Databricks az összes kódolóeszköz-forgalmat egy központi átjárón, a Unity Gatewayen keresztül kezeli. Ez a fejlesztők és a modellek között helyezkedik el, és hozzáférést, modellválasztást, költségkereteket és nyomon követést kezel.

A rendszer feladata, hogy a kéréseket a feladathoz elegendő, legolcsóbb modellhez irányítsa. Egy egyszerű komponensátnevezés olcsóbb modellhez kerülhet, míg egy összetett, nyitott végű feladat nagyobb képességű modellt kaphat. A Databricks Smart Router megoldása a vállalat szerint több mint 30 százalékkal csökkenti az átlagos feladatköltséget, nagyjából a legdrágább modell minőségének megtartása mellett.

A vállalat tapasztalata alapján az AI-költség kezelése így közvetlenül a fejlesztői munkafolyamat része lesz. A központi réteg lehetővé teszi az új modellek gyors kiértékelését és bevezetését anélkül, hogy a fejlesztőknek módosítaniuk kellene az eszközeiket.