Akár 95 százalékkal is csökkenthető az AI tokenköltsége az Alteryx szerint

A tokenfogyasztás gyorsan növeli a kiadásokat

Az Alteryx szeptember 21-én közzétett elemzése szerint a vállalati AI-költségek egyik meghatározó tényezője a tokenfogyasztás. A nagy nyelvi modellek szolgáltatói a bemenetként elküldött és a válaszként előállított tokenek alapján számláznak. A tokenek gyakori karakter- vagy szövegegységek, 100 token nagyjából 75 szónak felel meg.

Az egyes API-hívások ára a választott modelltől, a bemeneti kontextus méretétől és a generált válasz hosszától függően a cent töredékétől akár több dollárig terjedhet. Az Alteryx szerint sok szervezet kevéssé látja át, mennyit és milyen gyorsan fogyasztanak a rendszerek, ezért a költségek nehezen követhetők.

A vállalat három fő okot emel ki. A rendezetlen, előkészítetlen adatok túl sok irreleváns információt juttatnak a modellhez, és pontatlanabb eredményekhez vezethetnek. A modellhez nem illeszkedő feladatoknál túl drága rendszert használhatnak, a szükségesnél több kontextust küldhetnek, vagy minden kérést a nulláról indíthatnak. További problémát jelent a költségek átláthatóságának hiánya.

A token csak a teljes AI-költség egyik része

Az Alteryx szerint az AI teljes költségébe a licencek, az infrastruktúra, az integráció, a folyamatos megfigyelés, az emberi ellenőrzés és a pontatlan eredmények javítása is beletartozik. Ez utóbbit a vállalat „AI-adónak” nevezi. Egy olcsó, de hibás választ adó lekérdezés így manuális beavatkozást és újabb munkát igényelhet, ezért drágábbá válhat egy magasabb költségű, azonnal használható eredményt adó lekérdezésnél.

A cég arra is felhívja a figyelmet, hogy az AI fokozott használata önmagában nem garantál nagyobb termelékenységet. A cél ezért nem pusztán a tokenek számának csökkentése, hanem egy megbízható üzleti eredmény teljes költségének mérséklése.

Az Alteryx szerint a nyelvi modellek és az autonóm ügynökök jól használhatók például táblázatok tisztítására, szövegek értelmezésére és kontextus kinyerésére. Összetett, valós üzleti műveleteknél és determinisztikus számításoknál azonban a kizárólagos használatuk nem hatékony, költséges és nehezen átlátható lehet. Üzleti szabályok nélkül pontatlan kimeneteket és hibás műveleteket is előidézhetnek.

Az előszűrés és a modellválasztás lehet a kulcs

Az Alteryx a saját Alteryx One platformját irányított AI-automatizálási rétegként mutatja be. A vállalat szerint a rendszer az API-hívás előtt előkészíti és szűri az adatokat, valamint ellenőrzött üzleti logikát alkalmaz. Így a költséges, összetett következtetési modellek csak a valóban szükséges feladatokra koncentrálhatnak.

A tokenfogyasztás csökkentésére az Alteryx több módszert sorol fel: az irreleváns rekordok kiszűrését, a nagy táblák összefoglalását, az ismétlődő adatok eltávolítását és a nagy dokumentumok feldarabolását. A rutinátalakításokat determinisztikus szabályok végezhetik el API-hívás nélkül, a fennmaradó feladatokat pedig a megfelelő költségű modellhez, ügynökhöz vagy munkafolyamathoz lehet irányítani.

A cég a gyorsítótárazást, az eredmények újrahasznosítását és a kimeneti minőségre optimalizált utasításokat is a hatékonyság eszközei közé sorolja. Az Alteryx és a NextWave független benchmarkjai alapján ezekkel a technikákkal akár 95 százalékkal csökkenthető a tokenköltség. A közlemény szerint az LLM-ek gyorsasága akár 85 százalékkal, a pontosság pedig akár 100 százalékkal javulhat, bár a bejegyzés ezekhez a számokhoz a részletes benchmarkeredmények további megtekintését javasolja.

A felhasználók és a vállalati döntéshozók számára a bejelentés fő üzenete, hogy az AI-kiadások kezelése az adat-előkészítésnél, a szabályok alkalmazásánál és a megfelelő modell kiválasztásánál kezdődik. Az Alteryx szerint az ilyen védőkorlátok nélkül a kimenetek megbízhatósága és a költségek kiszámíthatósága egyaránt problémás marad.