Az SAP szerint új pénzügyi kihívást jelent az AI tokenfogyasztása

A teljes számla önmagában kevés információt ad

Az SAP szeptember 8-án közzétett elemzése szerint a generatív AI a kísérleti szakaszból egyre inkább a mindennapi működés alapvető infrastruktúrája felé tart. A dolgozók rendszeresen használják a technológiát, a csapatok és az alkalmazások pedig negyedévről negyedévre nagyobb mértékben támaszkodnak rá.

Ez olyan költségtípust hoz létre, amelyre a hagyományos pénzügyi tervezési folyamatokat nem feltétlenül tervezték. A tokenfogyasztás különösen akkor nőhet gyorsan, amikor az AI kódot ír vagy ügynökalapú rendszereket működtet. Az SAP tapasztalata szerint egyetlen összesített költségsor nem mutatja meg, mely csapatok, munkaterhelések vagy használati minták felelősek a kiadásokért, illetve hogy a fogyasztás milyen eredményeket hoz.

A megfelelő átláthatóság kialakításához a kereskedelmi, mérnöki, pénzügyi és termékcsapatok együttműködésére van szükség. A vállalat szerint az ismétlődő előrejelzési ciklusok javították a pénzügyi modelleket, ahogy egyre több működési részlet került beléjük. A kezdeti modelleknek ezért nem kell tökéletesnek lenniük, de elég átláthatóságot kell biztosítaniuk a jobb döntésekhez.

A tokenköltséghez felelőst is kell rendelni

Az SAP egyik legfontosabb következtetése, hogy a láthatóság önmagában nem elég. A fogyasztásnak gazdája is kell legyen. A központi AI-költségvetés megkönnyítheti a korai kísérletezést, ugyanakkor elszakíthatja egymástól a tokeneket felhasználó csapatokat és a pénzügyi felelősséget.

A cég szerint ez nem jelenti azt, hogy azonnal minden egyes nagy nyelvi modellhez intézett hívást teljes pontossággal tovább kell terhelni. Inkább arról van szó, hogy az AI-fogyasztást a szoftverekhez, külső szolgáltatásokhoz és munkaerőhöz hasonló vállalati erőforrásként kell kezelni. Az SAP-nál a tokenköltségek üzleti területekhez rendelése a „Mennyit költünk?” kérdéséről a „Mit kapunk ezért?” és a „Jó helyre fektetünk be többet?” kérdésekre helyezte át a hangsúlyt.

A vállalat szerint a tokenköltség ezért nem pusztán technológiai tétel, hanem stratégiai és működési beruházási döntés. A cél a kiadások tudatos kezelése, nem egyszerűen az, hogy azok minél alacsonyabbak legyenek.

A költséget az üzleti értékkel együtt kell mérni

Az SAP óva int attól, hogy a vállalatok kizárólag a tokenenkénti költséget vagy az AI-számla nagyságát használják teljesítménymérceként. Egy olyan eszköz, amely gyorsítja a szoftverfejlesztést, csökkenti az ismétlődő munkát vagy javítja az ügyfélszolgálatot, akkor is teremthet értéket, ha jelentős tokenfogyasztással jár.

A cég saját tapasztalata szerint az AI-fejlesztői eszközök bevezetése után a pull requestek összeolvadási aránya közepes, két számjegyű százalékkal nőtt. Az SAP ezt annak jeleként értelmezte, hogy a fejlesztési munka gyorsabbá vált, így a fogyasztás indokoltnak bizonyult. A pénzügyi irányításnak ezért a költségmutatókat értékmérőkkel együtt kell vizsgálnia.

A részletes fogyasztási adatok alapján három fő, aránytalan kiadást okozó tényezőt azonosítottak: a kiemelt felhasználók és automatizált ügynökök koncentrációját, a feladathoz nem illeszkedő modellválasztást, valamint az eszközök túlzott számát. Az SAP ezekre tokenlimitekkel, a feladathoz és költséghez jobban illeszkedő modellirányítással, illetve az átfedő eszközök racionalizálásával reagált. A vállalat szerint ez a megközelítés három számjegyű millió dolláros pénzügyi kockázatot segített kordában tartani úgy, hogy közben az elfogadás tovább haladt.

Az SAP szerint a következő feladat a gyakorlatok beépítése a rendszeres tervezésbe és jelentésekbe, a felelősségi körök pontosítása, az elosztás javítása, valamint annak előrejelzése, hogy merre tartanak a költségek. A vállalatoknak így továbbra is számolniuk kell AI-kiadásokkal, de jobban megkülönböztethetik a valódi értéket termelő fogyasztást a pazarlástól.