Az Alteryx szerint akár 95 százalékkal csökkenthető az AI tokenköltsége
Az Alteryx és partnere, a NextWave tesztjei szerint az előzetes adatfeldolgozás, a rögzített üzleti logika és a megfelelő modellválasztás jelentősen csökkentheti a nagy nyelvi modellek költségét. A vállalat állítása szerint egyes feladatoknál 95 százalékkal kevesebb tokenre, 85 százalékkal rövidebb végrehajtási időre és akár 100 százalékos pontosságra volt szükség.
- Az Alteryx szerint akár 95,06 százalékkal is csökkenthető a tokenfogyasztás.
- A NextWave 120 tranzakció egyeztetésénél a hibrid megoldás minden hibát megtalált.
- Az Apex Margin Leak teszt futási ideje 220 másodpercről 34 másodpercre csökkent.
- 480 tesztben a munkafolyamatok legfeljebb 93 százalékos tokencsökkenést értek el.
- Az Alteryx a bemenet csökkentését, a szelektív modellhasználatot és az újrahasználatot javasolja.
A szabályalapú feldolgozás tehermentesíti a nyelvi modellt
Az Alteryx közlése szerint a generatív AI vállalati bevezetését gyakran a magas tokenfogyasztás és a pontatlan eredmények lassítják. A vállalat és partnere, a NextWave ezért olyan teszteket végzett, amelyekben azt vizsgálták, hogyan befolyásolja az AI költségét és teljesítményét az adatok előkészítése, az üzleti logika és a modell kiválasztása.
A vizsgált megközelítésben az Alteryx végezte az adat-előkészítést, a determinisztikus üzleti logika alkalmazását és az összesítést. A nagy nyelvi modell feladata az értelmezés, a szintézis és a végső kimenet létrehozása volt. Így a modellnek nem kellett nyers, rendezetlen adatállományokból önállóan kódot és számítási logikát létrehoznia.
A NextWave pénzügyi tesztjén minden hibát megtaláltak
A NextWave független vizsgálata egy pénzügyi egyeztetési feladatot elemzett. A tesztben az előlapi tranzakciós nyilvántartásokat kellett összevetni a háttérirodai elszámolási adatokkal, hogy azonosítsák az eltéréseket.
Az egyik módszer közvetlenül egy önálló nagy nyelvi modellhez továbbította a nyers tranzakciós adatokat. A másikban egy Alteryx-munkafolyamat végezte az adatok párosítását, szűrését és az egyeztetés szabályalapú részét, majd csak az előfeldolgozott összefoglaló eltérések kerültek a modellhez.
A NextWave eredménye szerint az Alteryx-munkafolyamat használata 20-szoros, pontosan 95,06 százalékos tokencsökkenést hozott, miközben az összes hibát észlelték. Egy 120 tranzakciót tartalmazó éles egyeztetésben az önálló modell két kritikus eltérést kihagyott, pontossága 81,8 százalék volt, míg a hibrid megoldás 100 százalékos eredményt ért el.
480 próba több mint 50 vállalati feladaton
Az Alteryx szakértői 480 tesztet futtattak több mint 50 vállalati feladaton és több mint 12 iparágban. A vizsgálatban az önálló nagy nyelvi modellek által nulláról létrehozott, egyszer használatos kódot hasonlították össze az olyan futtatásokkal, amelyek egy modellt egy meglévő, szabályozott Alteryx-munkafolyamattal együtt használtak.
Az úgynevezett Apex Margin Leak feladatban a nyereség csökkenésének okát kellett feltárni több termékkategóriából, értékesítési csatornából, földrajzi régióból és beszállítói szerződésből származó, rendezetlen adatok alapján. Az önálló modell csaknem négy percig dolgozott, több mint 1,1 millió tokent használt fel, és az Alteryx szerint nem adott megbízhatóan pontos eredményt.
Az előre elkészített munkafolyamat előbb elvégezte az összekapcsolásokat, számításokat és összesítéseket. Így a modell tiszta, strukturált összefoglalókat kapott. A futási idő 220 másodpercről 34 másodpercre csökkent, ami 84 százalékos gyorsulás, a pontosság pedig 100 százalék lett.
Az Alteryx 480 teszt alapján legfeljebb 93 százalékos tokencsökkenést és legfeljebb 85 százalékos gyorsulást mért. A munkafolyamatok átlagosan 97,5 százalékos pontosságot értek el az önálló modell 70 százalékával szemben.
Három módszerrel mérsékelhető a tokenfogyasztás
Az Alteryx szerint a költségoptimalizálás három gyakorlatra épül. Elsőként csökkenteni kell a modell bemenetét előszűréssel, összesítéssel és dokumentumok darabolásával. Másodszor csak akkor célszerű modellt bevonni, amikor arra szükség van, az egyszerű kereséseket és a szabályalapú döntéseket pedig a feldolgozási folyamatban kell kezelni.
Harmadikként a vállalat a gyorsítótárazást és a meglévő munkafolyamatok újrahasználatát emeli ki, amelyek csökkenthetik az ismétlődő API-hívásokat. A közlemény szerint a munkafolyamatok tervezése az Alteryx Designerben nem jár változó token- vagy számítási díjjal, a gyártási futtatások pedig a változó tokenköltséget kiszámítható platformoldali számításra cserélik.
