A dbt kísérlete szerint közel felére csökkenthető az AI-költség

A nyers adatok feldolgozása egyre drágább lett

A dbt Labs belső AI-készségei, vagyis egy-egy feladat elvégzésére összeállított utasításcsomagjai, többek között a Gong, a Salesforce és a Slack adataira támaszkodnak. Ezek a készségek közvetlenül a beszállítói eszközök MCP-kapcsolatain keresztül kérik le a szükséges kontextust.

A vállalat szerint ez idővel több problémát okozott. A szolgáltatói kapcsolatok közös szervezeti API-korlátokon osztoznak, ezért egy nagy forgalmú munkafolyamat más csapatok lehetőségeit is csökkentheti. Az MCP-kapcsolatok paraméterei szintén korlátozottak lehetnek. A Gong MCP-je például nem kínál paramétert a hívások ügyfélnév szerinti keresésére, ezért az ügynököknek más rendszerekben kell egyezést keresniük, vagy nagy mennyiségű adatot kell beolvasniuk.

A dbt szerint a készségek külön-külön ismételték meg ugyanazt az adatlekérési logikát, majd a nyers adatokat minden alkalommal az LLM-nek kellett összefoglalnia. Egyetlen Gong-hívás leirata meghaladhatja a 70 000 karaktert.

Az összefoglalás a raktárban készül

A vállalat azt vizsgálta, mi történik, ha az adatok értelmezése egyszer, előre megtörténik az adattárházban. Az ügyfélhívások leiratai, a támogatási jegyek és az e-mailek szövegei már évek óta a dbt Labs adattárházában vannak, de korábban nem volt praktikus mód ezek nagy léptékű feldolgozására.

A dbt szerint az adattárházakban elérhető, SQL-en belül futó AI-funkciók ezt megváltoztatták. Az SQL az adatok lekérdezését és átalakítását végzi, a nyelvi modellek pedig a kontextus értelmezését. Az így elkészített tartalmat a dbt MCP szerveren keresztül az ügynökök közvetlenül lekérhetik.

Ez a megközelítés a „készítsd el egyszer, használd újra mindenhol” elvét követi. A dbt korábbi bejegyzése szerint a Gong-adatok tömörítése 20-szorosára csökkentette az adatmennyiséget, a leiratok elemzéséhez felhasznált tokenek számát pedig több tízezerről néhány százra mérsékelte.

80 futtatással hasonlították össze a módszereket

A kísérletben egyetlen készséget, a sales-pdf-buildert használták. Ez a készség Gong-hívásleiratokat kér le, majd a felhasználói kérés alapján márkázott összefoglaló PDF-et készít. Minden változat ugyanazt a készséget és ugyanazt a promptot használta, így a vizsgálatban kizárólag a kontextus begyűjtésének módja változott.

A dbt Labs négy adatlekérési útvonalat hasonlított össze 80 futtatásban. A kontrollváltozat közvetlenül a Gong MCP-jét használta. Az egyik változat a dbt MCP-n keresztül kérte le a teljes leiratot, egy másik a Gong által készített, a raktárba betöltött rövid összefoglalót, a harmadik pedig olyan összefoglalót használt, amelyet a teljes leiratok alapján, saját szabályokkal állítottak elő.

A mérés három szempontot követett: a munkafolyamat tokenköltségét, az LLM-kimenet minőségét és az eredmény előállításának sebességét. A vállalat előzetesen azt feltételezte, hogy a saját, mérnökileg kialakított összefoglalók egyensúlyt teremthetnek a költség, a gyorsaság és a minőség között.

A módszer olcsóbb és gyorsabb lett, de hiányosságai is voltak

A dbt Labs közlése szerint a saját adattárházból, a dbt MCP-n keresztül kiszolgált mérnökileg előállított összefoglaló 48,5 százalékkal csökkentette a költséget, a futási időt pedig 43,2 százalékkal rövidítette a Gong MCP-jére épülő alapváltozathoz képest.

A kivonat a teljes leiratban szereplő dátumok, számok és következő lépések nagy részét megőrizte. Ugyanakkor döntések és munkakörök kimaradtak belőle. A dbt ezért a kísérletet laborjelentésként mutatja be, amely nemcsak a megtakarítást, hanem azt is feltárja, milyen üzleti információk veszhetnek el az előzetes tömörítés során.

A felhasználók számára a megközelítés azt jelentheti, hogy az AI-készségek kevesebb nyers adatot olvasnak be, és gyorsabban készítik el az eredményt. A módszer ugyanakkor megköveteli, hogy a szervezet előre meghatározza, milyen információknak kell szerepelniük a saját összefoglalóiban.