A kódmód felére csökkentette az AI-ügynökök költségét egy tesztben
A kódmód hosszú, sok lépésből álló feladatoknál jelentősen csökkentheti az AI-ügynökök költségét és futási idejét a Pydantic benchmarkja szerint. A módszerrel az ügynök egyenkénti eszközhívások helyett programot ír, amely elvégzi az ismétlődő műveleteket.
- A benchmark 5276 futást és nyolc modellt vizsgált.
- Hosszú feladatoknál a kódmód 58 százalékkal csökkentette a költséget.
- A futási idő átlagosan 51 százalékkal rövidült.
- 200 elemnél a kódmód 47 és 75 százalék között volt olcsóbb.
- Rövid feladatoknál a kódmód egyes esetekben drágább volt.
Hosszú feladatoknál látványos a különbség
A Pydantic öt kisebb Pydantic AI alkalmazáson végzett belső benchmarkot. A tesztben bevásárlókosár, naptár, chat, kanbantábla és készletkezelő rendszer szerepelt, mindegyikben egyetlen elemet kezelő CRUD-eszközökkel és lapozott listákkal. A vizsgálat nyolc modellt, két működési módot és 5276 értékelt futást foglalt magában.
A vállalat háromféle feladatot tesztelt: hétköznapi kéréseket, hosszú, több lépésből álló munkákat, valamint 5 és 200 elem között skálázott feladatokat. A hosszú feladatoknál a kódmód használata átlagosan 58 százalékkal csökkentette a költséget, 51 százalékkal a futási időt, a sikerességi arány pedig 16,0 százalékponttal javult. Kódmód nélkül 288 futásból 67 sikertelen volt, bekapcsolva ez a szám 21-re csökkent.
A modell programot ír az ismétlődő műveletekhez
Hagyományos eszközhívásnál a modell kiválaszt egy eszközt, elküldi a paramétereket, megvárja az eredményt, majd újra dönt. Hosszabb munkáknál így minden köztes eredmény visszakerül a modellhez, miközben az eszközleírások és a növekvő kontextus is terheli a kéréseket.
Kódmódban az eszközök függvényként jelennek meg egy korlátozott környezetben. A modell olyan programot írhat, amely ciklust, elágazást vagy párhuzamos végrehajtást használ, és csak a végeredményt adja vissza. A Pydantic példájában egy 122 soros bevásárlókosárból kellett eltávolítani a darabonként 50 dollárnál drágább tételeket. A 22 törlést a program automatikusan, a lapozott listák feldolgozásával végezte el.
A módszer előnye nem kizárólag a modellkérések számának csökkentéséből fakadt. A Pydantic szerint a modellek kódmód nélkül is képesek voltak egyetlen válaszban 200 eszközhívást kötegelni. 200 elemnél a modellkérések száma modellenként és feladatonként 1 és 22 százalék között csökkent, miközben a kérések tartalma jóval kisebb lett.
A kódmódnak ára is van a rövid munkáknál
A gpt-6.1-sol modellnél minden további 100 elem kódmód nélkül 30 és 79 másodperc közötti időt, valamint futásonként 0,04 és 0,07 dollár közötti költséget jelentett. Kódmóddal négy feladatnál 4 és 9 másodperc közé esett ez az idő, három feladatnál pedig egy cent alatt maradt a költség. 200 elemnél a kódmód 47 és 75 százalék között volt olcsóbb.
A rövid feladatoknál viszont többletköltség is jelentkezett. Öt elemen a kódmód az öt feladat közül háromnál 21 és 38 százalék között drágább volt. Az 50 hétköznapi tesztnél összesítve 16 százalékos megtakarítást mértek, a sikeresség változása viszont csak 1,6 százalékpont volt.
Sandbox védi a futó programot
A Pydantic AI Harness a kódmódhoz a Rustban írt Monty Python-értelmezőt használja. A környezet alapértelmezés szerint nem fér hozzá a gazdagép fájljaihoz, környezeti változóihoz, órájához vagy a hálózathoz. A hozzáféréseket kérésenként lehet engedélyezni, az eszközhívások pedig a Pydantic AI rendszeren keresztül jutnak el a tényleges eszközökhöz.
Egy futtatás alapértelmezés szerint legfeljebb 30 másodpercig tarthat, a memóriahasználat pedig 256 MiB-ra korlátozott. A Pydantic szerint egy új sandbox futó munkafolyamatból kevesebb mint egy milliszekundum alatt elindítható. A vállalat értelmezése szerint a modellek hosszú feladatoknál hatékonyabban írnak ciklust, mint ahogy egyenként hajtanák végre ugyanazokat a lépéseket, ezért a kódmód főként az ismétlődő, nagy elemszámú munkák felhasználóinak lehet hasznos.
Pydantic: Why code mode could cut your agent bill
