Az Arize Phoenix kódot ír a böngészőben a felhasználó helyett

A kódmód csökkenti a köztes modellköröket

Az Arize szeptember 25-én bemutatott fejlesztése a kódmódot (code mode) ülteti át egy olyan webalkalmazásba, amelyet közben ember is használ. A kódmód lényege, hogy az ügynök a feladat végrehajtása közben ír kódot, és ezt használja a műveletek elvégzésére.

Az Arize szerint ez azért fontos, mert a hagyományos eszközhasználatnál minden lépés külön körben zajlik. A modell kiválaszt egy eszközt, argumentumokat generál, a rendszer végrehajtja a hívást, majd az eredmény visszakerül a modellhez, amely újra döntést hoz. Több eszköz használata így több modellkört, késleltetést és tokenfelhasználást jelent.

A kód ezzel szemben feltételeket, ciklusokat, kötegelt műveleteket és láncolást is lehetővé tesz. A Phoenix esetében a korábbi eszközöket a rendszer egy szoftverfejlesztői készletben (SDK) fejezte ki függvényekként. Így az ügynök olyan műveletsorokat is összeállíthat, amelyekhez korábban külön eszközre lett volna szükség.

A PXI a böngészőben futtatja a felhasználó által jóváhagyott kódot

A Phoenixbe épített PXI a szerveren írja meg a szkriptet, majd elküldi azt a böngészőnek. A felhasználó egy egysoros leírást lát arról, hogy a kód várhatóan mit fog tenni, és magát a kódot is megtekintheti. Ha a művelet módosít valamit, a rendszer jóváhagyást kér.

Az elfogadott szkript ezután Web Workerben fut, ugyanabban a böngészőlapban, ahol a Phoenix alkalmazás meg van nyitva. A szkript által meghívott függvényeket a webalkalmazás ellenőrzi és hajtja végre, ugyanúgy, ahogyan egy gomb megnyomása vagy egy billentyűparancs tenné.

Az Arize azért nem elégedett meg azzal, hogy a PXI közvetlenül az alkalmazás programozási felületét használja, mert a Phoenix egyes funkciói kizárólag a böngészőben léteznek. Ilyen például a játszótér, ahol a promptok összehasonlítása, a példányok, a modellbeállítások és a változók helyi állapotként maradnak a böngészőlapban. A böngészőben végrehajtott műveletek ráadásul azonnal frissíthetik a látható felületet.

54 böngészőművelet két eszköz mögött

A PXI böngészőbeli felülete két eszközből áll. A search_browser_actions a végrehajtható műveletek katalógusát adja vissza TypeScript-aláírásokkal, dokumentációval és azzal az információval, hogy az adott művelet használható-e az aktuális oldalon. Az execute_browser_action JavaScript-programot, a felhasználónak szóló egysoros összefoglalót és szükség esetén a módosítások leírását fogadja.

A katalógus 54 műveletet tartalmaz. Ezek a korábban használt 58 eszközből származnak, amelyeket az Arize eltávolított, majd a legtöbbet függvényként ültette át a kódmód környezetébe. A szerver adatait olvasó műveleteket kihagyták, mert a PXI a Bash eszközön keresztül GraphQL-klienst is használhat.

A változás a tokenfelhasználásban is megjelenik. A Phoenix játszóterén a korábbi kialakítás 33 eszközt írt le, ami az Arize mérése szerint minden kérésnél körülbelül 14 700 tokent jelentett. A két új eszköz leírása körülbelül 2 300 tokenbe kerül minden oldalon.

Egy szkript több modell eredményét is összegyűjtheti

Az Arize példája szerint a PXI olyan folyamatot is összeállíthat, amely felsorolja a beépített modelleket, egyenként beállítja őket, lefuttatja a játszóteret, kiolvassa az eredményt, majd egyetlen válaszban visszaadja az összegyűjtött adatokat. Ehhez nem kellett külön, „ötven modell összehasonlítása” nevű eszközt létrehozni, az ügynök három műveletből és egy ciklusból állította össze a folyamatot.

Az Arize szerint egy tíz eszközhívásból álló munkafolyamat így egyetlen szkriptté válhat. A fejlesztés során olyan eseteket is láttak, amikor 15 oda-vissza modellkör egy procedurális szkriptbe sűrűsödött. Ez azoknál a lépéseknél működik különösen jól, amelyek számításra épülnek. Ha a modellnek egy eredmény alapján döntenie kell, a szkriptnek továbbra is le kell állnia, hogy a modell értelmezhesse az adatot.