Az Asana 76-szor olcsóbbá tette böngészőügynökét

Egy hét alatt vizsgálták át a böngészőügynököt

Az Asana a StackAI platformon keresztül segít ügyfeleinek üzleti alkalmazásokban végzett feladatokat automatizálni. A platformon kódírás nélkül lehet olyan munkafolyamatokat létrehozni, amelyek webhelyeket navigálnak, űrlapokat töltenek ki és információkat gyűjtenek. Az Asana a StackAI-t korábban felvásárolta.

A vállalat StackAI-ért felelős technológiai vezetője, Frank Hidalgo, PhD, azt vizsgálta, hogyan lehetne gyorsabban és olcsóbban futtatni a böngészőügynököt. A munkában GPT-6 Astra dolgozott a Codexben. A rendszer feltérképezte a kódbázist, megvizsgálta az ügynök kéréseit, majd teszteket futtatott és összehasonlította az eredményeket.

Hidalgo becslése szerint a feladat kézi elvégzése egy-két hónapot vett volna igénybe, GPT-6 Astra használatával azonban körülbelül egy hét alatt lezajlott. A mérnök kiválasztotta a tesztelendő változtatásokat, az Astra pedig elvégezte a kísérleteket.

A feleslegesen újraküldött előzmények okozták a költséget

Az elemzés szerint az ügynök gyorsítótárazta az állandó utasításokat és az eszközleírásokat, a böngészés közben felhalmozódó szöveget és képernyőképeket azonban nem. Emiatt minden új kérés teljes áron újraküldte a korábbi előzményeket.

A rendszer közben szinte minden lépésnél törölt régebbi képernyőképeket és rövidítette a szöveget. Ez ugyan csökkentette az előzmények méretét, de folyamatosan módosította azok tartalmát, így önmagában az előzmények gyorsítótárazása nem oldotta volna meg a problémát. A korábban kiolvasott információk elvesztése miatt az ügynöknek egyes oldalakat újra fel kellett keresnie.

Az Asana három módosítást tesztelt: kiterjesztette a gyorsítótárazást a böngészési előzményekre, növelte a megtartható szöveg mennyiségét, és a képernyőképek egyenkénti törlése helyett kötegekben távolította el őket.

A 144 futtatásból álló vizsgálatban négy modellt hasonlítottak össze. A konfigurációk ugyanazt a feladatot kapták: egy nyilvános demókatalógus 32 könyvéből kellett hat-hat adatot összegyűjteni. A tesztelt előzménykeretek 120 000 és 480 000 karakteresek voltak, hatféle gyorsítótárazási és képernyőkép-kezelési beállítással.

A legjobb beállítás 20 képernyőkép felhalmozása után csak a legutóbbit tartotta meg. A nagyobb előzménykerettel együtt ez hosszabb ideig változatlanul hagyta a korábbi adatokat.

0,47 dollárra csökkent a futtatás becsült költsége

Az eredetileg használt Model B esetében a becsült modellköltség futtatásonként legalább 36,21 dollárról 1,24 dollárra esett, ami 29-szeres csökkenés. Az optimalizált munkafolyamat GPT-6.1 Sol modellen további 2,6-szeres megtakarítást hozott, így az átlagos költség 0,47 dollár lett.

A GPT-6.1 Sol esetében a nagyobb előzménykeret, az új gyorsítótárazási megoldás és a képernyőkép-kezelés együtt 1,97 dollárról 0,47 dollárra csökkentette a költséget. A bemenet 89 százaléka gyorsítótárból érkezett, amelynek ára az Asana közlése szerint a nem gyorsítótárazott bemenet árának 5 százaléka volt.

A futtatási idő is csökkent. A Model B eredeti beállításánál legalább 22,5 percre volt szükség, az optimalizált GPT-6.1 Sol munkafolyamat körülbelül négy perc alatt végzett. A vizsgálat mindhárom optimalizált futtatása teljesítette a feladatot és helyes választ adott.

A nagyobb előzménykeret a megbízhatóságot is javította. A kisebb keretnél 18 futtatásból három adott választ, a nagyobb keretnél mind a 18 futtatás helyes választ eredményezett.

Az Asana a változtatásokat már használja a StackAI-ban

Az Asana kiadta a böngészőnavigációhoz kapcsolódó módosításokat a StackAI-ban. A vállalat olyan eszközök fejlesztésén dolgozik, amelyekkel hasonló kísérletek ismételhetőbbé válnak. Tervei szerint a tesztelést idővel beépíti a platform értékeléseibe, így az ügyfelek és a belső csapatok a beállítások kiválasztásakor összehasonlíthatják a költséget, a futási időt és a válasz minőségét.

Az Asana GPT-6 Astra segítségével már termékfunkciókat is tesztel a kiadás előtt. Az Astra navigál a platformon, különböző bemeneteket próbál ki, majd hibákat jelez az emberi minőségbiztosítási ellenőröknek.

Frank Hidalgo szerint „a költség korábban korlátozta, hogy mely modelleket kínálhattuk az ügyfeleknek ezekhez a munkaterhelésekhez. Az ügynök hatékonyabbá tételével jobb és gyorsabb modellt adhatunk az ügyfeleknek, miközben csökkentjük a működési költségeinket”.