A Factory szerint az ügynökök modellválasztását a vezérlőrétegbe kell tenni

A gateway csak a kérés egy részét látja

A Factory augusztus 24-én közzétett elemzése szerint az ügynökalapú rendszerek terjedésével nő a következtetésre fordított kiadás. Az ügynökök összetettebb feladatokat végeznek, hosszabb ideig futnak önállóan, és egyetlen feladat során több tucat vagy akár több száz modellhívást is indíthatnak.

A modellek ára a komoly ügynöki munkára alkalmas rendszerek között több mint ötvenszeres eltérést mutat. A vállalat szerint ezért egyre több szervezet helyez modellválasztást éles környezetbe. A hagyományos átjáró, vagyis gateway minden alkalmazás modellkéréseit továbbíthatja a szolgáltatókhoz, betarthatja az engedélyezett modellekre vonatkozó szabályokat, és szolgáltatói hiba esetén átirányíthatja a forgalmat.

A gateway azonban egy kérést lát, amelyben bemenet érkezik, tokenek távoznak, majd lezárul a kapcsolat. Az ügynök vezérlőrétege ezzel szemben a több órán át futó számítás teljes folyamatát követi. Ismeri az előzményeket, a gyorsítótár állapotát, az eszközök eredményeit, a teszteket, a létrejött fájlokat és a feladat kimenetelét.

A Factory mérései szerint csökkent a költség és a késleltetés

A Factory közlése szerint a Factory Router több mint két hónapja irányít ügyfélmunkát éles környezetben. A routing az összesített költséget 58 százalékkal csökkentette ahhoz képest, mintha minden hívás a frontier modellt használta volna. A medián munkamenet 76 százalékot takarított meg, és a munkamenetek több mint kilenctizedében legalább 50 százalékos megtakarítás született.

A vállalat szerint a routinggal futó munkamenetek nyolc éles mérőszámban egyeztek a minden hívásnál frontier modellt használó munkamenetekkel. Ezek között szerepelt a feladat teljesítése, a parancs- és teszthibák száma, az ismételt szerkesztések, az átadott eredmények, valamint az is, hogy a felhasználók elfogadták-e az eredményt, vagy újrakezdték a munkát.

A medián köridő 81 másodpercről 49 másodpercre csökkent. A Factory ezt azzal magyarázza, hogy az egyszerűbb lépésekhez választott hatékonyabb modellek gyorsabban válaszolnak.

A megfelelő modell a feladat közben is változhat

A Factory példája szerint egy hibásan működő teszt javításánál a feladat elején elegendő lehet egy hatékonyabb modell. Ez beolvashatja a CI-naplót, megtalálhatja a hibás hívás körüli újrapróbálási burkot, reprodukálhatja a hibát, és feltérképezheti a kapcsolódó kódrészletet. Ha később kiderül, hogy két tesztcsomag közös erőforráson ütközik, a versenyhelyzet diagnosztizálásához már indokolttá válhat egy erősebb frontier modell használata. A mechanikus módosítások elvégzéséhez ezután ismét elég lehet a hatékonyabb modell.

A váltás költsége azonban függ a gyorsítótárazott előzményektől. A szolgáltatók egy adott modellhez gyorsítótárban tarthatják a feldolgozott előtagot, amelynek újrahasználata jellemzően a friss bemeneti ár tizedébe kerül. Másik modellre váltáskor az előzmény feldolgozását újra el kell végezni, ami a Factory szerint a gyorsítótárazott bemenet költségének ötszörösébe-tízszeresébe kerülhet.

Ezért a vállalat szerint a legolcsóbb következő hívás sokszor az éppen bemelegített modellhez tartozik, még akkor is, ha egy másik modell listaára alacsonyabb. A Factory méréseiben a gyorsítótárat figyelmen kívül hagyó működés költsége a 61-150. forduló között elérte a frontier modellre épülő alapérték 2,12-szeresét, a 151-200. forduló között pedig a 2,37-szeresét. A gyorsítótárat figyelembe vevő routing ugyanezen összevetésben 0,19 és 0,28 közötti értéken maradt.

A hír a felhasználók számára azt jelenti, hogy az ügynökrendszerek a feladat különböző szakaszaiban eltérő modelleket használhatnak. A Factory állítása szerint ehhez a modellválasztást ott kell elvégezni, ahol a következő kérés összeáll, és ahol az ügynök teljes munkafolyamatának eredményei rendelkezésre állnak.