Az AI-üzemeltetésben az ügynökök kutatják fel a hibákat

A telemetria mennyisége már meghaladja az emberi kapacitást

Az Arize szeptember 16-án közzétett írása szerint az AI-ügynököket éles környezetben működtető csapatok többsége már használ megfigyelhetőségi eszközöket és értékelő rendszereket. A nyomkövetések beérkeznek, az értékelők futnak, a vezérlőpultok pedig adatokat mutatnak.

A probléma az, hogy egy naponta több ezer felhasználót kiszolgáló alkalmazás több nyomkövetést és értékelési eredményt termel, mint amennyit egy csapat át tud nézni. A hibakeresési folyamatban korábban egy ember kapta a riasztást, átkutatta a nyomkövetéseket, megkereste a visszatérő mintát és a kiváltó okot, majd módosítást készített, beküldte, és megpróbálta tesztelni.

Az Arize szerint most az változik, hogy ki végzi az első vizsgálatot. Egy ügynök másodpercek vagy percek alatt elvégezheti azt a munkát, amely egy embernek órákig tarthat.

A Signal csoportosítja a hibákat és javítást javasol

Az Arize AX-ben elérhető Signal erre az első lépésre készült. Ütemezetten átvizsgál egy nyomkövetési projektet, a visszatérő hibamintákat problémákba rendezi, majd mindegyikhez vizsgálati anyagot készít. Ebben összefoglaló, megtekintendő nyomkövetési azonosítók és egy javasolt javítás szerepelhet, amely érintheti a promptot, a kódot, a konfigurációt vagy az értékelőt.

Ha a rendszerhez kódtárat is csatolnak, az ügynök a vizsgálatot a kódbázisba is átviheti, és pull requestet nyithat. A javítást ezután ember ellenőrzi.

Az Arize által felvázolt működésben az ügynökök észlelik a problémát, kivizsgálják azt, majd előkészítik a javítást. Az emberek határozzák meg, mit jelent a megfelelő minőség, és eldöntik, mi kerülhet ki.

Több szerepre szakosodott ügynökök dolgozhatnak együtt

Az Arize többféle, irányított ügynököt épít. Az egyik az értékelők emberi ítélethez igazításához gyűjti össze azokat a részleteket, amelyeket egy szakterületi szakértőnek kell felcímkéznie. Egy másik az értékelők minőségét figyeli, például jelzi, ha egy nyelvi modellre épülő bíró olyan feladatra fogyaszt pénzt, amelyet kód is elvégezhet, vagy ha egy értékelő mindig ugyanazt a címkét adja.

További szerepek a költségek figyelése, az adathalmazok lefedettségének ellenőrzése, a biztonsági és védelmi problémák keresése, valamint a beérkező adatok több szempont szerinti osztályozása. Ezeknek az ügynököknek jó minőségű nyomkövetésekre, naplókra és értékelési adatokra van szükségük.

Az Arize szerint a legtöbb csapat jelenleg egy ügynököt futtat, jellemzően a Signalt. SallyAnn DeLucia, a vállalat termékvezetője két vagy három ügynök megjelenését várja egy hónapon belül, és akár több tucat ügynököt is egyetlen alkalmazás mellett néhány hónapon belül.

Az ember szerepe átalakul, de nem tűnik el

Az Arize álláspontja szerint az emberekre továbbra is szükség lesz. A rögzített nyomkövetések, értékelések és az ügynökök számának növekedésével a kezelendő munka mennyisége is nő. Az ügynökök azokat a részeket vehetik át, amelyekhez nem kell szakterületi ítélet, így az emberek az adatok felcímkézésére, adathalmazok összeállítására, az ügynökök munkájának ellenőrzésére és irányítására fordíthatják figyelmüket.

Az AI-üzemeltetési szerepkör ezért az Arize szerint a telemetria kézi átvizsgálása helyett egy ügynökcsapat irányításáról szólhat. A szükséges készségek között a rendszertervezés, az alapelvekből kiinduló gondolkodás és a szakterületi tudás marad fontos. Új elemként jelenik meg annak képessége, hogy valaki ügynököket küldjön a feladatok elvégzésére, majd ellenőrizze a munkájukat.