Az Arize Signal a gyártási AI-ügynökök hibáit vizsgálja

A Signal a nyomkövetésekből indul ki

Az Arize 2026. augusztus 4-én bemutatott megoldása, a Signal, felügyelt ügynökként működik az Arize AX-ben. Ütemezetten áttekinti a gyártási nyomkövetéseket, csoportosítja az ismétlődő hibákat, majd rangsorolt problémákat jelenít meg.

Az egyes problémákhoz vizsgálat, alátámasztó nyomkövetések, valószínű ok és javasolt következő lépés tartozik. A javaslat lehet prompt-, kód-, konfigurációs vagy kiértékelési változtatás. Az Arize szerint a folyamat ellenőrzött körben marad: a gyártási működés bizonyítékká válik, ebből vizsgálat készül, a változtatást pedig tesztelik, mielőtt egy mérnök eldönti, mi kerülhet be.

A fejlesztők felelősek a módosítások átnézéséért és összevonásáért. A felügyelt ügynökök közvetlenül nem telepítenek változtatást a gyártási környezetbe.

Miért nehéz megtalálni az AI-ügynökök hibáit?

Az AI-ügynökök hibái gyakran nem hagyományos szoftverhibaként jelennek meg. Egy kérés sikeresen visszatérhet úgy is, hogy az ügynök rossz munkafolyamatot választott, hibás eszközt hívott meg, rosszul formázott argumentumokat adott át, üres vagy irreleváns találatot kapott, illetve ismételten ugyanazt a tervezési lépést hajtotta végre.

Az ügynök válasza akár meggyőzőnek is tűnhet megbízhatatlan működési útvonal mellett. A kódbázis azt mutatja meg, milyen útvonalakat járhat be a rendszer, a nyomkövetés pedig azt, amelyet ténylegesen bejárt. Ezért az Arize szerint a trace az ügynök viselkedésének elsődleges forrása.

Egyetlen hibás futás kézzel megvizsgálható, több ezer vagy akár több millió futás szemantikai mintázatainak áttekintése azonban más léptékű feladat. A kiértékelések jelezhetik, hogy egy alkalmazás nem teljesítette a minőségi követelményt, de önmagukban nem feltétlenül mutatják meg, hogy egy közös útválasztási hiba, több különálló eszközhiba vagy munkamenet-állapot okozta-e a problémát. Ezt a vizsgálati réteget adja a Signal.

Beállítás és használat az Arize AX-ben

A Signal használatához először teljes körű műszerezésre van szükség. A nyomkövetéseknek az ügynök útvonalát is láthatóvá kell tenniük, beleértve a felhasználói bemenetet és a végső választ, a nyelvi modell hívásait, a késleltetést, a tokenmennyiséget, az eszközök nevét, bemeneteit és kimeneteit, a visszakeresési műveleteket, az ügynök- vagy csomópontváltásokat, a hibákat, az újrapróbálkozásokat és a szükséges munkamenet-metaadatokat.

Az Arize támogatja a műszerezést kódoló ügynökön keresztül és kézi módon is. A vállalat azt javasolja, hogy a Signal bekapcsolása előtt a fejlesztők legalább egy jellemző nyomkövetést manuálisan ellenőrizzenek. Ennek alapján meg kell állapíthatónak lennie, milyen útvonalat választott az ügynök, milyen eszközöket hívott meg, mit adtak vissza ezek, hol tért el a várt működéstől, és mit kapott végül a felhasználó.

Ha a nyomkövetések már elérhetők, az Arize AX-ben a projekt navigációjának Signal lapjáról lehet engedélyezni a funkciót. Ez ismétlődő automatizálást hoz létre az adott projekthez. A beállításoknál módosítható az ütemezés, és további vizsgálati kontextus is megadható. Repository-kapcsolat ehhez a kezdeti lépéshez nem szükséges.

Kiértékelések, súlyozás és GitHub-kapcsolat

A kiértékelések pontosabbá teszik a Signal által használt bizonyítékokat. Az Arize olyan viselkedési szerződések kialakítását javasolja, amelyek a felhasználóknak tett ígéretekhez vagy működési követelményekhez kapcsolódnak. Ilyen lehet a helyes ügynök- vagy eszközválasztás, a sikeres feladatvégrehajtás, a válasz megalapozottsága, az idézetek érvényessége, az újrapróbálkozások maximális száma, a munkamenet koherenciája, a szabályzatok betartása és a formátum.

A Signal problémanézete időbeli hibamennyiséget és az észlelt mintázatok rangsorát mutatja. A problémákhoz tartozó nyomkövetések alapján megvizsgálható a gyakoriság, az egyes esetek kárértéke és az, hogy milyen széles körben terjedhet a hiba. Az Arize példája szerint egy belső ügynök ismétlődő befejezési és teendőfrissítési ciklusba került. A hiba viszonylag kevés nyomkövetésben jelent meg, de egyetlen nyomkövetésben 105 alkalommal ismétlődött, ami költség- és megbízhatósági kockázatot jelentett.

Ha a nyomkövetések kellően alátámasztják a problémát, Enterprise-munkafolyamatban GitHub-tárhely kapcsolható a Signalhez. A rendszer így a futás közbeni viselkedést a megvalósítással is összevetheti, és felülvizsgálatra pull requestet készíthet.

A Signal problémadetektálása minden Arize AX-csomagban elérhető. A repository-alapú vizsgálat, a pull request létrehozása, az Agent Studio és a szélesebb felügyeltügynök-munkafolyamatok Enterprise-funkciók. A kapcsolódó adathalmazok, kiértékelések és kísérletek azt mérik, hogy a javasolt javítás ténylegesen javította-e az ügynök működését.