DigitalOcean Signals: átláthatóbbá teszi az AI-ügynökök működését

A zöld műszerfal nem feltétlenül jelent jó felhasználói élményt

A DigitalOcean október 28-án bemutatott Signals szolgáltatása arra a problémára keres választ, hogy a hagyományos infrastruktúra-metrikák önmagukban nem mutatják meg, jól teljesített-e egy AI-ügynök. Egy futás elindulhat és befejeződhet, a tokeneket pedig kiszámlázhatják, miközben a felhasználó hosszasan próbálkozik ugyanazzal a sikertelen paranccsal, majd feladja vagy újrafogalmazza a kérését.

Az ügynökök nem determinisztikus működése miatt ugyanaz a kérés egyik nap sikeres lehet, máskor pedig elakadhat. A problémára utaló jelek gyakran a beszélgetésben megtalálhatók, de egy produkciós rendszerben naponta több száz, akár több ezer eseményből álló beszélgetés is létrejöhet. A teljes átiratok kézi átnézése nem skálázható, minden beszélgetés másik modellel történő értékelése pedig jelentős költséggel járhat.

25 jel három működési rétegben

A Signals a DigitalOcean Managed Agents, Harness Runtime és a DigitalOcean Inference Engine produkciós beszélgetéseit figyeli, a felhasználó hozzájárulásával. A szolgáltatás 25 jeltípust használ, amelyek három rétegbe tartoznak: interakciós, végrehajtási és környezeti jelek.

Az interakciós jelek a felhasználó reakcióit írják le. Ide tartozik az eltérés a kéréstől, például a pontosító kérdés, a javítás vagy az újrafogalmazás, továbbá a haladás nélküli beszélgetés, az ismétlődő válasz, az eszkalációs kérés, a negatív hozzáállás és a beszélgetés megszakítása. A rendszer a pozitív jeleket is felismeri, például amikor a felhasználó megerősíti a választ, köszönetet mond vagy eléri a célját.

A végrehajtási jelek az eszközhívások és műveletek sikerét vizsgálják. A kategóriába tartoznak az érvénytelen argumentumok, a hibás lekérdezések, a nem létező eszközök, az adott állapotban érvénytelen műveletek és a hitelesítési adatok helytelen használata. A hurokészlelés az egyszerű újrapróbálkozásokat, kissé módosított paraméterekkel megismételt műveleteket és két művelet közötti váltakozást jelzi.

A környezeti réteg az ügynök körüli infrastruktúrát figyeli. Külső API-hibákat, túlcsordult kontextust, hibás választ, hálózati hibát, sebességkorlátozást és időtúllépést keres.

Determinista elemzés, pontosan megjelölt bizonyítékok

A jelek kiszámítása magából az interakcióból történik, modellhívás nélkül. A DigitalOcean szerint a detektálás determinisztikus és olcsó, ezért a megfigyelés költsége nem a forgalommal együtt, beszélgetésenkénti nyelvimodell-értékeléshez hasonló módon növekszik. Ugyanaz a beszélgetés minden alkalommal ugyanazokat a jeleket eredményezi.

A Signals első körös triázst végez. A célja annak kiválasztása, mely beszélgetések igényelnek emberi ellenőrzést vagy költségesebb modellalapú értékelést. A jelek nem osztályzatok, csak azt mutatják, hogy egy beszélgetés közelebbi vizsgálatra érdemes. Ez lehet javítandó hiba, de olyan jó példa is, amelyből a fejlesztők többet szeretnének látni.

A szolgáltatás minden jelhez hozzárendeli a futást, a lépés sorszámát, egy megbízhatósági pontszámot és egy rövid részletet. A beszélgetésekből jelentés készül, amely az összesített minőséget az Excellent és Severe közötti skálán jelzi, felsorolja az észlelt jeleket, valamint megjelöli a külön figyelmet igénylő munkameneteket.

A DigitalOcean által idézett, kontrollált τ-bench vizsgálatban a Signals által megjelölt munkamenetek 82 százaléka bizonyult informatívnak. Véletlenszerűen kiválasztott munkameneteknél ez az arány 54 százalék volt. A vállalat szerint ez azt jelenti, hogy azonos ellenőrzési keret mellett a kijelölt munkamenetek átnézése körülbelül 1,5-szer több hasznos példát eredményezett. A produkciós eredmények ettől eltérhetnek.

Hozzájáruláshoz kötött, és adatvédelmi beállításokat is kínál

A Signals nyilvános előzetesben érhető el, alapértelmezés szerint ki van kapcsolva, és környezetenként engedélyezhető. A hozzájárulást rögzíti a rendszer, az bármikor visszavonható, a gyűjtött adatok pedig törlési kérelemre eltávolíthatók. A beszélgetések tartalma a DigitalOcean-csapat határain belül marad, és nem használják fel más ügyfelekkel közös modelltréningre.

A szolgáltatás a Harness Runtime és az Inference Engine által már előállított beszélgetési adatfolyamot használja, ezért nincs szükség külön műszerezésre vagy az ügynökkód módosítására. A munkamenetek általában az inaktivitás kezdetétől számított 30 percen belül jelennek meg, a Signals nézet metrikáinak frissülése azonban akár egy órát is igénybe vehet.

A nyilvános előzetesben a Signals használata mind a Managed Agents, mind a Serverless Inference esetén díjmentes. Az induláshoz legalább a doctl 1.181.0 verziója, valamint a signals:query és signals:update hatókörrel rendelkező token szükséges. A szolgáltatást a Control Panelben lehet bekapcsolni a Harness Runtime Signals lapján. Az Inference Engine esetén az előzetesben az engedélyezés és az adatok olvasása API-n és doctlon keresztül érhető el, a Console felülete később következik.

A megjelölt munkamenetek exportálhatók adatkészletként, amelyek közvetlenül felhasználhatók értékelésekhez és szimulációs forgatókönyvekhez. Így ugyanazok a produkciós esetek szolgálhatnak a problémák kivizsgálására, az ügynökök javítására és a további tesztelés alapjául.