A DigitalOcean új eszközei élesben figyelik és tesztelik az AI-ügynököket

A Signals az éles hibákat keresi

A DigitalOcean október 11-én bemutatott Signals funkciója a DigitalOcean Managed Agents és a DigitalOcean Inference Engine forgalmát figyeli. A szolgáltatás olyan problémákat is megpróbál felismerni, amelyek a hagyományos megfigyelési eszközök számára technikailag sikeres működésnek tűnnek. Ilyen lehet például a rossz régiót visszaadó eszközhívás, a többször ismétlődő hívás vagy az, ha egy felhasználó elégedetlenül megszakítja a beszélgetést.

A Signals az egyes beszélgetési fordulókat munkamenetekké kapcsolja össze, majd három kategóriában osztályozza őket. Az Interaction jelek a felhasználói elégedettséget, például a javításokat, eszkalációkat és kilépéseket követik. Az Execution jelek az eszközök megbízhatóságát vizsgálják, köztük az érvénytelen argumentumokat és az újrapróbálkozási ciklusokat. Az Environmental jelek az infrastruktúra korlátait, például az időtúllépéseket, a sebességkorlátokat és a kontextus túlcsordulását jelzik.

A DigitalOcean szerint a rendszer egy olcsó első szűréssel választja ki a részletesebb vizsgálatra érdemes munkameneteket. A vállalat által ismertetett, a τ-bench benchmarkon végzett kontrollált vizsgálatban a módszer 82%-os informatív arányt és 1,52-szeres hatékonyságnövekedést ért el a véletlenszerű mintavételhez képest.

A Simulations teljes beszélgetéseket tesztel

A DigitalOcean Evaluations új képessége, a Simulations, többfordulós forgatókönyvekben vizsgálja a modelleket és ügynököket. A forgatókönyvek az ügynök konfigurációjából indulnak ki, ezért csak az általa támogatott célokat és eszközöket tesztelik. Ha a Signals engedélyezve van, a rendszer nagyobb súlyt ad azoknak a helyzeteknek, ahol az éles forgalom súrlódást mutat, illetve amelyeket a módosítás várhatóan érint.

Forgatókönyv létrehozható természetes nyelvű leírással is, például egy hiányos rendelési adatokkal jelentkező, dühös ügyfél visszatérítési kérésével. Egy felhasználói szimulátor fordulóról fordulóra játssza el a szerepet, miközben a vizsgált jelölt egy elkülönített, a Harness Runtime környezetben futó homokozóban működik. A termelési konfigurációban használt Action Gateway eszközei is rendelkezésre állnak, az adatot módosító vagy költséggel járó műveletek pedig álként futtathatók.

Minden forgatókönyv több alkalommal lefuthat. Az LLM-alapú értékelő olyan mutatókat pontoz, mint a felhasználói cél teljesítése, a tudás megőrzése és az eszközhasználat pontossága. Az alapállapot és a jelölt összevetése megmutatja, mi javult, és hol történt visszaesés.

A hibajelzésből regressziós teszt készülhet

A két funkció közös folyamatot alkot. A Harness Runtime és az Action Gateway az architektúra részeként már eseményeket bocsát ki, ezért a DigitalOcean szerint nincs szükség további műszerezésre. A Signals ezekből munkameneteket állít össze, kiszűri az informatív eseteket, majd a megjelölt munkameneteket egy kattintással értékelési forgatókönyvvé alakítja.

Ezután a Simulations a kiválasztott vagy természetes nyelven megadott helyzeteken futtatja végig a módosítást, majd kiértékeli a teljes pályát és az egyes eszközhívásokat. A megőrzésre érdemes forgatókönyvek regressziós tesztként menthetők el a következő változtatásokhoz.

A Signals használata engedélyezéshez kötött, és a DigitalOcean közlése szerint úgy tervezték, hogy feldolgozás előtt eltávolítsa a személyes azonosításra alkalmas adatokat. A nyomkövetések és az azokból származó értékelések a DigitalOcean Team határain belül maradnak, és nem használják őket több ügyfelet érintő modelltréninghez. Mindkét funkció Public Preview állapotban érhető el. A Signals jelenleg akkor működik a legjobban, ha az ügynök Managed Agentsen, a modellek pedig a DigitalOcean Inference Engine-en futnak. A preview nem támogatja a LangChain, Hermes és CrewAI külső ügynökeit.