A Microsoft eszköze megtalálja és ellenőrzi az AI-agentek kockázatait
A Microsoft bemutatta a run-assert-eval nevű fejlesztői eszközt, amely egyetlen VS Code-promptból tárja fel egy AI-agent kockázatait, méri a hibákat, majd ellenőrzi, hogy a bevezetett szabály valóban javított-e a helyzeten.
- A run-assert-eval egyetlen VS Code-promptból indítja a teljes értékelési folyamatot.
- A Clarity előzetesen feltárja az agent lehetséges, korábban le nem írt kockázatait.
- Az eszköz a megállapításokból ACS-futásidejű szabályzatot generál.
- A billing-agent hibaaránya a példában 30,0 százalékról 5,9 százalékra csökkent.
- Az összehasonlításban a tesztek és az értékelő változatlanok maradnak.
A kockázatok felderítésétől a javítás igazolásáig
A Microsoft Responsible AI csapata szerint az AI-agentek futásidejű irányítása még új terület. A run-assert-eval ezt a folyamatot köti össze egyetlen munkamenetben: először feltárja az adott agent szempontjából fontos kockázatokat, ezután megméri, milyen gyakran következnek be a hibák, a megállapításokból futásidejű szabályzatot generál, végül pedig újra lefuttatja az értékelést.
A megoldás a Microsoft korábbi eszközeire épít. Az ASSERT az írott követelményeket szigorú értékelésekké alakítja, az Agent Control Specification, vagyis ACS, pedig nyílt és gyártófüggetlen szabványként határozza meg, hol és hogyan érvényesíthetők a szabályok futás közben.
A rendszer előbb keres kockázatokat, aztán mér
A Microsoft szerint az egyik probléma az, hogy a csapatok gyakran csak azokat a kockázatokat írják le, amelyekre már gondoltak. A legfontosabb hibák között azonban olyanok is lehetnek, amelyeket előzetesen senki nem rögzített. A run-assert-eval ezért a Clarity segítségével fenyegetettségi modellezéssel kezdi a folyamatot.
Ha a projektben nincs .clarity-protocol/ könyvtár, a skill egymás után meghívja a Clarity MCP-szerver run_clarity, write_protocol_document és record_failure műveleteit. Az eredményt a projektben tárolja. A clarity_intake.py nevű elemző ezt követően modellhívás nélkül alakítja át a kimenetet lehetséges vizsgálandó viselkedésekké.
A Clarity súlyossági besorolásai prioritássá, a változatai pedig a tesztelés lehetséges szempontjaivá válnak. A rendszer a több, önállóan is tesztelhető viselkedést tartalmazó hibaleírásokat külön jelzi. A Microsoft leírása szerint a kiválasztandó kockázatokról végül ember dönt.
Billing-agenten mutatták be a működést
A bemutatott példa egy számlázási ügyfélszolgálati agentet vizsgál, amelyet egyetlen ügyfélszámla, az ACME-1001 kiszolgálására terveztek. Ennek az agentnek nem szabad másik számlához tartozó adatokat olvasnia vagy azon műveletet végrehajtania.
Az alapállapotban az agent 40 releváns beszélgetésből 12 esetben közölt egy másik ügyfélhez tartozó adatot. Ez 30,0 százalékos megfigyelt hibaarányt jelentett. A szabályozott futtatásban 34 releváns beszélgetésből két szabálysértést figyeltek meg, ami 5,9 százalékos arány. A Microsoft közlése szerint ebben a mintában nem fordult elő megengedett viselkedéssel kapcsolatos szabálysértés.
A két futtatás összehasonlíthatóságát az biztosítja, hogy a viselkedés definíciója, a tesztesetek és az értékelő változatlan marad. A két mérés között szándékosan csak az ACS-szabályzat módosul. Így a javulás a Microsoft szerint közvetlenül a bevezetett szabály hatásához köthető, nem pedig eltérő tesztekhez vagy értékelési módszerhez.
