A Microsoft módszertant adott ki az AI-kódolóügynökök javításához

A látszólag működő kód mögötti hibák

Az AI-kódolóügynökök gyakran olyan kódot készítenek, amely első ránézésre ésszerűnek tűnik, és akár le is fordulhat. Közelebbről vizsgálva azonban előfordulhat, hogy rossz SDK-verziót, elavult hitelesítési mintát vagy a termék fejlesztői által nem ajánlott beállítást használnak.

A Microsoft szerint ezek a hibák nem véletlenszerűek. Az ügynökök a rendelkezésükre álló tananyag és források alapján választanak SDK-t, verziót és megoldási mintát, miközben a fejlesztők egyre gyakrabban az így kapott eredmény alapján ítélik meg az adott technológiát. A vállalat szerint önmagában a modellek javulására várni nem stratégia. A technológiák készítői viszont módosíthatják azokat a forrásokat, amelyekre az ügynökök támaszkodnak, például a dokumentációt, az MCP-eszközöket, a skilleket, a bővítményeket, az utasításokat, a parancssori eszközöket és az API-kat.

Méréstől a kiváltó okig

Az AX Practitioner Playbook egy teljes folyamatot ír le a beállítástól a kiadott javításig. A Microsoft DevRel csapata 2025 őszétől az Azure, a Cosmos DB, a SharePoint Framework, vagyis az SPFx, valamint a Microsoft 365 Copilot-bővítmények esetében vizsgálta az ügynökök teljesítményét, a valódi fejlesztői feladatokhoz hasonló utasításokkal.

A módszertan a megbízható értékelés feltételeit is rögzíti. A Microsoft például olyan tökéletes pontszámokkal is találkozott, amelyek mögött le nem forduló kód állt, illetve olyan ellenőrzéssel, amely akkor is sikeres lett, ha az ügynök valójában nem használta az adott platformot. A playbook azt mutatja be, hogyan lehet jelentést készíteni arról, mi hibásodott meg, és hogyan lehet a teljes folyamatot megvizsgálni annak feltárására, miért történt a hiba.

A dokumentum kilenc, több technológiánál ismétlődő hibamintát ismertet. Ezek segítenek meghatározni, hogy először egy be nem töltődő bővítményt, egy meg nem hívott kiegészítést vagy egy helytelenül alkalmazott megoldást kell-e vizsgálni.

Valós példák és az AX Practitioner skill

A playbook lépései a Cosmos DB-n, az SPFx-en és más technológiákon végzett értékelésekből származó példákra épülnek. A Microsoft szerint ezek a vizsgálatok több tucat dokumentációs és ügynökbővítmény-javításhoz vezettek, köztük 46 fejlesztéshez az Azure Cosmos DB Agent Kitben. Az SPFx-projekt frissítése a forgatókönyvtől a kiadott javításokig végig szerepel a dokumentumban.

A Microsoft a PDF mellett kiadta az AX Practitioner skillt is. Ezt a felhasználók telepíthetik a kódolóügynökükbe, majd kérdezhetik a módszerről, például egy értékelési feltétel megfogalmazásáról vagy arról, miért hagyott figyelmen kívül az ügynök egy bővítményt. A skill a playbook alapján válaszol, és jelzi, ha egy kérdés túlmutat a dokumentumon. A Microsoft közlése szerint 330 kérdés alapján válaszai átlagosan 95 százalékos eredményt értek el a playbook tartalmához mérten.

A módszertan azoknak szól, akik SDK-t, API-t, szolgáltatást, parancssori eszközt, MCP-szervert, skillt, bővítményt vagy utasításkészletet készítenek, illetve az ezekhez tartozó dokumentációt írják. A playbook letölthető az aka.ms/ax-playbook címen, az értékelés pedig a Microsoft szerint bármilyen, megfelelő képességekkel rendelkező rendszerrel elvégezhető.