A Microsoft 12 szimulált világgal fejleszti a számítógép-használó ügynököket

A képernyő önmagában nem elég

A Microsoft Research július 30-án ismertette az Echoverse projektet, amelynek célja olyan mesterséges világok létrehozása, ahol a számítógép-használó ügynökök biztonságosan tanulhatják meg a felhasználói felületek kezelését. Egy képernyőkép megmutatja, hogyan néz ki egy alkalmazás, de nem árulja el, milyen következménye van egy kattintásnak. Egy működő környezetben viszont egy üzenet eljut a címzetthez, egy módosítás mentett állapotot változtat, egy sikertelen művelet pedig jelzi, hogy az ügynök hibázott.

Az ilyen következmények jellemzően bejelentkezés mögött működő rendszerekben jelennek meg, például levelező- és csevegőalkalmazásokban, banki felületeken, egészségügyi nyilvántartásokban, illetve felhő- és gépi tanulási konzolokban. Ezek éles változatain nem lehet korlátlanul tréningezni, mert minden próbálkozás valódi fiókot módosítana, és nem lenne egyszerű visszaállítani az állapotot.

Az Echoverse ezért szintetikus világokat használ. Ezekben az adatbázis a fejlesztők ellenőrzése alatt áll, az állapot módosítható és visszaállítható, az eredmény pedig közvetlenül az alkalmazás adataiból ellenőrizhető.

Tizenkét világ, kétféle képzési cél

A projektben tíz mély, egy-egy szakterület munkafolyamatait modellező világ és két képességközpontú világ készült. Utóbbiak egyetlen nehéz vezérlési elemre összpontosítanak, például dátumválasztókra vagy egymásba ágyazott szűrőkre, amelyeket többféle formában jelenítenek meg.

A Microsoft Research szerint egy jó világ nem a lapok számától mély. Fontos, hogy az irányítási elemek, jogosultságok és hibaállapotok az alkalmazás logikáját kövessék, az állapot következetes maradjon a képernyők és felhasználók között, a munkafolyamatok egymásra épüljenek, a sikert pedig az alkalmazás állapota alapján lehessen ellenőrizni.

A tizenkét világon betanított 9B paraméteres modell alapértéke csaknem megduplázódott, 36,5 százalékról 67,1 százalékra javult. Ez az eredmény a Microsoft Research szerint 14 százalékponton belül került a GPT-5.4 teljesítményéhez. A kísérletek azt is megmutatták, hogy ugyanazon oldalak sekély és mély változatai eltérően hatottak: a sekély változatokon a modell visszaesett, a mélyeken viszont javult.

A környezetet is folyamatosan javítják

Az Echoverse nem választja külön a modell tanítását és a világ építését. A folyamatban a modellt futtatják a környezetben, megkeresik a hibáit, majd az alkalmazást, a feladatokat vagy az ellenőrző rendszert pontosabbá és nehezebbé teszik. Az így kapott jel alapján újra tanítják a modellt, majd megismétlik a ciklust.

A Microsoft által leírt gyártási folyamat egy FastAPI és SQLite alapú háttérrendszert, valamint React felületet állít elő. A rendszer először ellenőrzi, hogy az alkalmazás teljesíti-e a meghatározott állításokat és működési feltételeket. A feladatokat ezután az aktuális adatbázisra alapozva állítják össze, és böngészőben is kipróbálják, hogy valóban megoldhatók-e a felületen.

A sikeres megoldásokat adatbázis-alapú ellenőrző szűri, a hibákat pedig az adatbázis, a háttérrendszer, a felület, a feladatleírás vagy az ellenőrző réteg szerint címkézik. A megerősített feladatokból felügyelt finomhangolási adat készül. A Microsoft Research szerint a megerősítéses tanulás ezen világokban javítja a korábban nem látott feladatokon mért teljesítményt, és segít kevesebb lépésből elérni a célt.

Négy világot kutatási célra is kiadnak

A Microsoft Research az Echoverse tizenkét világából négyet tesz elérhetővé. A csomagokhoz a kód, az adatok és a valós állapotra épülő ellenőrzők is hozzátartoznak. A projekt GitHubon és Hugging Face-en érhető el, a részletes módszertant pedig külön technikai jelentés ismerteti.

A bejelentés a fejlesztők és kutatók számára azt jelenti, hogy olyan környezetekkel kísérletezhetnek, ahol az ügynökök műveleteinek következményei állapotváltozásként jelennek meg, a feladatok pedig nem pusztán képernyőképek alapján értékelhetők. A Microsoft állítása szerint az ügynökök fejlesztésében a mélyebb, folyamatosan javított szimulációk jelenthetik a nagyobb előrelépést a további, sekély környezetek hozzáadásához képest.