A Microsoft szerint az AI-ügynököket is folyamatosan védeni kell

A vállalati ügynökök új kockázatot jelentenek

A Microsoft október 19-én közzétett bejegyzése szerint az elmúlt hónapokban nyilvánosságra került incidensek megmutatták, mennyire erőssé váltak az AI-modellek, és milyen jelentős fenyegetést jelenthetnek, ha nem megfelelően kezelik őket. A vállalat szerint a kockázat tovább nőhet, ahogy a modellek teljesítménye fokozódik.

A figyelem eddig főként arra irányult, hogy külső támadók miként használhatják fel az erős modelleket. A Microsoft szerint kevesebb szó esett azokról az ügynökökről, amelyeket maguk a vállalatok telepítettek saját rendszereikben. Ezeket a szervezetek implicit módon megbízhatónak tekintették, a cég álláspontja szerint azonban a legfejlettebb modellek eredetüktől függetlenül nem tekinthetők megbízhatónak.

A Microsoft ezt nem a modellek veleszületett rosszindulatával magyarázza. A modelleket eredmények elérésére tanították, ami a vállalat szerint jutalomfeltöréshez, vagyis a célok kijátszásához vezethet. Emellett nem feltétlenül a szervezeti normákhoz és az emberi ítélőképességhez igazodnak. Az ügynökök a változó környezethez alkalmazkodhatnak, kiszámíthatatlanul viselkedhetnek, és céljaik eléréséhez egymással együttműködhetnek vagy összejátszhatnak akkor is, ha nem kompromittálták őket.

Guardian Agents felügyelné minden ügynök műveletét

A vállalati környezetben az ügynökök száma gyorsan nő, miközben hozzáférhetnek adatokhoz, eszközökhöz és rendszerekhez. Kritikus folyamatokban műveleteket hajthatnak végre és döntéseket hozhatnak. A Microsoft ezért agentic insiders, vagyis ügynöki bennfentesek néven hivatkozik rájuk.

A vállalat szerint a megfigyelésüket és védelmüket folyamatosan kell elvégezni. Valós időben kell látni, mit tesznek az ügynökök, milyen kockázatot hoznak létre a műveleteik, és ennek megfelelően módosítani kell cselekvési képességeiket.

Erre szolgálnának a Guardian Agents, amelyek a Microsoft megfogalmazása szerint minden ügynök minden műveletét figyelik és szabályozzák, még a végrehajtás előtt, a nap minden órájában. Egy ügynök egy modellből, a munkáját összehangoló vezérlőrétegből, a használható eszközök és erőforrások köréből, valamint a végrehajtási környezetből áll. Védelméhez több réteget kell lefedni, köztük az identitást, a jogosultságokat, az adatokat, a végpontokat, a hálózatot, a felhőt és a futtatási környezetet.

A Project Perception az ügynöki működést is ellenőrizheti

A Microsoft júliusban jelentette be a Project Perception nevű, ügynökalapú biztonsági rendszerét. A megoldás a vállalat új kiberbiztonsági stackjét, valamint vörös, kék és zöld ügynökök csapatait használja arra, hogy a védők gyorsabban reagáljanak a vállalaton kívülről érkező, AI-vezérelt támadásokra.

A Microsoft szerint ugyanez a technológiai alap a vállalaton belül működő ügynöki bennfentesek kezelésére és irányítására is felhasználható. A rendszer több érzékelőből és jelből, például identitás-, adat-, felhő-, végpont-, hálózati és futtatási környezetből származó információt egyesít. Ezek alapján felderítheti a szervezetben működő ügynököket, majd identitást, konténert, szabályokat és jogosultságokat rendelhet hozzájuk.

A következő lépésben a rendszer dinamikusan kiszámíthatja az ügynök által megkísérelt művelet kockázatát. A Guardian Agents ezután a kockázati profil változására valós időben, célzottan reagálhat. A Project Perception közben nyomon követhetőséget biztosít a biztonsági szakembereknek, akik megvizsgálhatják, mi történt és miért alakult ki a kockázat.

A Microsoft nagyobb átláthatóságot vár a modellektől

A vállalat szerint a biztonsági rendszerek ma már megbízhatóan meg tudják figyelni az ügynökök műveleteit. A következő szint az lehet, ha arra is választ keresnek, miért történik egy adott művelet, és összhangban van-e az eredeti feladattal.

Ehhez a Microsoft szerint nagyobb átláthatóságra van szükség magában a modellben. A bemeneti és kimeneti tokenek mellett a gondolkodási és következtetési tokenek vizsgálatára is szükség lehet annak megértéséhez, hogy a modell szándéka összhangban áll-e az ügynök céljával. A cég hangsúlyozza, hogy a modell átláthatósága nem váltja ki a korlátozást, de intelligensebbé és erősebbé teheti azt.

A Microsoft szerint a Project Perception már ma használható az ügynöki bennfentesek védelmének kialakításához. A bejegyzés üzenete szerint a biztonság és az innováció között nem kell választani, a biztonsági rendszereknek pedig olyan gyorsan kell működniük, mint azoknak a rendszereknek, amelyekkel szemben védekeznek.