A Microsoft kívülről védené az AI-ügynököket
A Microsoft a Project Perception új képességeivel az úgynevezett AI-belső fenyegetéseket vizsgálná, vagyis a szervezeten belül működő, nagy jogosultságú AI-ügynökök kockázatait kezelné. A rendszer a vállalat szerint folyamatos kockázatértékelést, jogosultság-módosítást és fenyegetéselzárást tesz lehetővé.
- A Microsoft bővíti a Project Perception képességeit.
- A rendszer folyamatosan értékelheti az AI-ügynökök kockázatát.
- A jogosultságok módosítása és a fenyegetések elzárása is a célok között szerepel.
- A védelem az identitást, a jogosultságokat, az adatokat és a futtatási környezetet is érintené.
- A Microsoft szerint a biztonsági vezérlőknek a modellen kívül kell működniük.
Az AI-ügynökök belső kockázatot is jelenthetnek
Satya Nadella, a Microsoft elnök-vezérigazgatója október 19-én arról írt, hogy a modelleket belső fenyegetésként kell kezelni, miközben a biztonsági vezérlőknek magán a modellen kívül kell működniük. A Microsoft ezt az elvet most a Project Perception bővítésével ülteti át a gyakorlatba.
Hayete Gallot, a Microsoft egyik vezetője szerint a szervezetek eddig elsősorban arra összpontosítottak, hogy a támadók miként használják az AI-t a kampányaik lebonyolítására. Közben a vállalatokon belül már nagy léptékben működnek AI-ügynökök is. Ezek gyakran a szükségesnél több jogosultsággal rendelkeznek, miközben nem rosszindulatúak. Gallot szerint az ügynököket eredmények elérésére tanították, nem pedig arra, hogy minden helyzetben kövessék a szervezet normáit vagy emberi mérlegelését.
A Perception több biztonsági réteget kezelne
A Microsoft szerint az AI-belső fenyegetések elleni védelemnek több területre kell kiterjednie. Ide tartozik az identitáskezelés, a jogosultságok, az adatok, a végpontok, a hálózat, a felhő és a futtatási környezet.
A vállalat júliusban jelentette be a Perceptiont, egy ügynökalapú biztonsági rendszert, amely a Microsoft új kiberbiztonsági stackjét, valamint vörös, kék és zöld ügynökökből álló csapatokat használ. A korábbi leírás szerint ez a megoldás abban segíti a védelmi szakembereket, hogy gyorsabban reagáljanak a vállalaton kívülről érkező, AI-vezérelt támadásokra.
A mostani bővítés ugyanezt a technológiai alapot az alkalmazott AI-ügynökök védelmére is kiterjeszti. A Microsoft megfogalmazása szerint a cél a nem determinisztikus intelligencia determinisztikus vezérlőkkel való kezelése. A rendszer folyamatosan értékelheti az ügynökök kockázatát, módosíthatja a hozzáféréseiket, és szükség esetén elszigetelheti a fenyegetéseket.
A jogosultságok időtartama is biztonsági kérdés
A bejelentés alapján a Microsoft elsősorban azt szeretné kezelni, hogy egy AI-ügynök jogosultságai ne maradjanak érvényben tovább, mint ameddig az adott feladat indokolja. A vállalat által megosztott bejegyzéshez érkező hozzászólások között többen is ezt emelték ki. Az egyik hozzászóló szerint különösen fontos, hogy a hozzáférést az ügynök tényleges tevékenysége alapján lehessen újraértékelni.
A megközelítés a Microsoft szerint egyensúlyt keres az ügynökök önállósága és a szervezeti kontroll között. A biztonsági rendszer sebességet adhat, a döntési mérlegelés azonban továbbra is a szakemberek feladata. Nadella bejegyzése szerint nem kell választani az innováció és a biztonság között, a fejlesztés célja ezek együttes kezelése.
A felhasználók és a vállalatok számára ez azt jelentheti, hogy az AI-ügynökök működését nem kizárólag a modellbe épített korlátok határozzák meg. A jogosultságok, az adatokhoz való hozzáférés és a fenyegetések kezelése a modellen kívüli biztonsági réteg részeként jelenhet meg. A Microsoft bejegyzése ugyanakkor nem közöl részletes információt a Project Perception új képességeinek elérhetőségéről vagy bevezetési ütemezéséről.
Microsoft: I recently wrote about why we need to treat models as insider risks, with security controls sitting outside the model itself. [Read more]
