A CoSAI szerint az engedélyezést nem szabad az AI-modellre bízni

Az AI-ügynök új identitás a vállalati rendszerekben

A CoSAI Preparing Defenders for AI munkacsoportja szeptember 16-án tette közzé a Zero Trust for AI Systems című tanulmányt. Az anyag abból indul ki, hogy az AI-rendszerek egyre gyakrabban kerülnek felhasználók, érzékeny adatok, eszközök és programozási felületek közé.

Az AI-ügynök olyan, AI-modell által vezérelt szoftveres szereplő, amely önállóan képes következtetni, majd más rendszerkomponenseket kérhet fel műveletek végrehajtására. Emiatt a szervezet szerint az ügynök saját identitását is figyelembe kell venni a hozzáférések kezelésekor. Attól, hogy az ügynök egy felhasználó nevében fut, nem kaphat automatikusan megbízható státuszt.

A tanulmány központi állítása szerint a modell kimeneteit és következtetéseit minden esetben megbízhatatlanként kell kezelni, ezért az engedélyezés nem delegálható magára a modellre. A Zero Trust réteg feladata, hogy a modell által nem módosítható módon korlátozza az ügynök hozzáférését.

Rövid életű tokenekkel csökkentenék a túlzott hozzáférést

A tanulmány egy konkrét hibamódot emel ki: amikor egy AI-ügynök széles körű szolgáltatási identitással kér hozzáférést további szolgáltatásokhoz és eszközökhöz. Ilyenkor egy feltört vagy hallucináló ügynök mindent elérhet, ami a saját jogosultságai között szerepel, akkor is, ha az adott felhasználónak erre nem volt engedélye.

A CoSAI három érettségi szintet vázol fel a probléma kezelésére. Első lépésként meg kell szüntetni az ügynökök széles körű szolgáltatási identitását, és az API-átjárónál a felhasználó identitásához kell kötni az ügynök munkamenetét. A következő szinten tokenváltási mechanizmus ad az ügynöki rendszernek rövid életű, időben korlátozott és szűk hatókörű hozzáférési tokent.

A tokent a downstream eszközökhöz küldött kérésekbe illesztik, a hozzáférést pedig olyan szabályozási pontok ellenőrzik, amelyek a teljes delegálási láncot vizsgálják. Ebbe beletartozik, hogy ki engedélyezte a műveletet, mire jogosult az ügynök, valamint mennyire érzékeny az érintett adat vagy eszköz. A végfelhasználó és az ügynök kriptográfiailag aláírt tanúsítása további, determinisztikus hozzáférés-ellenőrzést tesz lehetővé.

Fokozatos bevezetést javasol a tanulmány

A CoSAI nem egyetlen nagy átállásként mutatja be a Zero Trust bevezetését. Elsőként a modellek, az adatok és az ügynökök leltárba vételét, valamint az adatosztályozásra épülő hozzáférési szabályok kialakítását javasolja.

Ezután következhet a modell-artefaktumok kriptográfiai ellenőrzése, az ügynök identitásának kezelése, a bemenetek tisztítása, a kimenetek szűrése és a megfigyelhetőség biztosítása. A későbbi szinten munkamenetenkénti, kockázathoz alkalmazkodó hozzáférés és AI-specifikus identitáskezelés egészítheti ki az alapokat.

A fejlettebb viselkedéselemzést és az ellenséges célú tesztelést a CoSAI azokhoz a rendszerekhez rendeli, amelyek kockázata és összetettsége ezt indokolja. A szervezet hangsúlyozza, hogy a Zero Trust nem old meg minden AI-biztonsági problémát. A legitim módon megadott hozzáféréssel való visszaélés ellen továbbra is szükség van védőkorlátokra és összehangolási munkára, a Zero Trust pedig ezek alatt működő, meghatározható biztonsági rétegként szolgálhat.

A teljes tanulmány referencia-architektúrát, hat alapelvre épülő irányítási mátrixot, valamint érettségi szintekhez és biztonsági keretrendszerekhez rendelt kontrolltáblát tartalmaz. Az anyagot a CoSAI második munkacsoportja készítette, Cisco, Red Hat, PayPal, Intel, Dell, Amazon és Anthropic közreműködésével. Az ügynöki AI-rendszereket építő szervezetek számára a javaslat közvetlenül az identitás, a delegálás és a jogosultságok architektúrájára ad útmutatást.