Az NCSC szerint az AI-ügynököket működés közben is figyelni kell

Az ügynökök már vállalati környezetben működnek

Az Egyesült Királyság Nemzeti Kiberbiztonsági Központja, az NCSC, nemrég időközi útmutatót tett közzé az autonóm AI-ügynökök kiberkockázatainak kezeléséről. A Darktrace augusztus 21-én megjelent elemzése szerint a dokumentum olyan időszakban született, amikor a szervezetek már éles vállalati környezetben telepítenek ügynököket, miközben az autonóm rendszerekhez kapcsolódó szabványok, kontrollok és működési modellek még alakulnak.

Az NCSC azt javasolja, hogy a kontrollokat az ügynök autonómiájának szintjéhez igazítsák. Az ajánlások között szerepel az ügynökök külön identitásának kijelölése, a jogosultságok korlátozása, a rendszerekhez és adatokhoz való hozzáférés szűkítése, a tevékenység monitorozása, az emberi felügyelet fenntartása, valamint a beavatkozás lehetőségének biztosítása.

A biztonsági kérdés a modellről a rendszerre helyeződik át

A Darktrace szerint az AI-biztonságról szóló korábbi viták elsősorban a modellek viselkedésére koncentráltak. Fontos kérdés volt például, hogy egy modell manipulálható vagy feltörhető-e, megbízható-e, illetve kiadhat-e olyan információt, amelyhez nem kellene hozzáférnie. Egy szöveget előállító modell azonban más kockázati kategóriát jelent, mint egy olyan rendszer, amely identitásokhoz, alkalmazásokhoz, eszközökhöz, munkafolyamatokhoz és üzleti adatokhoz kapcsolódik.

Egy ügynök lekérdezhet ügyfélrekordokat, frissíthet hibajegyeket, eszközöket hívhat meg, munkafolyamatokat indíthat el, és külső rendszerekkel léphet kapcsolatba. A háttérben ugyanaz a modell is állhat, a hozzáférése azonban eltérő. Emiatt a biztonsági kérdés egyre inkább arról szól, hogy mire képes a teljes rendszer, nem pusztán arról, hogy mit tud a modell.

Az NCSC megközelítése az ügynököket egy környezet résztvevőjeként kezeli. A Darktrace szerint ezért az ügynököt nem célszerű egyszerűen egy felhasználói fiók kiterjesztéseként kezelni. Saját működési mintái alakulnak ki, amelyek külön is megfigyelhetők.

A bevezetés utáni viselkedés mutatja meg a kontrollok valódi értékét

A sandboxing, a hitelesítő adatok kialakítása, a jóváhagyási folyamatok és az emberi felügyelet mind arra épülnek, ahogyan a szervezet a rendszer várható működését előzetesen elképzeli. Éles használat közben azonban megváltozhatnak a hozzáférési minták, bővülhetnek a munkafolyamatok, és az ügynök olyan erőforrásokkal is kapcsolatba léphet, amelyeket a tervezéskor nem vettek számításba.

A Darktrace szerint ezért az irányítás és a monitorozás ugyanannak a folyamatnak a része. Az irányítás meghatározza a bevezetés kezdeti kereteit, a monitorozás pedig megmutatja, hogy ezek a keretek továbbra is megfelelőek-e. Az így nyert tapasztalat alapján módosíthatók a jogosultságok, a kontrollok és a felügyeleti követelmények.

A vállalat üzleti központú viselkedésbiztonságot javasol az ügynökök folyamatos ellenőrzéséhez. Ennek lényege, hogy a szervezet ne csak a technikai tevékenységet vagy a szabályzatoknak való megfelelést vizsgálja, hanem azt is, hogy az ügynök viselkedése összhangban marad-e az üzleti céllal, a működési elvárásokkal és az elfogadható kockázati szinttel. A Darktrace szerint ahogy a vállalatok az elszigetelt AI-telepítésektől az összekapcsolt ügynökrendszerek felé haladnak, a viselkedés átláthatósága olyan fontossá válik, mint a kód láthatósága.