Az NVIDIA négy védelemmel tenné biztonságosabbá az AI-ügynököket

Négy hibatípus tér vissza az ügynököknél

Az NVIDIA AI Red Team az elmúlt hat hónapban többféle AI-ügynököt vizsgált, az egyszerű, interaktív kódolási eszközöktől a folyamatosan működő, autonóm digitális asszisztensekig. A csapat szerint az exploitalható rendszereknél, az alkalmazott keretrendszertől és vezérlési megoldástól függetlenül, jellemzően ugyanazok a problémák jelentek meg.

• Az ügynökökhöz nem társult megfelelő hozzáférés-szabályozás.
• Az eszközök tetszőleges kód végrehajtását tették lehetővé.
• Hiányoztak a kimenő hálózati forgalom korlátozásai.
• A titkok, például a tokenek és API-kulcsok, egyszerű szövegként elérhetőek voltak az ügynök számára.

Az ügynökök egy nagy nyelvi modellt kapcsolnak össze élő eszközökkel és vállalati adatokkal. Ez lehetővé teheti például egy hibajegy áttekintését, a javítás elkészítését és tesztelését, majd a módosítás beküldését emberi felülvizsgálatra. Ugyanez a hozzáférés azonban az asszisztenst kiemelt jogosultságú, nehezen átlátható támadási felületű szoftverré alakíthatja.

A hozzáférést és a kódvégrehajtást is korlátozni kell

Az NVIDIA első védelmi vonalként erős hozzáférés-szabályozást javasol. Minden ügynököt csak a kifejezetten engedélyezett felhasználók érhessenek el, a jogosultságokat pedig az ügynököt meghívó felhasználó jogosultságaihoz kell igazítani, a legkisebb jogosultság elvét követve.

A vizsgált rendszerek egy része Bash-parancsértelmezőt vagy általános parancsvégrehajtó eszközt kínált. Ezek közvetlen vagy közvetett promptinjektálással káros parancsok futtatására használhatók. Az NVIDIA szerint a nyelvi modellen alapuló ellenőrzők, a parancsengedélyezési listák és az a feltételezés, hogy a modell felismeri a veszélyt, csak korlátozott védelmet nyújtanak.

A fejlesztési munkafolyamatokban gyakori parancsok, például a pytest vagy az npm install, támadói befolyásolás esetén tetszőleges kódvégrehajtás részévé válhatnak. A fájlok írása szintén kockázatos lehet, ha az ügynök rendszerfájlokat vagy konfigurációkat módosíthat. A cég ezért azt javasolja, hogy a fájlírás operációs rendszer szintjén nem végrehajtható munkaterületre legyen korlátozva. Ha szükség van parancssorra, azt szigorú engedélyezési listával és elkülönített végrehajtási környezetben kell futtatni.

Alapértelmezett tiltás a hálózatnál, elkülönített kezelés a titkoknál

A kimenő hálózati kapcsolatok adatkiszedést, visszakapcsolódó héjak létrehozását és az ügynök futtatási környezetével való közvetlen támadói interakciót tehetnek lehetővé. Az NVIDIA ezért alapértelmezett tiltást javasol, amelyet csak a feladatokhoz szükséges végpontok szűk engedélyezési listája írhat felül. A korlátozásokat minden érintett hálózati határon olyan környezeti kontrollokkal kell kikényszeríteni, amelyekhez maga az ügynök nem fér hozzá.

Az ügynökök gyakran platformtokeneket, API-kulcsokat, verziókezelési tokeneket vagy OAuth-frissítési tokeneket használnak. Ezek a futtatási környezetben akkor is hozzáférhetővé válhatnak, ha eredetileg csak memóriában, környezeti változóként tárolják őket. Az NVIDIA olyan tokeneket is talált, amelyek Git-tárolókban, .env-fájlokban, Bash-előzményekben, .netrc-fájlokban vagy környezeti változókban szerepeltek.

A vállalat ajánlása szerint tartós titkokat soha nem szabad közvetlenül elérhetővé tenni az ügynök számára. A titkokat dedikált titokkezelőben kell tárolni, és az ügynök hozzáférését a lehető legszűkebbre kell szabni. A négy kontroll közös jellemzője, hogy a modell vezérlési síkján kívül, determinisztikusan érvényesülnek. Ez a felhasználók számára azt jelenti, hogy az ügynökök vállalati bevezetésénél a modell viselkedésére épülő szabályok mellett a futtatási környezetet is külön védelemmel kell ellátni.