A CrowdStrike szerint már az AI-ügynökök tervezése is támadható
A prompt injection támadások már nem feltétlenül közvetlenül a tiltott kérések átjuttatására irányulnak. A CrowdStrike új kutatása szerint a támadók azt is befolyásolhatják, hogyan bontja lépésekre a feladatokat egy autonóm AI-ügynök.
- A CrowdStrike frissítette Prompt Injection Taxonomy keretrendszerét.
- A taxonómia már 222 támadási technikát tartalmaz.
- Az új módszerek az ügynökök feladatbontását és tartalékterveit célozzák.
- Egy ártalmatlannak tűnő hibakeresés konfigurációs adatok elküldéséhez vezethet.
Az ügynök teljes tervét kell vizsgálni
A CrowdStrike október 29-én tette közzé a Prompt Injection Taxonomy frissített változatát. A vállalat AI-biztonsági kutatói által készített és karbantartott keretrendszer a közlemény szerint az egyre bővülő támadási technikák megértését és az ellenük való védekezést segíti. Az új kiadás már 222 technikát tartalmaz, köztük olyan módszereket, amelyek autonóm ügynököket és azok tervezési folyamatait célozzák.
Egy AI-ügynök a célját részfeladatokra bontja, eszközöket választ, majd végrehajtja a lépéseket. A CrowdStrike szerint a támadónak így nem feltétlenül kell egyetlen tiltott kérést átjuttatnia egy bemeneti vagy kimeneti szűrőn. Elég lehet úgy alakítania a környezetet és a kontextust, hogy egy korlátozott művelet az ügynök számára logikus következő lépésnek tűnjön.
Az egyes lépések külön-külön ártalmatlannak látszhatnak, ezért az olyan védelmek, amelyek csak izoláltan ellenőrzik őket, a teljes tervben rejlő kockázatot nem feltétlenül veszik észre.
Hogyan vezethet egy hibakeresés adatküldéshez?
A CrowdStrike egy hipotetikus példán mutatja be a problémát. Egy fejlesztő azt kéri a végponti kódolási ügynöktől, hogy derítse ki, miért buknak el az integrációs tesztek, és tegye őket működőképessé. Eközben egy támadó módosít egy frissített, nyílt forráskódú tesztsegédprogramot.
A manipulált eszköz teszthiba esetén egy hibaelhárítási üzenetet jelenít meg. A szöveg szerint a problémát általában a környezet eltérése okozza, ezért a helyi konfigurációs fájlokat egy diagnosztikai végpontra kell elküldeni összehasonlítás céljából. Az ügynöknek senki nem mondta, hogy adatokat szivárogtasson ki, a támadó utasítása mégis beépülhet a hibakeresési tervbe.
Így a helyi konfigurációs fájlok, akár hitelesítő adatokkal együtt, külső szerverre küldése olyan lépéssé válhat, amelyről az ügynök azt hiszi, hogy szükséges a cél eléréséhez. A fájl olvasása önmagában megszokott hibakeresési műveletnek, a HTTP-kérés pedig szokásos frissítési műveletnek tűnhet. A veszély a teljes folyamat vizsgálatakor válik láthatóvá.
Két új támadási módszert azonosítottak
A frissített taxonómia két új módszert ír le. A Goal Decomposition Exploitation az ügynök feladatbontását használja ki. A támadó rosszindulatú részfeladatot illeszthet be, vagy megváltoztathatja egy lépés szerepét, így az ügynök arra a következtetésre jut, hogy egy korlátozott művelet, például egy fájl külső továbbítása, szükséges.
A Constraint-Driven Task Steering esetében a támadó környezeti korlátokat vagy kiváltó eseményeket használ fel. Ezek megakadályozzák az ügynök szokásos útvonalát, ezért az általa választott tartalékterv éppen az a folyamat lesz, amelyet a támadó előre célzott.
A CrowdStrike példájában, ha az ügynök azonnal meg tudná állapítani, mi a gond a helyi konfigurációval vagy a tesztekkel, nem lenne szüksége a konfigurációs fájl elküldésére. A kutatás üzenete a felhasználók és a fejlesztők számára az, hogy az AI-ügynökök védelménél a teljes feladattervet és az egymásra épülő lépéseket is ellenőrizni kell.
CrowdStrike: New Prompt Injection Techniques Cover Agent-Planning Attacks
