Egy weboldal 28 alkalommal vette rá az AI-ügynököt adatlekérésre
Egy manipulált weboldal 100 futásból 28 alkalommal rávett egy ügyfélszolgálati AI-ügynököt, hogy egy másik ügyfél címét és rendeléseit kérje le. Az Arize AI szerint a kísérlet azt mutatja, hogy a weboldalakról érkező utasításokat nem szabad jogosultságként kezelni.
- Egy manipulált weboldal 100 futásból 28 alkalommal váltott ki jogosulatlan adatlekérést.
- A közvetlen e-mailes adatküldési kéréseket az ügynök 98 futásból mind visszautasította.
- Az ellenőrzőlistás megfogalmazás 20 oldalból 17 alkalommal jutott át.
- A munkamenethez kötött kódalapú védelem után egyetlen próbálkozás sem adott vissza adatot.
- Az Arize Phoenix és az Arize AX a nyomok elemzésével és online riasztással segítette a felismerést.
A weboldal utasítása felülírta a feladat határait
Az Arize AI egy ügyfélszolgálati ügynököt épített, amelynek egy rendelési oldal összefoglalása volt a feladata. Az ügynök egy bejelentkezett ügyfél nevében dolgozott, ezért csak az adott munkamenethez tartozó adatokat kellett volna elérnie.
A tesztben 100, hétköznapi rendelési állapotoldalnak tűnő weboldalt készítettek. Mindegyik oldalon szerepelt egy, az asszisztensnek szóló utasítás, amely arra kérte, hogy keresse meg egy másik ügyfél adatait, majd illessze be azokat a válaszba. Az utasítás egy egyszerű támogatási megjegyzésben szerepelt, nem rejtették el a HTML-ben.
Az ügynök a 100 futásból 28 alkalommal lekérte a másik ügyfél címét és rendeléseit. A kísérletben minden oldalt egyszer futtattak, a modell hőmérsékletét 0,7-re állítva.
A közvetlen adatlopási kéréseket visszautasította
Az Arize külön, 98 futásból álló tesztet is végzett. Ebben a weboldalak közvetlenül arra kérték az ügynököt, hogy egy ügyfél adatait vagy egy API-kulcsot külső címre küldjön. Az ügynök minden alkalommal visszautasította ezeket a kéréseket, még akkor is, amikor szándékosan úgy konfigurálták, hogy megbízzon az oldal utasításaiban.
A helyzet megváltozott, amikor a kérés rutinműveletként, például egyeztetési lépésként jelent meg. Az Arize öt különböző megfogalmazást próbált ki, köztük ellenőrzőlistát, számozott lépéseket, szabályzatot, támogatási megjegyzést és GYIK-formátumot.
Az ellenőrzőlistás változat jutott át a leggyakrabban. Ez 20 oldalból 17 alkalommal késztette az ügynököt a párosított ügyfél adatainak lekérésére. A közvetlenebb és formálisabb változatok csak ritkán működtek.
A védelemnek a modell körül kell működnie
Az Arize szerint a jelenség oka, hogy amikor egy ügynök weboldalt olvas, az oldal szövege a modell kontextusába kerül a felhasználó üzenete mellé. A modell nem tudja megbízhatóan megkülönböztetni, melyik szöveget kell összefoglalnia, és melyik próbál parancsként működni. Ezt a támadást közvetett promptinjekciónak nevezik.
A kísérletben a LangGraph segítségével felépített ügynököt használták, a modell a deepseek-flash, vagyis a V4.1-Flash-1017 kiadás volt. Az ügynök öt eszközt kapott: weboldal-lekérést, ügyfélkeresést, ügyfélcím-lekérést, rendelési adatok lekérését és egy tesztként használt kimenő e-mail-küldést.
A javítás során minden ügyféladatokat kezelő eszközt kódban a bejelentkezett munkamenethez kötöttek. A védelem után az ügynök még 20 alkalommal megpróbálta a jogosulatlan lekérést, de ezek közül egyetlen próbálkozás sem adott vissza adatot. Az Arize hangsúlya szerint a jogosultságot a modell körüli kódnak kell érvényesítenie, nem a promptnak.
A nyomkövetés mutatta meg a rejtett eltérést
A futásokat az Arize Phoenixben rögzítették. Minden nyomban látszott a lekért oldal, az összes eszközhívás a paramétereivel együtt, valamint a végső válasz. Az Arize egy nyelvi modellel működő értékelőt is írt, amely azt vizsgálta, hogy a válasz tartalmazza-e egy másik ügyfél adatait. Emellett egy determinisztikus ellenőrzés azt kereste, hogy történt-e ügyféleszköz-hívás a munkamenet ügyfelétől eltérő azonosítóra.
A vállalat szerint a problémás válasz első pillantásra akár gondos egyeztetésnek is tűnhet. A rendellenesség a nyomban válik láthatóvá, ahol egy Marcus rendeléséről szóló kérés közben egy másik ügyfél azonosítójára indult lekérés. Az ügynök végül az idegen ügyfél címét és rendelési előzményeit is a válaszba írta.
Az Arize AX ugyanazt az értékelőt online ellenőrzésként futtatja az éles nyomokon, és figyeli a promptinjekciók arányát. Riasztást ad, amikor ez az arány átlép egy beállított küszöböt. A megközelítés az Arize szerint minden olyan ügynöknél fontos, amely külső tartalmat olvas, mert az oldal közzétevője így a felhasználó által nem kért műveletre próbálhatja rávenni a rendszert.
Arize AI: A web page talked our agent into leaking a stranger’s data. Here’s how we caught it.
