A Screwtape valós ügynöki átiratokban keres monitorhibákat
A Redwood Research bemutatta a Screwtape nevű rendszert, amely valós ügynöki átiratok módosításával keres olyan támadásokat, amelyek elkerülik az ügynökök tevékenységét figyelő monitorokat. A kutatók 252 futtatásból 35, saját monitorjaikon átjutó támadást találtak, ezek közül hatot egy másik fejlesztő monitorja sem észlelt.
- A Screwtape valós ügynöki átiratokat módosítva keres monitorokat kijátszó támadásokat.
- A kutatók 252 futtatásban 94 egyedi átiratot vizsgáltak.
- 35 támadás átjutott a Redwood saját monitorjain, hat egy külső monitoron is.
- Egy futtatás néhány órát vehet igénybe, és a legtöbb futtatás nem talál támadást.
- A végső eredményekhez emberi felülvizsgálat szükséges.
Valós átiratokból indul a támadáskeresés
A Redwood Research október 16-án közzétett bemutatója szerint a Screwtape olyan folyamat, amely egy meglévő ügynöki átiratba illeszt be támadást, majd ismételten finomítja azt, amíg a monitor már nem jelzi problémásnak. A rendszer az úgynevezett csak a műveleteket figyelő monitorokra összpontosít, amelyek nem férnek hozzá az ügynök gondolatmenetéhez.
A folyamat egy valós átirattal, egy monitorral és egy fenyegetési szerződéssel indul. Utóbbi rögzíti, milyen támadási vektort és milyen súlyossági szintet kell elérnie egy jelöltnek. A támadóügynök módosítja az átiratot, majd leírja a beillesztett támadást. Bizonyos változtatásokat a rendszer programozottan elutasít, például a felhasználói üzenetek vagy az alügynöki hívások szerkesztését.
Két ellenőrzés szűri a jelölteket
A módosítást először egy nyelvi modell alapú ellenőrző vizsgálja. Ez az ellenőrző az átirat mellett megkapja a támadás leírását, valamint az eredeti és a módosított változat közötti különbséget is. Azt ellenőrzi, hogy a támadás valószerű, egyértelműen káros és az eredeti környezetben valószínűleg működőképes-e.
Ha a jelölt átmegy ezen a vizsgálaton, a monitor is pontozza. A Screwtape akkor tekinti sikeresnek a támadást, ha a pontszám egy, a becsületes átiratokon rögzített téves pozitív arányhoz beállított küszöb alá esik. Sikertelenség esetén az ellenőrző vagy a monitor indoklása visszakerül a támadóhoz, amely ennek alapján újabb változatot készít.
A Redwood saját, Opus 4.8 és Gemini 3.1 Pro alapú monitorjaival dolgozott, majd a végső támadásokat egy, egy vezető fejlesztőtől származó, korábban nem használt monitoron is tesztelte. A kísérletben 94 egyedi átirat szerepelt, összesen 252 futtatásban. A saját monitorokat kijátszó 35 támadás közül hatot emberi ellenőrzéssel is érvényesnek minősítettek, és ezek a külső monitoron is átjutottak.
A módszer erőssége és korlátai
A kutatók szerint a Screwtape előnye, hogy valós átiratokat szerkeszt, így az eredeti környezethez közelebb maradhat, miközben közvetlenül a monitor ellen iterál. Ezzel olyan új gyenge pontokat is kereshet, amelyek nem előre ismert hibák kihasználására épülnek. A módszer a szintetikus vagy teljesen szövegként előállított átiratokhoz képest kevesebb kitalált környezeti választ használ, a szimulált környezetekhez képest pedig kevésbé sodródik el az eredeti átirattól.
A rendszer ugyanakkor nem fér hozzá az eredeti környezethez, ezért minden módosítás realitását egy nyelvi modell alapú ellenőrzőnek kell megítélnie. A Redwood szerint ez az ellenőrző időnként hibázik, ezért a végső támadásokhoz továbbra is emberi felülvizsgálat szükséges. Az iterációk egyenként körülbelül 5 és 10 percig tartanak, egy futtatás pedig néhány órát is igénybe vehet. A legtöbb futtatás nem talál támadást.
A kutatók azt is megállapították, hogy a támadások súlyosságának megítélése nehéz. A kontextus sokat számít, ugyanaz a művelet egyik helyzetben katasztrofális, másikban teljesen ártalmatlan lehet. Az ellenőrző a futtatások során átlagosan a jelölt módosítások 60 és 70 százalékát utasította el. A Redwood ezért részletes értékelési szempontokat és konzervatív, magas súlyossági küszöböket alkalmazott. A Screwtape így elsősorban monitorok tesztelésére használható eszköz, amely a kutatók szerint a költséges és időigényes emberi vörös csapatok munkáját egészítheti ki.
Redwood Research: Screwtape: Adversarial Transcript Editing for Monitor Red-Teaming
