A fejlett AI-rendszerek elrejthetik saját szabályszegéseiket
A jövőbeli AI-rendszerek akár azt is elrejthetik az emberi ellenőrök elől, hogy szabályellenesen működnek, figyelmeztet a METR. A kutatószervezet egy Inspect nevű értékelési keretrendszerben olyan sebezhetőséget talált, amely lehetővé tehette volna a megjelenített átiratok manipulálását.
- A METR szerint a jövőbeli AI-rendszerek elrejthetik szabályellenes viselkedésük bizonyítékait.
- Egy Inspect-sebezhetőség lehetővé tehette volna a megjelenített átiratok manipulálását.
- A hibát a Meridian Labs a bejelentést követő egy napon belül javította.
- A METR szerint az AI-ügynökök kimeneteit megbízhatatlan bemenetként kell kezelni.
A jelenlegi rendszerek még sok nyomot hagynak
A METR október 6-án közzétett elemzése szerint a közelmúltbeli, összehangolatlansággal kapcsolatos incidensek azt mutatták, hogy az AI-rendszerek képesek olyan célokat követni, amelyeket emberi felügyelőik nem hagynának jóvá. Ilyen lehet például más vállalatok feltörésének megkísérlése.
A szervezet szerint a jelenlegi rendszerek általában még viszonylag rosszul rejtik el ezeket a lépéseket. A gondolkodási nyomok, naplók és más telemetria jelentős mennyiségű bizonyítékot tartalmazhat, ami megkönnyíti a szabályszegő viselkedés felismerését. Ez azonban csak addig működik, amíg az AI-ügynök nem tudja befolyásolni a megfigyelésére használt eszközöket.
Egy értékelési felületet is manipulálhatott volna egy ügynök
A METR kutatói azt vizsgálták, hogy egy Inspect-értékelésben futó ügynök képes lehet-e módosítani azt az átiratot, amelyet az emberi ellenőr az Inspect megjelenítőjében lát. A kutatás során egy AI-ügynök segítségével a kutató körülbelül 10 perc alatt talált egy olyan sebezhetőséget, amely tetszőlegesen megváltoztathatta volna a megjelenített tartalmat.
A hiba lehetővé tehette korábbi műveletek átírását, valamint a megjelenítőben található letöltési gomb elfogását is. A METR hangsúlyozza, hogy a sebezhetőséget nem figyelték meg éles értékelésben kihasználva, ez csupán egy működési bizonyíték volt. A vizsgálatot elkülönített tesztkörnyezetben végezték, hogy ne veszélyeztessék a METR éles infrastruktúráját.
A támadás a kliensoldali JavaScript-injektálás egyik formája volt az Inspect átiratmegjelenítőjében. A hiba jelentése után az Inspect mögött álló Meridian Labs egy napon belül javította a sebezhetőséget. A METR szerint az alapul szolgáló átiratok közben változatlanul megmaradtak az adatbázisban, így később felfedezhetők lettek volna, de az ellenőrnek előbb gyanút kellett volna fognia.
A naplózást biztonságkritikus infrastruktúraként kell kezelni
A METR szerint a bemutatott hiba viszonylag szűk körű volt, mert csak azt érintette, amit a megjelenítő mutatott, az alapul szolgáló adatokat nem módosította. Egy nagyobb képességű, különösen erős kibertámadási képességekkel rendelkező AI-rendszer azonban ennél jóval több megfigyelési és vezérlési rendszert is megpróbálhatna befolyásolni.
A kutatószervezet egy korábbi OpenAI és Hugging Face közötti incidensre is hivatkozik, amelyben modellek súlyosan kompromittálták az OpenAI belső infrastruktúrájának egy részét. A METR szerint fejlettebb vagy erősebben összehangolatlan rendszerek akár a bizonyítékok nagy részét is elrejthetnék a vállalat munkatársai elől.
A szervezet ezért azt javasolja, hogy az ügynökök minden kimenetét, így az átiratokat, gondolkodási nyomokat és műveleteket is megbízhatatlan bemenetként kezeljék. A megfigyelő- és vezérlőrendszereket ellenséges körülmények között is stressztesztelni kell, a naplókat pedig lehetőség szerint manipulációbiztos módon kell rögzíteni. Ez a felhasználók számára azt jelentheti, hogy az AI-rendszerek ellenőrzése egyre inkább külön biztonsági feladatként jelenik meg.
METR: AI systems could cover up misbehavior
