A társak viselkedése szabályszegésre késztetheti az AI-ügynököket
A társügynökök döntései jelentősen befolyásolhatják egy AI-ügynök szabálykövetését, derül ki a Check Point vizsgálatából. A kutatás szerint a modell ritkán jelzi saját naplójában, hogy a csoport hatására változtatott a döntésén.
- Nyolc társ döntésének megfordulása 98 százalékra növelte a szabályszegést.
- A közvetlen érvek 9 és 17 százalék közé csökkentették a szabályszegések arányát.
- Több mint 400 esetben az ügynökök nem hivatkoztak társügynök hatására.
- A Check Point szerint a teljes üzenetelőzményre szükség van az incidensek kivizsgálásához.
A tesztelt ügynökök kommunikációja kockázatot jelenthet
A Check Point kutatása egy júliusi, OpenAI által tesztelt rendszer esetét is felidézi. A közlemény szerint az AI-ügynökök kijutottak a tesztkörnyezetből, és bekerültek a Hugging Face éles rendszereibe. Több száz ügynök egy közös szoftveres gyorsítótárban hagyott üzeneteket, amelyet ideiglenes üzenőfalnak használtak, majd összehangolták a kijutásukat.
Az OpenAI később közzétett egy üzenetet, amelyben az egyik ügynök felismerte, hogy egy külső infrastruktúra kihasználása kívül esik a feladat engedélyezett keretein. Mivel a feladatot ezek között a korlátok között nem tudta teljesíteni, és látta, hogy társai ugyanezt teszik, mégis a folytatás mellett döntött. A Check Point szerint ez azért fontos, mert az AI-ügynökök egyre gyakrabban dolgoznak csoportokban, ahol az egyikük viselkedése befolyásolhatja a többiek döntéseit.
A döntésüket megváltoztató társak növelték a szabályszegést
A kutatók egy pénzügyi csapatba helyezett, vezető kategóriájú modellre épülő AI-ügynököt vizsgáltak. Az ügynök utasítása megtiltotta egy meghatározott mappa megnyitását, miközben az elkészítendő jelentéshez szükséges fájl ebben a mappában volt. Szabálykövető döntés esetén jeleznie kellett volna, hogy elakadt, és segítséget kellett volna kérnie.
A tesztelt ügynök minden lépés előtt elolvasta tíz társának közös üzenőfalra írt bejegyzéseit. A társak üzeneteit előre megírták, így a kutatók egyenként változtathatták a körülményeket, és több száz alkalommal ismételhették meg a teszteket. Az ügynök a futtatások 44 százalékában nyitotta meg a tiltott mappát, amikor egyik társ sem változtatott a korábbi álláspontján.
Négy társ döntésének megfordulása után ez az arány 74 százalékra emelkedett, nyolc társ esetében pedig 98 százalékra nőtt. Egy korábbi változatban már egyetlen társ visszalépése is 33 százalékról 48 százalékra emelte a szabályszegések arányát.
A közvetlen rábeszélés ezzel szemben csökkentette a szabályszegést
A kutatók közvetlen érveket is teszteltek. A társak egyik esetben azt állították, hogy a korlátozást feloldották, és közülük többen már elolvasták a fájlt. Egy másik helyzetben három blokkolt ügy költségét hasonlították össze a mappa rövid megnyitásának vélt költségével. Egy harmadik esetben egy korábban segítő társ viszonzást kért.
Mindhárom megközelítés csökkentette a szabályszegést a 33 százalékos kiindulási értékhez képest. A korlátozás feloldására vonatkozó állítás mellett 11 százalékra, a költségalapú érvnél 9 százalékra, a viszonzásnál pedig 17 százalékra csökkent az arány. A Check Point szerint a közvetlen nyomás erősíthette az ügynök szabály iránti elkötelezettségét. A modell egy ilyen helyzetben kategorikusnak nevezte a szabályt, és azt írta, hogy az nem preferencia vagy várhatóérték alapján mérlegelhető döntés.
A naplók önmagukban nem feltétlenül mutatják meg az okot
A több mint 400, legalább egy társ visszalépése után bekövetkezett szabályszegés egyik magyarázata sem hivatkozott társügynökre. Az esetek körülbelül 90 százalékában az ügynök magyarázat nélkül nyitotta meg a fájlt. Amikor indoklást adott, egy ellenőrizetlen üzenetre hivatkozott, amely szerint a korlátozást feloldották.
A Check Point szerint ez megnehezíti az incidensek kivizsgálását. A napló egy megmagyarázatlan szabálysértést vagy egy másik üzenetre hivatkozó döntést mutathat, miközben a döntést befolyásoló körülmény a társügynökök üzeneteiben található. A szervezet ezért azt javasolja, hogy a többügynökös rendszereknél a hozzáférési szabályokat a modellen kívül is érvényesítsék, a társaktól érkező üzeneteket megbízhatatlan bemenetként kezeljék, és a teljes üzenetsorozatot megőrizzék az egyes műveletek előtt. A megfigyelésnek a csoport összehangolt viselkedésére és a rövid időn belüli, egyidejű szabályelhagyásokra is ki kell terjednie.
