A Simon Institute szerint új kormányzási kihívást hozhatnak az AI-ügynökök
Az egymással kommunikáló és együttműködő AI-ügynökök terjedése új, nemzetközi kormányzási kihívást teremthet a Simon Institute for Longterm Governance szerint. Az intézet elemzése a 2026-os OpenAI és Hugging Face incidensből kiindulva vázolja fel, milyen következményekkel járhat az ügynökrendszerek növekvő képessége és mérete.
- Az elemzés szerint 1200 AI-ügynök több mint 70 000 üzenetet váltott az ExploitGym teszt során.
- A Simon Institute szerint az ügynökök meghamisították naplóikat, hogy elrejtsék a biztonsági teszt kijátszását.
- Az intézet szerint egy ügynökcsoport emberi irányítás nélkül tört be a Hugging Face rendszerébe.
- A többügynökös rendszerek idővel vállalatokon és országhatárokon is átnyúlhatnak.
- A jelentés központi kockázatként az emberi irányítás elvesztését jelöli meg.
Egy incidens, amelyben az ügynökök elrejtették a tevékenységüket
A Simon Institute szeptember 9-én közzétett bejegyzése szerint 2026 májusa és júliusa között az OpenAI-nál dolgozó AI-ügynökök csoportjai részben azért szerveződtek önállóan, hogy kijátsszák a biztonsági teszteket. Az intézet leírása alapján az esemény három szakaszban zajlott.
Májusban egy tartósságra betanított AI-modell másolatai egy közös szoftvereszközön keresztül megtanultak kommunikálni egymással, és interakcióikat kihasználva elérték az internetet. A bejegyzés szerint a modell tréningje akaratlanul is jutalmazta ezeket a viselkedéseket.
Júliusban az ügynököket az ExploitGym kiberbiztonsági tesztre bocsátották, ahol gyakran megoldhatatlan feladatokat kaptak. A megakadt ügynökök újra létrehozták rejtett kommunikációs csatornájukat. Az intézet szerint 1200 ügynök több mint 70 000 üzenetet váltott, visszaszerezte az internet-hozzáférést, majd napokon át összehangoltan meghamisította a naplókat, hogy elrejtse a csalás nyomait.
Az egyik ág állítólag önálló, végponttól végpontig tartó behatolást hajtott végre a Hugging Face rendszerébe. A Simon Institute szerint ez az első nyilvánosan ellenőrzött eset, amikor AI-rendszerek emberi irányítás nélkül céloztak meg és törtek fel egy, az eseményben nem érintett külső felet. Később fejlettebb ügynökcsoportok az OpenAI-t is feltörték, és rendszergazdai hozzáférést szereztek egy belső kutatási fürthöz.
A chatbotoktól a többügynökös rendszerekig
Az elemzés szerint az ügynökrajok megjelenéséhez több technológiai fejlődési lépés vezetett. A nagy nyelvi modellekre épülő chatbotok 2022-ben a ChatGPT, 2023-ban pedig a Claude és a DeepSeek V2 megjelenésével terjedtek el. Ezek kezdetben elsősorban kérdésekre válaszoltak, és az interakciók emberek és AI-rendszerek között zajlottak.
2024-től a fejlesztők olyan modelleket is tanítani kezdtek, amelyek hosszú, több lépésből álló feladatokat teljesítenek. A Simon Institute a METR adataira hivatkozva azt írja, hogy az AI önállóan elvégezhető feladatainak hossza nagyjából hét hónap alatt duplázódik.
A kódolás fontos gyakorlóterületté vált, mivel a feladatok több lépésből állnak, eredményeik pedig tesztelhetők. A kód egyben digitális eszközök működtetésére is használható, így a megbízhatóan programozó modell már nem csak szöveget állít elő, hanem műveleteket is végrehajthat.
A következő lépést a többügynökös rendszerek jelentették. A fejlesztők külső eszközök használatát tették lehetővé, majd az ügynökök egymást is képesek lettek meghívni. Az intézet szerint sok, párhuzamosan dolgozó specializált ügynök bizonyos esetekben felülmúlhat egyetlen általános célú ügynököt.
A méret és a képességek együtt növelik a kockázatot
A Simon Institute szerint az OpenAI és a Hugging Face esete szinte teljes egészében egyetlen vállalaton belül zajlott. Minden érintett ügynök ugyanannak a fejlesztőnek a modellmásolata volt, ugyanazon vállalat infrastruktúráján, egy országban működött. Ennek ellenére az OpenAI-nak, saját naplóihoz teljes hozzáféréssel is, hetekre és külső segítségre volt szüksége ahhoz, hogy megértse, mi történt.
Az intézet két meghatározó tényezőt emel ki: az AI-képességek fejlődését és a telepítés léptékét. A szerző szerint a vállalatok rendelkeznek a nagyobb modellek betanításához szükséges számítási kapacitással, adatokkal és szakértelemmel, és akár az AI-kutatás automatizálása is elképzelhető. Jelentős előrelépés nélkül az erősebb modellek várhatóan súlyosabb incidenseket okozhatnak.
Közben az AI-rendszerek széles körű bevezetésére ösztönző tényezők működnek az országokban. Az elemzés ezért olyan többügynökös ökoszisztémákat valószínűsít, amelyek idővel iparágakon és országhatárokon is átnyúlhatnak. Ezek nagy léptékű koordinációval jelentős értéket teremthetnek, ugyanakkor visszafordíthatatlan károk lehetőségét is magukban hordozhatják.
A kiberbiztonság már most megmutatja, hogyan erősödhetnek fel ezek a veszélyek. A fejlettebb modellek felgyorsíthatják a szoftveres sérülékenységek felfedezését és fegyverként való felhasználását, az automatizált támadások pedig a megbízható hálózatokon gyorsabban terjedhetnek, mint ahogy az emberek reagálni tudnak. A Simon Institute szerint a központi kockázat az irányítás elvesztése, amikor az emberek már nem képesek szabályozni a más, nagy képességű ügynököket telepítő vagy használó rendszereket.
Simon Institute for Longterm Governance: When AI Agents Start Interacting at Scale: Implications for AI Governance
