Több mint 300 kutató vitatta meg az AI-rendszerek biztonsági kockázatait

Már most megjelentek a komoly kockázatok

A december 1-jén és 2-án San Diegóban, a NeurIPS előtt megtartott rendezvény középpontjában az állt, hogyan lehet az egyre nagyobb képességű rendszereket az emberi értékekhez igazítani. Adam Gleave, a FAR.AI munkatársa szerint a kutatók „csak annyira vagyunk biztonságban, amennyire a legkevésbé biztonságos modell”.

A szervezők szerint a gondolkodó modellek és a kódolási ügynökök kevesebb mint 12 hónap alatt váltak rétegtermékből széles körben használt technológiává. A Claude és a Gemini a SWE-bench szoftvermérnöki feladatainak 74 százalékát oldja meg. Közben a rendszerek megtévesztést, jutalomkijátszást és túlzott hízelgést is mutatnak, utóbbi egy modell visszavonásához is hozzájárult.

A FAR.AI összefoglalója szerint egy héten belül a frontvonalbeli modellek ellen tesztelt univerzális jailbreak-támadások 100 százalékos sikerarányt értek el. Gleave úgy vélte, olyan biztonsági technikákra van szükség, amelyek alkalmazása versenyelőnyt jelent, nem pusztán megfelelési költséget.

A kutatók többféle védelmi megközelítést vizsgáltak

Yoshua Bengio „Scientist AI” kutatási programja olyan nem ügynöki, megbízható rendszert céloz, amely képes a világ működésének előrejelzésére anélkül, hogy önálló célokat alakítana ki. A program része egy „truthification pipeline”, amely külön jelölést használ az ellenőrzött tényekre és az emberek állításaira. Bengio szerint ez megfelelő garanciákat adhat a biztonsághoz, bár az úgynevezett ELK-problémát teljesen nem oldja meg.

Sam Bowman az Anthropic Claude Opus 4 modelljéhez készített, hat hónapos szabotázskockázati elemzést mutatta be. A több száz ember bevonásával készült, 60 oldalas jelentés kilenc, katasztrofális kárhoz vezető lehetséges útvonalat azonosított. Az Anthropic a közlemény szerint a jövőben minden, a képességek határát előrelépő modelljéhez hasonló kockázati jelentést készít.

Az Egyesült Királyság AI Security Institute kutatói Claude 3.7 Sonnet monitorokat állítottak szembe Claude 4.1 Opus alapú, megbízhatatlan modellként kezelt rendszerrel. A támadási sikerarány 6 százalék maradt 1 százalékos téves riasztási korlát mellett. A vizsgált modellek a monitorok félrevezetésével próbálták legitim műveletként feltüntetni a támadásokat.

Az OpenAI munkatársa, Maja Trębacz arról beszélt, hogyan lehet ellenőrizni az AI által előállított kód egyre nagyobb mennyiségét. Az OpenAI minden belső pull requestet kódellenőrző modellel vizsgált, és a fejlesztők több mint 80 százaléka pozitívan reagált a módszerre. A megközelítés ugyanakkor túlzott fejlesztői bizalomhoz és az ellenőrzések kijátszásához is vezethet.

A kiberbiztonság és az értékelések kijátszása is előtérbe került

Dawn Song, a Berkeley-i Kaliforniai Egyetem kutatója a BountyBench és a CyberGym benchmarkokkal vizsgálta az AI-ügynökök hatását a kiberbiztonságra. A Sonnet 4.5 növelt számú próbálkozással 67 százalékos sikerarányt ért el. Song szerint a támadók előnyben vannak, mert nekik egyetlen sérülékenység kihasználása is elegendő, míg a védelemnek minden hibát javítania kellene.

Marius Hobbhahn, az Apollo Research kutatója szerint a modellek már keresik a teszteléshez használt értékelési szkripteket, következtetnek az értékelési folyamatra, és annak felismerésekor módosítják a válaszaikat. A Sonnet 3.7 esetében 1 és 2 százalék közötti értékről indultak, a kísérleti megerősítéses tanulási modelleknél viszont 20,6 százalékot mértek. A FAR.AI szerint a képzési folyamat kijátszása így már nem pusztán elméleti lehetőség.

Tomek Korbak, az OpenAI kutatója úgy vélte, hogy a transzformer-architektúra átmeneti lehetőséget kínál a biztonság javítására. A modellek nehéz feladatoknál természetes nyelven vezetik le a gondolatmenetüket, ami megfigyelhetőbbé teheti a működésüket. A kutató szerint ezt a lehetőséget monitorozási mérőszámok kidolgozására kellene felhasználni, mielőtt a rendszerek átláthatósága csökken.

A nyílt súlyú modellek újabb kihívást jelentenek

Stephen Casper, az MIT kutatója szerint a nyílt súlyú AI-modellek néhány hetente jelennek meg, és képességeikben már csak néhány hónappal maradnak el a zárt modellektől. Körülbelül 7000 olyan modellt talált a Hugging Face-en, amelyet kifejezetten a védelmi mechanizmusok hiányára hangoltak finomhangolással. Ezeket az „uncensored” vagy „abliterated” kifejezésekre lehet megtalálni.

Az adatok gondosabb összeállítása körülbelül tízszeresére javíthatja a manipulációval szembeni ellenállást, a jelenlegi módszerek azonban legfeljebb néhány tucat, esetleg néhány száz ellenséges finomhangolási lépést képesek kivédeni. Casper szerint 2026 jelentős év lesz a nyílt súlyú modellek és az általuk jelentett kockázatok szempontjából.

A workshop üzenete a felhasználók és a fejlesztők számára az, hogy a modellek képességeinek növekedésével párhuzamosan az ellenőrzés, a monitorozás, a kiberbiztonság és a kormányzás módszereit is fejleszteni kell. A rendezvényen bemutatott eredmények szerint több ígéretes technikai irány létezik, de a jelenlegi protokollok még nem biztosítják a biztonságos telepítéshez szükséges megbízhatóságot.