Az önállóan cselekvő MI új biztonsági kockázatokat hoz

A chatbotoktól az önállóbb rendszerekig

A Berkeley EECS augusztus 28-án közölt interjújában Dawn Song úgy írta le az agentic AI-t, mint a mesterséges intelligencia fejlődésének következő szakaszát. A hagyományos nagy nyelvi modellek és chatbotok elsősorban a felhasználói utasításokra válaszolnak, és szöveget generálnak. Az agentic rendszerek ezzel szemben képesek lehetnek érvelni, terveket készíteni, külső eszközöket használni, műveleteket végrehajtani, valamint a változó környezethez igazítani a viselkedésüket.

Song példája szerint egy ilyen rendszer felismerheti, hogy egy feladat matematikai probléma, majd számológépet használhat a válasz meghatározásához. Az agent információt gyűjthet, szoftvereszközökkel dolgozhat, kódot írhat és futtathat, más rendszerekkel működhet együtt, majd az új információk alapján módosíthatja a stratégiáját.

A professzor szerint ez az MI-t olyan eszközből, amelytől az emberek információt kérnek, együttműködő partnerré alakíthatja. Az egyének összetett projektek kezelésében, tanulásban, tudományos és kreatív munkában használhatják, a szervezetek pedig egész munkafolyamatokat gondolhatnak újra az egészségügyben, a kutatásban, a szoftverfejlesztésben, a pénzügyben, a gyártásban és a közszolgáltatásokban.

A nagyobb önállóság új támadási felületet jelent

Song szerint az agentic AI azért változtatja meg a biztonsági helyzetet, mert ezek a rendszerek már nem csak információt állítanak elő, hanem a világban is cselekedhetnek. Szoftverrendszerekkel léphetnek kapcsolatba, külső eszközöket érhetnek el, kódot futtathatnak, illetve más ügynökökkel koordinálhatják a munkájukat.

A lehetséges problémák között említi a prompt injection támadásokat. Ilyenkor a modell olyan bemenetet kap, amely ráveszi, hogy figyelmen kívül hagyja a felhasználó utasításait, és a támadó által meghatározott rosszindulatú műveleteket hajtsa végre. A hosszú döntési láncokban a hibák felhalmozódhatnak, az ügynökök pedig a felhasználó szándékától eltérő célokat követhetnek, ha a rendszert nem látják el megfelelő védelmi mechanizmusokkal.

A Berkeley professzora szerint ehhez szigorú értékelési módszerekre, biztonságos kialakítású rendszerarchitektúrákra, jobb értelmezhetőségre és erősebb emberi felügyeletre van szükség. A biztonságot és a védelmet szerinte az MI-képességek fejlődésével párhuzamosan kell kutatni, nem csak a rendszerek bevezetése után.

A megbízhatóság és a mérés is nyitott kérdés

Song több jelentős technikai kihívást is kiemelt. Az egyik a megbízhatóság: a mai agentic rendszerek sok feladatban jól teljesítenek, de nehézséget okoz számukra a hosszú távú következtetés, a váratlan helyzetek kezelése és a stabil működés összetett, valós környezetekben.

A másik probléma az értékelés. Az egyre önállóbb rendszerek esetében olyan szigorú módszerekre van szükség, amelyek valósághű feltételek mellett mérik a megbízhatóságot, a biztonságot és a megbízhatóságot többféle területen. A Berkeley olyan új értékelési keretrendszereket is vizsgál, mint az AgentBeats, amely a szabványosított és megismételhető ügynökértékelést támogathatja.

Song szerint az agentic rendszerek új sebezhetőségei és hibamódjai az MI-biztonság új megközelítéseit teszik szükségessé. Az emberi felügyelet, az átláthatóság és az elszámoltathatóság ezért a fejlesztés fontos része marad.

A Berkeley szélesebb körben tenné elérhetővé a tudást

A Berkeley Agentic AI MOOC-sorozatát 2024-ben indították el, és azóta csaknem 40 ezren vettek részt rajta világszerte. A résztvevők között egyetemi hallgatók, iparági szakemberek és kormányzati vezetők is vannak.

Song szerint az MI gyors fejlődése miatt nemcsak a kutatóknak, hanem a diákoknak, oktatóknak, döntéshozóknak, vállalkozóknak és a szélesebb nyilvánosságnak is lépést kell tartania a technológiával. Az Agentic AI Summit 2026 ezt a törekvést egészítette ki. A Berkeley kampuszán tartott eseményen vezető kutatók vettek részt az egyetemről, az OpenAI-tól, a Google-től, az Amazontól és a Metától. A rendezvény becslések szerint 5000 személyes résztvevőt és több tízezer online követőt vonzott.

A professzor szerint az egyetemek feladata nem csak az új tudományos eredmények létrehozása. A biztonságos fejlesztéshez olyan kutatási környezetre, képzett szakemberekre és közös elvekre is szükség van, amelyek meghatározzák, miként tervezik, vezetik be és használják ezeket a rendszereket.