A Berkeley kutatója szerint az önálló AI-rendszerek új biztonsági kihívásokat hoznak
Az agentikus mesterséges intelligencia már nem csak válaszokat generálhat, hanem tervezhet, eszközöket használhat és több lépésből álló feladatokat hajthat végre. Dawn Song, a UC Berkeley professzora szerint a képességek bővülésével a megbízhatóság, a biztonság és az emberi felügyelet is egyre fontosabbá válik.
- Az agentikus AI terveket készíthet, eszközöket használhat és több lépésből álló feladatokat hajthat végre.
- A nagyobb önállóság új megbízhatósági, biztonsági és irányítási kockázatokat teremt.
- A promptinjektálásos támadások eltéríthetik az ügynökök működését.
- Az Agentic AI Summit 2026 személyesen becslések szerint 5000 résztvevőt vonzott.
- A Berkeley agentikus AI-kurzusán csaknem 40 000 ember vett részt 2024 óta.
Az AI a válaszadás helyett célokat hajthat végre
A hagyományos nagy nyelvi modellek és chatbotok elsősorban a felhasználói utasításokra válaszolnak. Az agentikus AI ezzel szemben képes lehet következtetni, terveket készíteni, külső eszközöket használni, kódot írni és futtatni, több lépésből álló feladatokat végrehajtani, valamint a környezet változásaihoz igazítani a viselkedését.
Dawn Song, a UC Berkeley informatikaprofesszora és a Berkeley Center for Responsible, Decentralized Intelligence társigazgatója szerint a különbség ahhoz hasonlítható, mint amikor valakitől nem egyszerűen információt kérünk, hanem egy cél megvalósításával bízzuk meg. Egy ilyen rendszer információt gyűjthet, szoftvereszközöket használhat, más rendszerekkel működhet együtt, majd az új információk alapján módosíthatja a stratégiáját.
Song szerint ez olyan területeken nyithat új lehetőségeket, mint a tudományos felfedezés, az egészségügy, a szoftverfejlesztés és az oktatás. Az AI a szakember értelmezésében fokozatosan a megkérdezhető eszközből együttműködő partnerré válhat, amely összetettebb feladatok elvégzésében segít.
A nagyobb önállóság növeli a biztonsági kockázatokat
Az agentikus rendszerek a chatbotoknál közvetlenebbül hathatnak a világra, mivel szoftverekkel léphetnek kapcsolatba, külső eszközöket érhetnek el, kódot futtathatnak vagy más ügynökökkel koordinálhatják a munkájukat. Emiatt egy hiba, egy váratlan viselkedés vagy rosszindulatú manipuláció is nagyobb következményekkel járhat.
A Berkeley professzora példaként említette a promptinjektálásos támadásokat. Ilyenkor a nyelvi modell olyan bemenetet kap, amely ráveheti, hogy figyelmen kívül hagyja a felhasználó utasításait, és a támadó által meghatározott káros műveletet hajtson végre. Hosszú döntési folyamatokban a hibák felhalmozódhatnak, és megfelelő védelmi mechanizmusok nélkül az ügynökök a felhasználó szándékától eltérő célokat is követhetnek.
Song szerint a megoldáshoz több területen kell előrelépni: szigorú értékelési módszerekre, biztonságos alapokra épített rendszerarchitektúrákra, jobb értelmezhetőségre és erősebb emberi felügyeletre van szükség. A biztonságot és a védelmet a képességek fejlesztésével párhuzamosan kell kutatni, nem csak a rendszerek bevezetése után.
Ötezer résztvevő Berkeleyben, tízezrek online
A UC Berkeley augusztus elején rendezte meg az Agentic AI Summit 2026 konferenciát. Az eseményen a Berkeley kutatói mellett az OpenAI, a Google, az Amazon és a Meta szakemberei is részt vettek. A Berkeley Center for Responsible, Decentralized Intelligence által szervezett találkozón a becslések szerint 5000-en voltak jelen személyesen, online pedig több tízezren követték.
A konferencia a kutatási eredmények bemutatása mellett a technológia értékeléséről, biztonságáról, irányításáról és felelős alkalmazásáról is szólt. Song szerint az agentikus AI fejlődése olyan pontot ért el, ahol az akadémiai szférának, az iparágnak, a kormányzatnak és a tágabb kutatói közösségnek együtt kell dolgoznia.
Berkeley 2024-ben indította el Agentic AI MOOC-sorozatát, amelyen az egyetem közlése szerint csaknem 40 000 ember vett részt. A képzés hallgatókat, iparági szakembereket és kormányzati vezetőket is elért világszerte. Song szerint az AI jövőjét nem kizárólag a kutatási áttörések alakítják, hanem azok a döntések is, amelyeket az emberek a rendszerek tervezéséről, bevezetéséről, irányításáról és használatáról hoznak.
UC Berkeley: UC Berkeley computer scientist on the promise and perils of agentic AI
