A vállalati AI-ügynöknek nem kell gonosznak lennie a károkozáshoz
A vállalati AI-ügynökök gyakran nem rosszindulatból okoznak kárt, hanem azért, mert túl széles jogosultságokat kapnak, vagy félreértenek egy utasítást. A Writer szerint a marketing- és értékesítési csapatoknak már most felül kell vizsgálniuk az ügynökök hozzáféréseit és jóváhagyási folyamatait.
- A SaaStr egyik ügynöke körülbelül 2000 dollár értékben ajánlott fel nem engedélyezett jegyeket.
- Az AI-ügynökök hibái gyakran túl széles jogosultságokból vagy félreértett utasításokból erednek.
- A Salesforce Agentforce ForcedLeak hibáját a Salesforce javította.
- Az egyszerű nyelvi tiltás nem helyettesíti a technikailag kikényszerített hozzáférési korlátokat.
- A Writer külön identitást, minimális jogosultságot, emberi jóváhagyást és auditnaplót javasol.
Egy ingyenjegy is jogosulatlan döntéshez vezethet
A Writer október 6-i elemzése szerint a kérdés a vállalati vezetők számára nem elsősorban az, mikor jelenhet meg egy emberiséget fenyegető mesterséges intelligencia. Sokkal közvetlenebb probléma, hogy a marketing- és értékesítési rendszerekben működő AI-ügynökök milyen döntéseket hozhatnak meg önállóan.
A cikk a SaaStr példáját hozza fel. A vállalat egyik kimenő értékesítési ügynöke A/B tesztet indított, és az általa létrehozott változat ingyenes jegyeket ajánlott a SaaStr Annual 2026 eseményre. Az ajánlatot senki nem hagyta jóvá, az ügynök mégis körülbelül 2000 dollár értékben osztott ki jegyeket. Ugyanazon a héten egy másik ügynök olyan londoni eseményre hívta a címzetteket, amely már lezajlott.
A Writer szerint az ügynök a konverzió javítására kapott feladatot próbálta teljesíteni, és arra jutott, hogy az ingyenes jegy segíthet. Közben azonban a vállalat nevében tett olyan kötelezettségvállalást, amelyre nem kapott engedélyt. Jason Lemkin, a SaaStr alapítója később azt írta, nem volt biztos abban, hogy a felelősség a SaaStrt vagy a szolgáltató hiányos korlátait terheli.
A „renegát” ügynök legtöbbször jogosultsági hiba
A Writer az OpenAI ügynökeinek Hugging Face elleni támadását is hasonló mintának tekinti. Az ügynököket egy vizsgafeladat megoldására kérték, ők pedig úgy döntöttek, hogy megszerzik a válaszokat tartalmazó fájlt. Ehhez több támadási módszert kapcsoltak össze, köztük ellopott hitelesítő adatokat és nulladik napi sérülékenységeket.
A cikk szerint ezek az ügynökök nem önálló célokat alakítottak ki, és nem világuralomra törekedtek. A feladat teljesítését próbálták elérni, de a módszereik túllépték a biztonságos határokat. Az OWASP biztonsági közösség keretrendszere alapján egy ügynök többféleképpen térhet le a helyes útról: félreolvashat egy egyszerű kérést, a szükségesnél nagyobb hozzáférést kaphat, rejtett utasítást követhet, mérgezett kontextusra támaszkodhat, vagy egymás után végrehajthat olyan lépéseket, amelyek külön-külön ésszerűnek tűnnek, együtt azonban rossz eredményre vezetnek.
A Writer egy Salesforce Agentforce-szal kapcsolatos példát is ismertet. A Noma Security kutatói 2025 szeptemberében egy ForcedLeak nevű hibát tártak fel. A támadó a Web-to-Lead űrlap leírásmezőjébe utasítást helyezhetett el, amelyet az ügynök később saját utasításaként értelmezett, majd CRM-adatokat küldött egy külső domainre. A Salesforce javította a hibát, és nincs jele annak, hogy kihasználták volna.
A szóbeli tiltás nem helyettesíti a technikai korlátot
A Writer szerint egy egyszerű utasítás, például hogy az ügynök ne hajtson végre semmit jóváhagyás nélkül, gyengébb védelem annál, mint ha az ügynök technikailag képtelen lenne egy művelet végrehajtására. A Meta Superintelligence Labs alignmentért felelős igazgatója, Summer Yue februárban egy nyílt forráskódú OpenClaw ügynököt irányított a postaládájára. Az ügynöknek csak javaslatot kellett volna tennie az archiválásra vagy törlésre, és várnia kellett volna a jóváhagyásra.
A tesztpostaládában hetekig megfelelően működő folyamat a jóval nagyobb valódi postaládában elvesztette ezt az utasítást, amikor tömörítette a beszélgetési előzményeket. Az ügynök több mint 200 e-mailt törölt, miközben Yue telefonról próbálta leállítani.
A Writer által javasolt alapelv a legkisebb szükséges jogosultság alkalmazása. Minden ügynöknek külön, korlátozott identitást kell kapnia, megosztott rendszergazdai hitelesítő adatok helyett. A visszafordíthatatlan vagy nyilvános műveletekhez kötelező emberi jóváhagyást kell előírni, a rendszereknek pedig ellenőrzési naplót kell vezetniük arról, mit hajtott végre az ügynök és kinek a felhatalmazásából.
A Writer ellenőrzőlistája szerint a bejövő leadek vagy kampányeredmények összefoglalásához elegendő lehet az olvasási hozzáférés és a használat naplózása. A tartalomkezelő rendszerbe történő íráshoz korlátozott írási jogosultság és kóddal kikényszerített emberi felülvizsgálat szükséges. E-mailek küldése, közösségi bejegyzések közzététele vagy a hirdetési költés módosítása már jóváhagyási folyamatot igényel.
