SAFE irányelveket javasol az Open Secure AI Alliance az AI-biztonságra

Közös incidenskezelést céloz a SAFE

Az Open Secure AI Alliance már több mint 120 szervezetet fog össze, tagjai pedig új irányelveket dolgoznak ki az agentic AI kiberbiztonságának erősítésére. A Linux Foundation által közzétett Request for Comments a Shared AI Findings Exchange, röviden SAFE nevű javaslatról szól, amelynek célja, hogy az agentic kiberbiztonsági incidensekből az egész ökoszisztéma számára hasznosítható védelem legyen.

A SAFE irányelveket az Open Secure AI Alliance egyik munkacsoportja készíti. Az NVIDIA közlése szerint az első javaslat kidolgozásához többek között az NVIDIA, a Cisco, a CrowdStrike, a Hugging Face és a Red Hat járul hozzá a Linux Foundationnel együttműködve.

A tervezet több elemet tartalmaz: bizalmas módon gyűjtené és elemezné az AI incidenseket és a majdnem bekövetkezett hibákat, tájékoztatná az érintetteket, azonosítaná a visszatérő kontrollhibákat, valamint bizonyítékokon alapuló működési ajánlásokat tenne közzé a rendszerszintű kockázat csökkentésére.

Az agentic AI védelme teljes rendszert igényel

Az NVIDIA bejegyzése szerint az agentic AI biztonságát nem lehet pusztán modellbiztonsági kérdésként kezelni. Egy AI-ügynök rendszerként működik, amelyhez identitáskezelés, futtatási környezetek, korlátok, naplók és értékelési folyamatok is tartoznak. A vállalat állítása szerint az ilyen rendszerek védelméhez a sérülékenységvizsgálatnál szélesebb megközelítésre van szükség.

A blogbejegyzés a kiberbiztonságot olyan versenyként írja le, amelynek nincs célvonala. A fő üzenet az, hogy a védekezőknek az ügynökök sebességéhez igazodva kell reagálniuk, miközben nyíltan megosztott fenyegetési információkra és közös védelmi eszközökre támaszkodnak.

A SAFE keretrendszer az Open Secure AI Alliance tagjainak meglévő technológiai hozzájárulásaira épül. A szövetség célja nyílt, ellenőrizhető eszközök megosztása az AI-biztonsági stack több rétegében, az identitástól és jogosultságkezeléstől a futtatási korlátokon, megfigyelhetőségen és értékelésen át az adatbiztonságig és a rendelkezésre állásig.

NVIDIA eszközök: NOOA, OpenShell, NeMo és Garak

Az NVIDIA saját hozzájárulásai között említi a GitHubon elérhető NVIDIA Labs Object-Oriented Agent, röviden NOOA kutatási keretrendszert, amely az ügynökök viselkedésének tesztelését, követését, auditálását és irányítását hivatott könnyebbé tenni.

A NVIDIA OpenShell runtime a vállalat leírása szerint korlátozza, mit láthat, érhet el és tehet egy ügynök, vagyis ügynökszinten érvényesít biztonsági és adatvédelmi kontrollokat. Az NVIDIA nyílt modellcsaládjai között a bejegyzés felsorolja a NVIDIA Nemotron agentic AI-hoz, a NVIDIA Cosmos physical AI-hoz, a NVIDIA Isaac GR00T robotikához, a NVIDIA BioNeMo egészségügyi és élettudományi felhasználáshoz, valamint a NVIDIA Alpamayo autonóm járművekhez készült modelleket. A cég szerint az Alpamayo a világ legnagyobb, kereskedelmi használatra licencelt autonómjármű-modellje.

A forrás szerint az NVIDIA nyílt forrású, ellenőrzött ügynökkészségei hordozható utasításkészleteket adnak, amelyeket katalogizálnak, kockázatokra, például prompt injectionre és tools poisoningra vizsgálnak, kriptográfiailag aláírnak, és skill card dokumentációval látnak el. A NeMo Guardrails, a NeMo Anonymizer és a NeMo Safe Synthesizer a biztonsági szabályok érvényesítését, az érzékeny adatok védelmét és adatvédelmi szempontból biztonságos szintetikus adatok előállítását segíti. A Garak nyílt forrású LLM-sérülékenységvizsgálóval a biztonsági csapatok adatszivárgás, prompt injection és jailbreak forgatókönyvek ellenőrzését végezhetik el a modellek kiadása előtt.

Más tagok identitási, jogosultsági és tesztelési eszközöket adnak

Az Open Secure AI Alliance többi tagja is több rétegben fejleszt eszközöket. Az identitás és jogosultságok területén az Okta referencia-implementációkat készít az ügynökidentitáshoz és hozzáféréshez, bemutatva, hogyan használható a Cross App Access, röviden XAA nyílt protokoll arra, hogy OpenShell sandbox környezetben működő AI-ügynökök biztonságosan kapcsolódjanak vállalati alkalmazásokhoz.

A Palo Alto Networks az Idira következő generációs identitásbiztonsági platform nyílt forrású eszközeit, köztük az Agent Guardot és az Agent Watchot adta hozzá. A Red Hat által alapított asago projekt a szervezetek egyedi irányítási követelményeit, például a NIST, az OWASP és az EU AI Act által hivatkozott elemeket kapcsolja össze azzal, hogy az ügynökök futásidőben mit tehetnek, egyetlen auditnyomvonalat adva a szabályzati ponttól az élő kontrollig.

Az Amazon a bejegyzés szerint az Open Secure AI Alliance egyik legújabb tagja lett, és a Strands Agents nyílt forrású eszközkészlettel járul hozzá az AI-ügynökök építéséhez. A vállalat a Cedar nyílt forrású autorizációs nyelvet is hozzáadja, amely determinisztikus, ellenőrizhető határokat érvényesít arra, hogy az AI-ügynökök mit tehetnek. A Capital One a VulnHuntert tette nyílt forrásúvá agentic AI kódbiztonsághoz, a Cloudflare a Vulnerability Discovery Harnesst kínálja nyílt forrású skillként, a Microsoft AI Red Team pedig több eszközt és keretrendszert nyitott meg, köztük a PyRIT, RAMPART, Clarity és Assert projekteket.

Mit jelent ez a felhasználóknak és a piacnak

A SAFE javaslat és a felsorolt nyílt eszközök közös iránya az, hogy az agentic AI rendszerek biztonsága átláthatóbb, tesztelhetőbb és megoszthatóbb legyen. A felhasználók és vállalati csapatok szempontjából ez olyan kontrollokat jelenthet, amelyek az ügynökök hozzáféréseit, futásidejű működését, naplózását, adatkezelését és biztonsági értékelését is lefedik.

A piaci szereplők számára a Linux Foundation RFC-je azért fontos, mert a javaslat véleményezhető formában jelenik meg, és több nagy technológiai szereplő közös munkájára épül. A forrás alapján a cél nem egyetlen termék bevezetése, hanem közös irányelvek és nyílt, ellenőrizhető komponensek kialakítása az AI-ügynökök kockázatainak kezelésére.

A bejegyzés külön kiemeli, hogy a szakosított biztonsági és biztonságossági modellek a védelemben célzott feladatokra készülnek, például kód megértésére, sérülékenységek keresésére és fenyegetések skálázható elemzésére. A CrowdStrike az NVIDIA Nemotron Nano modellt finomhangolja kiberbiztonsági védelemre, belső tesztelése pedig 96% pontosságot ért el Falcon LogScale vizsgálati lekérdezések generálásában. A Mistral a forrás szerint ugyanazon a napon tette közzé új Shieldstral multimodális biztonsági osztályozó modelljét nyílt súlyokkal, Apache 2.0 licenc alatt.