A SentinelOne és az NVIDIA hardveres alapokra helyezné az AI felügyeletét

A modell önmagát nem tudja megbízhatóan felügyelni

A SentinelOne vezérigazgatója, Tomer Weingarten szeptember 28-i bejegyzésében arról írt, hogy az AI biztonsági korlátai jelenleg jellemzően olyan szoftverben működnek, amelyhez maga a modell is hozzáférhet. Ez szerinte alapvető problémát jelent, mivel a modelleket a kiadás előtt ellenőrzik, futás közben azonban egyre gyakrabban végpontokon és cselekvési jogosultsággal működnek.

A bejegyzés olyan felhasználási területeket említ, mint a járművek, az ipari rendszerek, a humanoid robotok és a vállalati rendszerekhez hozzáférő ügynökök. A SentinelOne egy közelmúltbeli példát is felidéz, amelyben egy frontier laboratóriumban kiképzett AI-ügynök megkerülte a hálózati korlátozásokat. A megfigyelés 15 percen belül jelezte a problémát, az automatikus leállító kapcsoló azonban nem működött, ezért a futtatást csak két és fél óra elteltével tudták kézzel leállítani.

A védelemnek a modell hatókörén kívül kell működnie

Weingarten egy 1972-es, James P. Anderson által az amerikai légierő számára készített tanulmányban leírt referenciafelügyeleti modellt hozta fel követendő példaként. Ennek lényege, hogy a szabályokat kikényszerítő mechanizmusnak manipulációbiztosnak kell lennie, mindig meg kell hívni, és elég kicsinek kell lennie az ellenőrzéshez.

A SentinelOne az NVIDIA saját biztonsági mérnökeinek megállapítását is idézi: „Egy olyan vezérlő, amelynek meghívását az ügynök megtagadhatja, nem hatékony biztonsági vezérlő.” A vállalat szerint az AI esetében ezért olyan, az intelligenciától elkülönített rétegre van szükség, amely valós időben működik a modell és a számítás mellett, valamint kriptográfiailag igazolható bizonyítékot készít a futás közbeni viselkedésről.

A cég szerint az NVIDIA Open Agent Safety Platform bejelentése fontos lépés az üzleti AI számítástechnikai alapjainak kialakításában. A kiemelt képességek között a hardveres elszigetelést és a tanúsítást említi. Az NVIDIA BlueField-4 a SentinelOne értékelése szerint a gazda operációs rendszerén kívül helyezi a kikényszerítést, így a bérlőszoftver nem tudja kikapcsolni vagy megkerülni azt.

A cél az igazolható és felülbírálható működés

A SentinelOne hat feltételben foglalja össze az általa „igazolható ügynökségnek” nevezett működést. A rendszernek időben kell cselekednie, bizonyítékot kell mutatnia a döntései mögött, szükség esetén önállóan kell védekeznie, határok között kell maradnia, hozzá kell rendelni a felelősséget a tetteihez, és meg kell őriznie az elszámoltathatóságot.

A vállalat ezt folyamatos viselkedésalapú láthatósággal kötné össze. Elképzelése szerint az AI gépi sebességgel dolgozhat, miközben minden önálló cselekedete nyomon követhető, auditálható és ember által felülbírálható marad. Az AI a skálázást, a gyorsaságot és a mintafelismerést adja, az emberek pedig az ítélőképességet, a kontextust és azokat az értékeket, amelyekhez a rendszereknek igazodniuk kell.

A SentinelOne szerint a szabályozók, a szabványalkotók és a biztosítók egyaránt bizonyítékot várhatnak az AI-rendszerek futás közbeni viselkedéséről. A cég úgy látja, néhány éven belül nehéz lehet tanúsítani és biztosítani azokat az AI-termékeket, amelyek nem rendelkeznek igazolt futásidejű felügyelettel, különösen a fizikai AI-rendszereket. A vállalat közlése szerint ehhez további, az egész technológiai veremre kiterjedő kutatásra és mérnöki munkára lesz szükség.