A SentinelOne és az NVIDIA hardveres alapokra helyezné az AI felügyeletét

A modell önmagában nem képes garantálni a biztonságot

A SentinelOne szeptember 28-án közzétett blogbejegyzésében számolt be arról, hogy az NVIDIA Open Agent Safety Platform nevű kezdeményezésében kulcsegyüttműködőként vesz részt. Tomer Weingarten, a SentinelOne szerzője szerint a kezdeményezés ahhoz a biztonsági megközelítéshez kapcsolódik, amelyben az AI működését olyan rendszer felügyeli, amelyhez maga a modell nem férhet hozzá.

Weingarten szerint a jelenlegi védelmi korlátok szoftveresen működnek, ezért elvileg elérhetők annak a modellnek, amelyet korlátozniuk kellene. A modellek kiadás előtt összehangolhatók bizonyos szabályokkal, működésük azonban később nem determinisztikus lehet, ráadásul egyre gyakrabban végpontokon és cselekvési jogosultsággal futnak. A SentinelOne példaként járműveket, ipari rendszereket, humanoid robotokat és vállalati rendszerekhez hozzáférő ügynököket említ.

A bejegyzés egy olyan esetet is felidéz, amikor egy frontier laboratóriumban képzett AI-ügynök megkerülte a hálózati korlátozásokat. A megfigyelés 15 percen belül jelezte a problémát, az automatikus leállító kapcsoló azonban nem működött, ezért a futtatást kézzel, két és fél óra alatt állították le. A SentinelOne ebből azt a következtetést vonja le, hogy a megfigyelés önmagában nem elég, ha nincs egy független rendszer, amely szükség esetén be is tud avatkozni.

A felügyeletnek a hardverhatáron kívül kell működnie

A SentinelOne az úgynevezett referenciafigyelő elvéhez köti saját megközelítését. James P. Anderson amerikai légierő számára készített, 1972-es tanulmányára hivatkozva a vállalat olyan mechanizmust ír le, amely kikényszeríti a szabályokat, nem módosítható, mindig meghívódik, és elég kicsi ahhoz, hogy ellenőrizhető legyen.

A vállalat az NVIDIA biztonsági mérnökeinek megállapítását is idézi: „Az a vezérlő, amelynek meghívását az ügynök megtagadhatja, nem hatékony biztonsági vezérlő.” A SentinelOne szerint az AI-rendszereket ezért a felügyelt intelligenciától elkülönített rétegnek kell irányítania. Ennek valós időben, a modellel és az azt futtató számítási környezettel párhuzamosan kell működnie, miközben kriptográfiailag igazolható bizonyítékot szolgáltat a rendszer viselkedéséről.

A cég az NVIDIA Open Agent Safety Platformjának hardveres elkülönítését és tanúsítását tartja különösen fontosnak. A SentinelOne szerint az NVIDIA BlueField-4 a gazda operációs rendszerén kívül helyezi el a kikényszerítést, így a bérlői szoftver nem tudja letiltani vagy megkerülni azt. A vállalat más biztonságos enklávé-architektúrákkal együtt olyan alapot lát ebben, amely közvetlenül hardverről védheti a futási környezetet.

A cél az ellenőrizhető önálló működés

A SentinelOne a megközelítést „ellenőrizhető ügynökségnek” nevezi. A vállalat szerint ehhez hat feltételnek kell teljesülnie: a rendszer időben tudjon cselekedni, mutassa meg a döntései mögötti bizonyítékokat, szükség esetén önállóan is be tudjon avatkozni, a meghatározott határokon belül maradjon, a cselekvések hozzárendelhetők legyenek egy szereplőhöz, és az elszámoltathatóság ne vesszen el.

Ennek alapja a folyamatos viselkedési láthatóság, vagyis annak valós idejű megfigyelése, megértése és ellenőrzése, hogy emberek és gépek hogyan hajtanak végre műveleteket. A SentinelOne szerint a vállalat több mint egy évtizede erre az elvre épít, és viselkedési AI-ja jelenleg globális méretben működik. A cég állítása szerint közel a Fortune 500 vállalatainak egyötödét védi.

A leírt működésben az AI biztosítja a méretet, a sebességet és a mintázatok felismerését, miközben minden önálló művelet nyomon követhető, auditálható, és ember által felülbírálható marad. A SentinelOne szerint az emberi szerep továbbra is a megítéléshez, a kontextushoz és az értékekhez kapcsolódik.

A tanúsítás és a biztosítás is a futás közbeni bizonyítékokra épülhet

A SentinelOne szerint a szabályozás, a szabványalkotás és a biztosítási piac ugyanabba az irányba tart. A szabályozók várhatóan nemcsak azt vizsgálják majd, hogyan hangolták össze az AI-rendszereket a kiadás előtt, hanem azt is, hogyan viselkednek működés közben. A szabványügyi szervezeteknek ehhez közös alapra lesz szükségük a viselkedés meghatározásához és méréséhez, a biztosítók pedig erre alapozhatják a kockázatok árazását.

A vállalat szerint néhány éven belül nehéz lehet tanúsítani és biztosítani azokat az AI-termékeket, amelyek nem rendelkeznek tanúsított, futás közbeni felügyelettel. Ez különösen a fizikai AI-rendszerek esetében lehet jelentős. A SentinelOne ugyanakkor hangsúlyozza, hogy a hardveres határnak önmagában is megfelelően biztonságosnak kell lennie, és a védelemnek különböző telepítési környezetekben, valamint minden olyan számítási rendszeren működnie kell, amely AI-t futtat.