Arm és NVIDIA: így védenék az önálló AI-ügynökök működését

Kétféle számítási feladat az AI-ügynökök körül

Az Arm szeptember 28-án közzétett bejegyzése szerint az AI-infrastruktúra egyre nagyobb része épül Arm-technológiára. A vállalat az IDC-re hivatkozva azt írja, hogy az Arm-alapú, rackméretű szerverek megelőzték az x86-os rendszereket, és azóta ezek számítanak a gyorsított számítás domináns platformjának.

Az Arm szerint az úgynevezett ügynöki korszakban az AI-rendszerek már nem csak válaszokat generálnak. Folyamatosan futhatnak, eszközöket használhatnak, adatokhoz férhetnek hozzá, és műveleteket hajthatnak végre egy feladat teljesítéséhez. Emiatt két alapvető számítási igény jelenik meg: magának az ügynöknek a futtatása, valamint az ügynök védelme.

Az Arm a saját technológiáját mindkét területen fontosnak tartja. A nagy teljesítményű CPU-k az ügynöki munkaterheléseket futtatják, az infrastruktúra-processzorok, köztük a DPU-k pedig önálló megfigyelést, elkülönítést, szabályérvényesítést és biztonsági funkciókat biztosíthatnak.

A CPU-k futtatják az ügynököket

Az ügynöki infrastruktúra középpontjában az Arm szerint a CPU áll. Az ügynökök futtatókörnyezetei, vezérlési rendszerei, eszközhasználata és alkalmazásai mind CPU-kapacitásra támaszkodnak. Ez az igény nő, ahogy az ügynökök képességei bővülnek, tartósabban működnek, és nagy számban, párhuzamosan futnak.

Az Arm több, egymástól eltérő, de az Arm szoftveres ökoszisztémájával kompatibilis platformot sorol fel. Ezek közé tartozik az Arm AGI CPU, az AWS Graviton, a Google Axion, a Microsoft Cobalt és az NVIDIA saját fejlesztésű Vera CPU-ja.

Az NVIDIA OpenShell erre a széles Arm CPU-ökoszisztémára hoz biztonságos ügynökfuttatást. A rendszer biztonságos futtatási határt alakít ki az ügynök körül, és szabályozza, hogy az milyen erőforrásokhoz férhet hozzá, illetve milyen műveleteket hajthat végre. Az Arm szerint így ugyanaz az alapvető biztonsági megközelítés többféle Arm-alapú felhő- és AI-infrastruktúrán is alkalmazható.

A DPU-k a CPU-tól függetlenül felügyelhetnek

Az ügynök futtatása önmagában nem oldja meg a biztonsági feladatokat. Az Arm szerint olyan, a gazdarendszertől független számítási rétegre is szükség van, amely az ügynök környezetén kívül képes megfigyelni a működést, elkülöníteni az erőforrásokat, és érvényesíteni a szabályokat.

Az Arm-alapú DPU-k és infrastruktúra-processzorok ezt a különálló réteget biztosíthatják. A hálózatkezelést, a megfigyelést, az elkülönítést és a biztonsági szolgáltatásokat leválasztják a gazda-CPU-ról. Így olyan ellenőrzési pont jöhet létre, amely független marad azoktól az ügynököktől és alkalmazásoktól, amelyek védelmére szolgál.

Az NVIDIA Open Agent Safety Platform az Arm szerint ezt a felépítést valósítja meg. A BlueField-4 az NVIDIA Grace processzorára épül, és 64 Arm Neoverse V2 magot tartalmaz. A platform a gazdarendszeren kívül biztosít külön infrastruktúrakörnyezetet.

Az OpenShell a BlueFielden futó NVIDIA Sentry rendszerrel is együttműködik. Ez a szabályérvényesítést az ügynök futtatási környezetéből egy külön bizalmi tartományba terjeszti ki. A NVIDIA Sentry valós időben figyelheti az ügynök viselkedését, és az Arm leírása szerint karanténba helyezheti azt az ügynököt, amely nem biztonságosan működik.

A biztonsági határoknak az ügynökökkel együtt kell terjedniük

Az Arm bemutatása szerint a rendszerben az Arm CPU-k futtatják és kiszolgálják az ügynöki munkaterheléseket, az Arm-alapú DPU-k pedig ettől függetlenül megfigyelhetik, szabályozhatják és elkülöníthetik ezeket. A vállalat ezt olyan rendszerszintű biztonsági modellként írja le, amelyben a számítási kapacitás növelése mellett a védelem is bővíthető.

Az Arm szerint a biztonsági határoknak akkor is követniük kell az ügynököket, amikor azok a felhőből a peremhálózati eszközökre és a fizikai rendszerekre terjednek át. A cég úgy látja, hogy az AI-infrastruktúrában betöltött szerepe miatt az Arm hozzájárulhat a teljesítmény és a biztonság együttes skálázásához.