Az NVIDIA OpenShell külső infrastruktúrával védené az AI-ügynököket
Az NVIDIA bemutatta az OpenShell nevű, nyílt forráskódú futtatókörnyezetét, amely az AI-ügynökök hozzáféréseit és működését az ügynökön kívüli infrastruktúrával szabályozza. A vállalat szerint a rendszer a biztonsági és irányítási szabályokat futás közben is kikényszeríti, miközben az NVIDIA Vera processzorokra épülő referencia-architektúra nagy számú ügynökkörnyezet egyidejű futtatását célozza.
- Az OpenShell nyílt forráskódú futtatókörnyezetként szabályozza az AI-ügynökök hozzáféréseit.
- A rendszer Gateway, Supervisor, Sandbox és Policy prover komponensekből áll.
- Az NVIDIA Vera akár kétszeres teljesítményt kínálhat kritikus ügynöki feladatokon az x86-hoz képest.
- A CoreWeave szerint a Vera több mint háromszor gyorsabb homokozóindítást ért el.
- A BlueField-4 és a Sentry ezredmásodperces karanténba helyezést tesz lehetővé szabálysértés esetén.
Az ügynökök működését kívülről szabályozná az OpenShell
Az NVIDIA október 21-én ismertetett megoldása abból indul ki, hogy az önálló AI-ügynökök hosszú időn át, összetett feladatokon dolgozhatnak. Fájlokat és eszközöket érhetnek el, internetes szolgáltatásokat használhatnak, kódot tölthetnek le, új eszközöket építhetnek, további jogosultságokat kérhetnek, illetve más ügynököket is bevonhatnak a munkába.
A vállalat szerint az ügynökök alkalmazkodóképessége teszi őket hasznossá, ugyanakkor a céljuk elérése közben nem feltétlenül helyezik előtérbe a biztonságot. Az NVIDIA ezért úgy látja, hogy az irányítást és a biztonságot abban az infrastruktúrában kell megvalósítani, ahol az ügynök fut. Az OpenShell az ügynök-munkafolyamatokat a teljes végrehajtás alatt nem megbízhatóként kezeli, és csak azt a hozzáférést adja meg, amelyre az ügynöknek az adott pillanatban szüksége van.
A rendszer négy fő elemből áll. A Gateway vezérlési síkként kezeli a homokozók életciklusát és a szabályzatokat. A Supervisornak az a feladata, hogy a kimenő kéréseket összevesse a szabályzatokkal, valamint közvetítse a hitelesítő adatokhoz való hozzáférést. Ez az összetevő a homokozótól teljesen elkülönítve működik. A Sandbox elszigeteli az ügynök munkafolyamatát, és korlátozza a fájlrendszerhez, illetve a folyamatokhoz való hozzáférést. A Policy prover formális ellenőrzéssel vizsgálja, hogy a szabályzatban szereplő jogosultságok nem lépik-e túl a szervezet által meghatározott határt.
Bővíthető szabályzatok és elkülönített jogosultságkezelés
Az OpenShell kialakításának egyik alapelve a bővíthetőség. A Supervisor köztes rétege lehetővé teszi, hogy egy szervezet megvizsgálja, blokkolja vagy módosítsa az ügynök által a hálózaton küldött és fogadott tartalmakat. A Gateway interceptoraival a kezelők az adott telepítéshez igazíthatják a vezérlési sík műveleteinek irányítását anélkül, hogy módosítaniuk kellene magát a Gatewayt.
Az NVIDIA szerint az ügynökrendszerekben azt is meg kell határozni, hogy az ügynök kinek a nevében jár el, milyen hatáskörrel rendelkezik, és az adott művelet illeszkedik-e a feladatához. Az identitáskezelés, a jogosultságkezelés, az adatvédelem és az auditálás ennek különböző részeit kezeli. Az OpenShell ezeknek a rendszereknek integrációs pontokat biztosít.
A referencia-architektúrában az OpenShell NVIDIA Vera CPU-kon fut. A Vera nem a szabályozást határozza meg, hanem az ügynökök végrehajtási sebességét szolgálja. Az ügynökök egymásra épülő ciklusokban dolgoznak, amelyekben a következő lépés, például egy eszközhívás, kódvégrehajtás vagy adatlekérdezés csak az előző után indulhat.
A Vera és a BlueField a nagyobb terhelésre készült
Az NVIDIA Vera 88 saját tervezésű Olympus magot, második generációs Scalable Coherency Fabric összeköttetést, LPDDR5X memóriát, Gen 6 I/O-t és bizalmas számítástechnikai képességeket használ. A vállalat adatai szerint a processzor kritikus ügynöki feladatokon akár kétszeres teljesítményt nyújt az x86 processzorokhoz képest. A Scalable Coherency Fabric legfeljebb háromszoros magok közötti sávszélességet és akár 50 százalékkal alacsonyabb késleltetést kínál az x86-os alternatívákhoz képest.
A Vera 96 PCIe Gen 6 sávot és legfeljebb 1,2 TB/s LPDDR5X memória-sávszélességet biztosít. Az NVIDIA szerint a processzor wattarányos teljesítménye kétszerese az x86 CPU-kénak, az LPDDR5X memóriarendszer pedig nagyságrenddel kevesebb energiát fogyaszt a konkurens DDR5-alapú konfigurációknál.
A CoreWeave mérései alapján a homokozók indítása több mint háromszor gyorsabb volt Verán, mint x86-on, egy rack pedig több mint 11 ezer párhuzamos ügynöki környezetet támogatott. A Terminal Bench tesztben, 20 valós ügynöki feladaton, a Vera 1,8-szor gyorsabb ügynöki ciklus-végrehajtást ért el egy vezető x86 processzornál. A tesztelt feladatok között szkriptelés és adatbázis-helyreállítás is szerepelt.
A további védelmi réteget az NVIDIA BlueField-4 DPU és az NVIDIA DOCA-ra épülő Sentry szoftver adja. A BlueField-4 az ügynökök hatókörén kívüli, hardveresen elkülönített bizalmi tartományt biztosít. A Sentry figyeli a kéréseket és válaszokat, a hálózati és fájlműveleteket, ellenőrzi az identitást és a delegált jogosultságot, valamint a gazdagép kiválasztott memóriaterületeit is elemezheti. Az NVIDIA szerint szabálysértés észlelésekor a BlueField-4 szilíciumszinten érvényesíti a szabályzatot, így a Sentry ezredmásodpercek alatt karanténba helyezheti az ügynököt.
NVIDIA Developer: How NVIDIA OpenShell Reference Architecture Secures and Governs AI Agent Workloads at Scale
