A Baseten bemutatta a Carbon ügynököknek szánt sandbox-infrastruktúrát

Az ügynökbiztonság több rétegre épül

A Baseten szeptember 28-i közleménye szerint támogatja az NVIDIA Agent Safety Platformját, amely három területen kezeli az ügynökök biztonságát: az alkalmazási rétegben, a futtatási környezetben és az infrastruktúrában. A vállalat az NVIDIA OpenShell indulási partnere, valamint az Open Secure AI Alliance tagja.

A Baseten szerint a nyitottság előnyt jelenthet a mesterséges intelligencia biztonságában. A vállalat az inference, vagyis a modellfuttatás, a tanítás és a sandboxok területén is biztonsági vezérlőket fejleszt. A Base Labs nyílt modellek tanítására és megfigyelésére szolgáló módszereket készít és publikál, a Baseten pedig ezeket a telepítési infrastruktúrájába, futásidőben építi be.

A vállalat korábban a Base Labs, a Hugging Face és a Goodfire AI együttműködésével indított biztonsági infrastruktúra-projektet. A közlemény szerint az Open Secure AI Alliance-hoz való csatlakozás ezt az irányt erősíti.

A Blaxel adja az ügynökök végrehajtási rétegét

A Baseten közlése szerint a megfigyelés önmagában csak akkor hasznos, ha annak jelzései összekapcsolódnak a jogosultságokkal, az elkülönítéssel és a kód futtatása előtti ellenőrzésekkel. A Basetenen futó ügynökök esetében ezeket a vezérlőket a Blaxel sandboxai és hálózati rétege biztosítják.

A Baseten felvásárolta a Blaxelt, hogy felépítse a következő billió ügynök felhőjét. Miközben a Baseten a modellek tanításához és kiszolgálásához szükséges infrastruktúrát fejleszti, a Blaxel a végrehajtási réteget biztosítja. Ennek részei a microVM-alapú sandboxok, a tartós tárhely és a szigorú hozzáférés-vezérléssel működő hálózat.

A Blaxel az NVIDIA nyílt forráskódú OpenShell futtatási környezetét is támogatja. Az OpenShell rendszermagszinten érvényesíti a szabályokat, és a közlemény szerint független attól, milyen számítási infrastruktúrán fut az ügynök.

A Carbon minden sandboxhoz IPv6-címet ad

A Carbon a Blaxel negyedik infrastruktúra-generációja. A Baseten szerint a rendszert arra tervezik, hogy ügynökök billióit támogassa éles környezetben, és a megoldás hamarosan elérhető lesz a Baseten platformján az ügynöki munkafolyamatok sandboxaihoz és szélesebb végrehajtási infrastruktúrájához.

A Carbon továbbra is microVM-eket használ. Minden sandbox saját, dedikált IPv6-címet kap. A Baseten közleménye szerint az évtized során párhuzamosan akár több milliárd és több billió ügynök is futhat, ezért az IPv6 biztosít elegendő címtartományt.

Az új infrastruktúra a korábbi generációknál rugalmasabb és jobban konfigurálható. A főbb újdonságok között szerepelnek az ügynökök számára elérhető rendszermag-képességek, a futásidejű szabályérvényesítés, a kézi pillanatképkészítés, a sandboxok elágaztatása, valamint a pillanatképből éles környezetbe vezető út, amely a közlemény szerint ezredmásodpercek alatt bejárható.

Privát előzetesben érhető el

A Carbon lehetővé teszi, hogy a sandbox közvetlenül futtasson nagyobb futásidejű szoftvereket is. A Baseten ehhez kész, használatra előkészített sablont biztosít, amellyel az OpenShell már telepítve indítható el egy Carbon sandboxban.

Ha az OpenShell egy feladat közben problémásnak jelöl egy ügynököt és karanténba helyezi, a Carbon pillanatképei lehetővé teszik az utolsó ismert jó állapot azonnali visszaállítását. Így a futtatás a közlemény szerint nem feltétlenül veszik el.

A Carbon jelenleg privát előzetesben van, és régiónként, illetve munkaterületenként fokozatosan vezetik be. A teljes pillanatkép- és elágaztatási API-dokumentáció elérhető a Blaxel dokumentációjában. A Baseten közlése szerint azok az ügyfelek, akik már a 3.0-s verziót használják, kapcsolatba léphetnek a vállalattal a hozzáférésért.