CoreWeave Sandboxes: biztonságos futtatási réteg ügynöki AI-hoz

Az ügynöki modellek futtatási kockázatai

A CoreWeave közleménye szerint a fejlett modellek már nem csak szöveget dolgoznak fel. Kódot generálnak, eszközöket hívnak, böngészőkben navigálnak, és a felhasználók nevében hajtanak végre műveleteket. Emiatt a modellfejlesztéshez olyan végrehajtási rétegre van szükség, ahol az ügynökök kipróbálhatják a lehetséges műveleteket, és futtathatják az általuk létrehozott kódot.

Ez a kód azonban hibás vagy káros műveletet is végrehajthat. A CoreWeave példaként azt hozza, hogy ha egy ügynök az rm -rf / parancsot futtatja, a törlésnek az elkülönített környezetben kell maradnia, miközben a körülötte lévő klaszter érintetlen marad. A Sandboxes minden futtatást elkülönít, így a memóriahasználati kiugrások, a végtelen ciklusok és a kifogyó memória miatt bekövetkező hibák az őket létrehozó sandboxra korlátozódnak.

A vállalat szerint a nagy léptékű megerősítéses tanulást, ügynöki munkafolyamatokat és folyamatos értékelést végző csapatok eddig saját infrastruktúrát építhettek, külön szolgáltatótól vásárolhattak kapacitást, vagy korlátozhatták az ügynökök által kipróbálható műveleteket.

Két futtatási mód saját infrastruktúrához

A CoreWeave Sandboxes kétféle módon használható. A CoreWeave Kubernetes Service, vagyis CKS klaszterein a platformcsapatok saját kapacitásukon futtathatják a sandboxokat, akár több CKS klaszteren keresztül. Minden sandbox saját Kubernetes podban fut, működését pedig olyan profil szabályozza, amely meghatározza a hálózati szabályokat, az erőforráskorlátokat és a névterek határait.

A másik lehetőség a CoreWeave által kezelt, szerver nélküli futtatási környezet. Ebben az esetben a felhasználó kóddal indul, klasztert nem kell üzemeltetnie, és profilokat sem kell konfigurálnia. A CoreWeave közlése szerint minden CPU-s sandbox alapértelmezés szerint Kata Containerben fut. Ez minden sandboxhoz hardveresen virtualizált kernelt, fájlrendszert és hálózatot biztosít.

A kutatók a Python-kliens telepítése után indíthatják a futtatásokat. A CKS-es használathoz a sandboxok egyetlen CLI-paranccsal engedélyezhetők a meglévő klaszterben, a kutatók pedig a pip install cwsandbox paranccsal telepíthetik a klienst. A CoreWeave kezeli a hitelesítést és a kérések útválasztását, valamint a klaszterben futó Runner komponensen keresztül ütemezi és kezeli a sandboxokat.

A hibakeresést és a kapacitáskihasználást is segíti

A nagy számú futtatásnál a hibák felderítését gyakran nehezíti, hogy az életciklus-események, a tanítási mutatók és a nyelvi modell nyomkövetései külön rendszerekben jelennek meg. A CoreWeave Sandboxes esetében a sandboxok életciklus-eseményei ugyanabba a Weights & Biases-futtatásba kerülnek, mint a mérőszámok. A W&B Weave nyomkövetései az egyes sandboxokhoz kapcsolják a modell- és eszközhívásokat.

A sandboxonként rögzített kód, bemenet és kimenet később lekérdezhető, így a fejlesztőknek a közlemény szerint nem kell külön infrastruktúranaplókból újra felépíteniük a futtatás körülményeit. A CoreWeave azt is állítja, hogy a sandboxok a meglévő kapacitáson ütemezhetők, és a rendszer a több klaszteren megnyíló kapacitást, például a GPU-csomópontokon elérhető tétlen CPU-kat is felhasználhatja, amikor a sandboxok SUNK mellett futnak.

A közleményben megszólaló IBM Research munkatársa, Brian Belgodere szerint csapatuk megerősítéses tanulási munkafolyamatai tanítási lépésenként több ezer sandboxot indítanak párhuzamosan, mindegyiket saját konténerképpel és erőforráskorlátokkal. Roman Soletskyi, a Mistral AI-kutatója arról számolt be, hogy csapatuk több száz egyidejű sandboxot futtat CPU-csomópontokon és GPU-csomópontokon futó Slurm-tanítási feladatok mellett.

Elérhetőség CoreWeave-en és a W&B-n keresztül

A CoreWeave Sandboxes 2026. október 2-án nyilvános előzetesben volt elérhető. A CoreWeave meglévő ügyfelei a Cloud Console felületén engedélyezhetik a sandboxokat. Azok a kutatói és alkalmazott AI-csapatok, amelyeknek nincs CKS-klaszterük, vagy meglévő számítási kapacitásukat bővítenék, a Weights & Biases felületén keresztül használhatják a szerver nélküli változatot.

Ehhez a pip install wandb[sandbox] paranccsal telepíthető SDK és egy meglévő W&B API-kulcs szükséges. A szerver nélküli sandboxok előre hitelesítve kapcsolódnak a felhasználó W&B-identitásához, a szükséges titkok pedig a W&B Team titoktárából tölthetők be. A közlemény szerint a használat szervezetenként kerül nyilvántartásba, és a W&B-csomag része, így nincs külön számlázási kapcsolat.

A szolgáltatás a CoreWeave leírása alapján olyan csapatoknak készült, amelyek folyamatos megerősítéses tanulást, ügynöki eszközhasználatot és nagy léptékű értékelést végeznek. A felhasználók saját klasztereiken vagy a CoreWeave által kezelt futtatási környezetben indíthatnak elkülönített végrehajtásokat, miközben a hibák, a nyomkövetés és az erőforrás-határok sandboxonként kezelhetők.