A Docker Sandboxes biztonságosabbá teszi az ügynökök tesztelését
A Harbor mostantól Docker Sandboxes környezetben is futtatja az ügynökök értékelési feladatait. A Docker szerint a mikroVM-ekkel elkülönített, szabályozható hálózati hozzáférésű tesztkörnyezetek biztonságosabb és reprodukálhatóbb méréseket tesznek lehetővé.
- A Harbor most Docker Sandboxes környezetben is futtat értékelési feladatokat.
- A feladatok mikroVM-ekben, elkülönítve futnak.
- A hálózati szabályzatokkal azonos tesztfeltételek állíthatók be.
- A feladatok helyben és Docker Cloud Sandboxesben is futtathatók.
- A jelenlegi integráció egykonténeres, CPU-alapú feladatokat támogat.
Miért jelent problémát az ügynökök tesztelése?
Egy AI-ügynök értékeléséhez valódi feladatot kell adni a rendszernek, majd ellenőrizni kell az eredményt. A munka közben az ügynök csomagokat telepíthet, fájlokat módosíthat és parancsokat futtathat. A Docker szerint ez nem megbízható, AI által írt kód, amelyet egy nagyobb mérés során akár több ezer alkalommal is lefuttatnak.
Az ügynökök időnként a feladat tényleges megoldása helyett magát az ellenőrzést próbálhatják kijátszani. Például módosíthatják a teszteket, vagy felülírhatják a pontszámot rögzítő fájlt. Ezt a jelenséget a szakirodalom reward hackingnek nevezi, és a Docker szerint egyre nagyobb figyelmet kap az értékelésekkel foglalkozó közösségben.
Az ügynökök teszteléséhez ezért két összetevőre van szükség: egy értékelési keretrendszerre, amely futtatja a feladatokat, ellenőrzi az eredményeket és összegyűjti a naplókat, valamint minden feladathoz egy tiszta, elkülönített környezetre.
A Harbor és a Docker Sandboxes szerepe
A Harbor nyílt forráskódú értékelési keretrendszer. A Docker példaként a Terminal-Bench benchmarkot említi, amelynek futtatását a Harbor egyszerűsíti. A Docker Sandboxes ehhez biztosítja az elkülönített futtatási környezetet, helyben a fejlesztői gépen vagy a felhőben.
A Docker Sandboxes feladatai mikroVM-ekben futnak, nem megosztott konténerekben. A Docker közlése szerint egy mikroVM saját kernellel rendelkezik, így az ügynök által végzett műveletek a sandboxon belül maradnak. Az ügynök nem férhet hozzá a fejlesztő gépéhez, más feladatokhoz vagy a környezetén kívüli erőforrásokhoz.
A hálózati szabályzatok testre szabhatók. A Docker példája szerint a feladat a beállítási szakaszban letöltheti a szükséges fájlokat, az ügynök munkájának megkezdésekor pedig letiltható az internet-hozzáférés. Így minden ügynök azonos feltételek mellett tesztelhető.
Helyi futtatás és felhős skálázás
A felhasználók ugyanazokat a feladatokat futtathatják laptopon vagy Docker Cloud Sandboxes környezetben. A Docker szerint a csapatok a felhőben több feladatot indíthatnak párhuzamosan, kézi gépprovízionálás nélkül. A vállalat 64 egyidejű munkafolyamattal tesztelte a Harbor működését a Docker Cloud Sandboxesben.
A Harbor Docker Sandboxes használatához a Docker útmutatója szerint telepíteni kell a Harbor sandbox támogatását az uv tool install "harbor[sbx]" paranccsal. Felhős futtatásnál Docker-fiókhoz kell engedélyezni a Cloud hozzáférést, majd személyes hozzáférési tokent kell létrehozni. Helyi futtatásnál a Docker Sandboxes parancssori felületének telepítése, a sbx login használata és a helyi cél megadása szükséges.
A jelenlegi integráció egykonténeres, CPU-n futó feladatokat támogat. A GPU-s és többkonténeres támogatás a Docker szerint később érkezik. A fejlesztők így helyben készíthetik elő a méréseket, majd ugyanazokat a feladatokat módosítás nélkül a felhőben is futtathatják.
