A Vercel Sandboxban futtathatók a Scale AI AgentEnv tesztjei
A Scale AI ügynöktesztelő keretrendszere, az AgentEnv már a Vercel Sandboxban is futtatható. Az integráció az ügynököt és a hozzá tartozó feladatkörnyezetet külön Sandboxokban indítja el.
- Az AgentEnv már futtatható a Vercel Sandboxban.
- A támogatás az AgentEnv 0.9.1334-es és újabb verzióiban érhető el.
- Az ügynök és a feladatkörnyezet külön Sandboxban fut.
- Az értékelés megmutatja a feladat pontszámát és az ügynök rögzített műveleteit.
- A futtatás a meglévő Vercel CLI-bejelentkezést használja.
Vercel Sandbox támogatással bővült az AgentEnv
A Vercel október 26-i közleménye szerint a Scale AI AgentEnv keretrendszere már fut a Vercel Sandboxban. Az AgentEnv olyan keretrendszer, amely ügynököket tesztel feladatokon, majd pontozza az elért eredményeiket.
A támogatás az AgentEnv 0.9.1334-es és annál újabb verzióiban érhető el. A Vercel provider, vagyis a Vercelhez kapcsolódó szolgáltatói megoldás, az ügynököt és annak feladatkörnyezetét külön Sandboxokban futtatja.
Külön környezetben fut az ügynök és a feladat
Az elkülönített futtatás az AgentEnv tesztelési folyamatának két oldalát választja szét. Az egyik Sandboxban az ügynök működik, a másikban pedig a feladat környezete fut. A Vercel leírása szerint így az értékelés során megvizsgálható a feladat eredménye és az ügynök rögzített műveletsora.
A Vercel egy AgentEnv-példát is kínál, amellyel a felhasználók értékelést indíthatnak a Vercel Sandboxban. A példa futtatása után ellenőrizhető a feladathoz tartozó pontszám, valamint az, hogy milyen műveleteket rögzített az ügynök.
A futtatáshoz meglévő Vercel-bejelentkezés használható
Az AgentEnv-példa beállítási útmutatójának elvégzése után az értékelés a klónozott tárolóból indítható. A parancs a felhasználó meglévő Vercel CLI-bejelentkezését használja:
./vercel-eval --scope YOUR_TEAM --project YOUR_PROJECT
A YOUR_TEAM helyére a Vercel csapat azonosítóját, a YOUR_PROJECT helyére pedig egy meglévő projekt nevét kell beírni. A forrás szerint a projektnek már léteznie kell, a parancs pedig a megadott Vercel-csapathoz és projekthez kapcsolódik.
A Vercel további információkat a Sandbox ökoszisztémájának dokumentációjában közöl. A felhasználóknak így az AgentEnv példáján keresztül lehetőségük van Vercel Sandboxban futtatni az értékelést, majd megtekinteni a pontszámot és az ügynök műveleteit.
Vercel: Run Scale AI’s AgentEnv evals on Vercel Sandbox
