Az Apple SCLATE rendszere hónapok helyett órák alatt teszteli az ügynököket
Az Apple bemutatta a SCLATE nevű végrehajtási környezetet, amely hosszú, több munkameneten átívelő forgatókönyvekben képezi és értékeli az AI-ügynököket. A rendszer egy hónapos szimulációkat órákra tömöríthet, miközben változatlanul futtatja az ügynökök vezérlőrétegét és memóriáját.
- A SCLATE közös eseményütemezőben futtatja a tesztkészletek és az ügynökök eseményeit.
- A rendszer egy hónapos forgatókönyveket órákra tömöríthet az üres időszakok átugrásával.
- Hét tesztkészletet, tíz konfigurációt és tíz modellt hasonlítottak össze.
- A Qwen3.5-4B 6,8-szor kevesebb fájlsort olvasott, sikeressége 16,7 ponttal nőtt.
- A MetaClaw pontossága legfeljebb 11,8 ponttal emelkedett.
Közös ütemező az ügynökök és a tesztek eseményeihez
A SCLATE, vagyis a Continual-Learning Agent Training and Evaluation rövidítése, olyan rendszerekhez készült, amelyek modellekből, vezérlőrétegekből és memóriából állnak, és hosszú, több munkameneten átívelő időszakokban működnek. Az ilyen ügynökök értékelése és tanítása során a feladatok mellett ügynökoldali eseményeket is kezelni kell. Ilyen lehet egy munkamenet leállítása és újraindítása, egy időzített feladat, illetve a memória tömörítése.
Az Apple kutatási oldala szerint a meglévő tesztkészletek és képzési keretrendszerek jellemzően csak a saját eseményeiket ütemezik. Emiatt minden tesztkészlet és ügynök párosához külön ütemezési ciklust kell felépíteni. A SCLATE ezt egy nyitott eseményütemezővel kezeli, amelyhez a tesztkészletek és a módosítás nélkül használt ügynökök egy adapteren keresztül adják hozzá a saját eseményeiket.
A szimulált óra felgyorsítja a hosszú forgatókönyveket
A rendszer hibrid szimulált órát használ. Az események akkor valós időben haladnak, amikor az ügynök dolgozik, az üres időszakokat viszont átugorják. Így a forrás szerint egy hónapig tartó forgatókönyv néhány órára tömöríthető.
A SCLATE egyben futtatómotorként is szolgál. Bármely ügynök vezérlőrétegét és memóriáját módosítás nélkül képes futtatni, majd egy konténeren belüli közvetítőn keresztül rögzíti minden modellhívás tokenjeit és logaritmikus valószínűségeit. Ez a működés lehetővé teszi, hogy az összehasonlítások során ugyanazok a vezérlőrétegek és memóriarendszerek változtatás nélkül szerepeljenek.
Hét tesztkészletet és tíz modellt hasonlítottak össze
Az Apple kutatói hét tesztkészletet ültettek át a SCLATE-re, majd tíz változatlanul használt vezérlőréteg- és memóriakonfigurációt vetettek össze tíz modellen. Az eredmények szerint egy hozzáadott memóriarendszer nem múlja felül megbízhatóan a vezérlőréteg saját memóriáját. A modellek abban is jelentősen eltértek, hogyan használták ugyanazt a vezérlőréteget és memóriát.
A kutatók ezt követően a Qwen3.5-4B modellt képezték tovább változatlanul használt vezérlőrétegeken és memóriarendszereken keresztül. A modell megtanulta mindkettő használatát, 6,8-szor kevesebb fájlsort olvasott be, miközben a SWE-bench Verified feladaton elért sikerességi aránya 16,7 ponttal nőtt. Emellett részletesebb memória-bejegyzéseket írt, a visszatartott MetaClaw-pontossága pedig legfeljebb 11,8 ponttal emelkedett.
Mit jelent ez az ügynökök fejlesztésében?
A SCLATE az Apple közlése alapján egységesebb környezetet ad a hosszú távon működő, folyamatosan tanuló ügynökök képzéséhez és értékeléséhez. A közös ütemező kezeli a tesztkészletek és az ügynökök eseményeit, a szimulált óra pedig lerövidíti azokat a kísérleteket, amelyeknél hosszú időszakokat kell modellezni.
A tíz modellen végzett összehasonlítás arra is rámutat, hogy az ügynök teljesítménye a modell, a vezérlőréteg és a memória együttműködésétől függ. A Qwen3.5-4B eredményei szerint a modell továbbképzése javíthatja az eszközök és a memória használatát, de a forrás eredményei nem támasztják alá, hogy egy külön hozzáadott memóriarendszer minden esetben jobb lenne a vezérlőréteg saját megoldásánál.
A SCLATE-ről szóló tanulmány az Apple kutatási oldalán 2026 szeptemberében jelent meg. Szerzői Youngmok Jung, Sirajul Salekin, Henry Tran, Javier Movellan, Zhao Huang és Manjot Bilkhu.
