Olcsóbb lehet a nagy modellek megerősítéses tanítása vegyes GPU-kkal

Hatféle gyorsító szolgálta ki a tanítást

A nagy modellek megerősítéses tanításában a mintavételezők általában ugyanazokat a gyorsítókat és pontossági formátumokat használják, mint a tanító rendszer. Ez numerikusan közel tartja egymáshoz a két oldalt, ugyanakkor korlátozza a sebesség és a költség optimalizálását. A Modal közlése szerint a nagy RL-futtatások GPU-kapacitásának 80 és 85 százalékát már a mintavételezés használja.

A vállalat kísérletében egy BF16 formátumban, B200 GPU-kon futó tanító rendszer hatféle gyorsítóval működő mintavételezőket szolgált ki. A B200 és B300 gyorsítók NVFP4 súlyokat, a H100 és H200 FP8, illetve BF16 súlyokat, az A100 és az RTX PRO 6000 pedig BF16 súlyokat használt. Minden mintavételező a saját gyorsítójához tartozó kerneleket futtatta, a kulcsérték-gyorsítótárat pedig FP8 formátumban tartotta.

A mintavételezők csoportjai automatikusan fel- és leskálázódtak, akár futás közben is. Egy útválasztó a munkameneteket a csoportok kiszolgálási kapacitása alapján osztotta el.

A pontosságkülönbség instabillá teheti a tanítást

A különböző gyorsítók, pontossági formátumok és kernelek eltérést okoznak a tanító és a mintavételező működése között. Emiatt a minták egyre inkább eltérhetnek attól az eloszlástól, amelyből a tanító rendszer tanul, ami instabillá teheti az RL-folyamatot.

A Modal ezt off-policy korrekcióval kezelte. A megoldás három elemből állt. A maszkolt fontossági mintavételezés, vagyis MIS, az egyes tokenek súlyát fontossági aránnyal korrigálja, és kizárja azokat a tokeneket, amelyek aránya egy rögzített tartományon kívül esik. A score centering, röviden SC, a mintavételezési politika várható gradiensét vonja ki, így a frissítésben az előnyök közötti különbségek kapnak szerepet.

A harmadik elem, a top-p mintavételezés maszk-visszajátszással, ugyanarra a jelöltkészletre korlátozza a mintavételezőt és a tanítót. Ezzel a ritka tokenek, amelyek szélsőséges fontossági arányokat eredményezhetnek, kimaradnak az adatokból.

Korrekció nélkül a GRPO mindkét vizsgált beállításban összeomlott. A vegyes mintavételezőknél ez röviddel a tanítás kezdete után történt, a homogén B200-as környezetben később. Tartósan csak az SC és a MIS együttes használata adott stabil tanítást, top-p-val vagy anélkül.

Hasonló eredmény, alacsonyabb mintavételezési költség

A Modal a Qwen3.6-35B-A3B modellt tanította ügynöki kódolási feladatokon, legfeljebb 256K tokenes kontextussal. A tanítási adathalmazt a Xiaomi által kiadott, 2,7 ezer repositoryfeladatból álló készlet adta, a repository-előzmények és más, a referenciajavítás kiszivárgását lehetővé tevő nyomok eltávolítása után. A modell egy feladaton több fordulón át javítást készített, amelyet bash eszközön keresztül küldött be. A jutalom 1 volt, ha a javítás átment a friss sandbox tesztjein, egyébként 0.

A kiértékeléshez a SWE-bench Pro V2 tesztet, valamint annak HARD-51 részhalmazát használták. Minden ellenőrzőpontot BF16 formátumban értékeltek. A stabil futásokban a HARD-51 pass@4 értéke nagyjából 65 és 75 százalék között állt be, a teljes készleten pedig körülbelül 94 százalékig emelkedett.

A vegyes mintavételezők eredményei közel maradtak a kizárólag B200-as, homogén rendszeréhez, miközben a mintavételezés frissítésenkénti költsége a tanítás nagy részében mintegy 15 százalékkal alacsonyabb volt. A Modal szerint a kísérletet elsősorban a vegyes rendszer teljesítményének igazolására tervezték, ezért további megtakarításokat is lehetségesnek tartanak az egyes mintavételezők külön hangolásával és a költséghatékonyabb gyorsítók arányának növelésével.