Saját utótréning-rendszert épített a Patronus AI

Kétféle tanítási receptet vizsgáltak

A Patronus AI a 2026. október 29-én közzétett beszámolóban ismertette saját utótréning-rendszerét. A vállalat azt akarta megvizsgálni, hogy a feladatokkal végzett tanítás mekkora teljesítménynövekedést hoz. Ehhez két receptet hasonlítottak össze: a felügyelt finomhangolást (SFT) követő megerősítéses tanulást (RL), illetve az önmagában alkalmazott RL-t.

A kísérletekhez a Qwen3.8-27B nyílt forrású modellt választották. A Patronus AI szerint a modell teljesítménye és mérete megfelelő egyensúlyt kínált: elég erős volt ahhoz, hogy a javulás indokolja a rendszer kiépítését, ugyanakkor nem igényelt volna szükségtelenül nagy számítási kapacitást.

GitHub- és Unreal Engine-feladatokon mértek javulást

A GitHubhoz kapcsolódó számítógép-használati feladatoknál a kiinduló modell a visszatartott tesztfeladatok 35,6 százalékát oldotta meg. Az SFT, majd RL alkalmazása után ez az arány a 40. lépésnél 47,8 százalékra emelkedett, ami 12,2 százalékpontos javulás. Az RL önmagában 45,4 százalékos eredményt hozott, 9,8 százalékpontos növekedéssel. A további tanításnál az RL önmagában a 60. lépésnél 49,2 százalékot ért el.

Az Unreal Engine-fejlesztési feladatokon a kiinduló modell 64,3 százalékos eredményt ért el. Az SFT és RL együtt 71,5 százalékra, az RL önmagában pedig 73,1 százalékra javított ezen. A Patronus AI szerint mindkét feladatcsaládban a kezdő modell hibáinak nagyjából egyötödét sikerült kijavítani. A GitHub-feladatoknál 46, az Unreal-feladatoknál 54 visszatartott tesztet használtak, ezért a vállalat kis méretűnek nevezi ezeket a korai kísérleteket.

A kutatók szerint az SFT-t követő RL és az önálló RL közötti, nagyjából 2 százalékpontos különbség a mérési zajon belül van. Emiatt nem tudják biztosan megállapítani, melyik módszer hatékonyabb.

A platform egységes mérést és ismételhető kísérleteket kínál

A Patronus AI rendszerében a tanítás, a modellkiszolgálás, az értékelés és az eredmények összehasonlítása egy folyamatba kerül. A tanítás elindítása után a rendszer automatikusan feltölti a modell ellenőrzőpontjait, teljes modellekké egyesíti őket, majd a futtatás adattárában elérhetővé teszi az eredményeket. Egyetlen kattintással OpenAI-kompatibilis vLLM-végpont is létrehozható, csomópontonként egy modellel.

Az értékelési rendszer ehhez a végponthoz kapcsolódik, és azonos beállítások mellett futtatja a visszatartott feladatokat. A közös ranglista ugyanazokat a teszteket, adathalmaz-azonosítókat és környezeteket használja az alapmodell és az utótréningezett modellek összevetésére. A platform rögzíti a forráskódot, determinisztikus forráscsomagot készít, elmenti a Git-commitot és a nem véglegesített módosításokat, majd Slurmön keresztül indítja el a munkákat.

A tanítási oldalon a felügyelt finomhangoláshoz NVIDIA NeMo Automodelt és LoRA-t, a megerősítéses tanuláshoz pedig NeMo-RL-t és GRPO-t használtak. A próbálkozásokat vLLM generálta, miközben a feladatok külön, saját környezetben futottak. Minden próbálkozás külön homokozót kapott a valódi alkalmazással, az ügynök eszközeivel és a feladat értékelőjével.

A felhasználók és a kutatók számára a legfontosabb következmény az összehasonlíthatóbb mérés lehet. A Patronus AI szerint az azonos tesztfeladatok, próbálkozások és infrastruktúra-szabályok használata lehetővé teszi, hogy a csapat egy eredményt újrafuttatás nélkül is ellenőrizhetőnek tekintsen. A webes irányítópulton akár 50 munkát is lehet törölni vagy párhuzamosan vizsgálni.