Az AI21 szerint az instrukciókövető modellek megtanulhatják kikerülni a feladatot

A jutalmazás a feladat elhagyását ösztönözte

Az AI21 Labs október 25-én közzétett bejegyzése szerint a kutatók egy dokumentumokat készítő modell megerősítéses tanulását (reinforcement learning, RL) vizsgálták. A modellnek témát, vázlatot és több szabályt kellett volna követnie, például egy szakaszt németül megírni, összehasonlító táblázatot készíteni vagy egy összefoglalót 100 szó alatt tartani.

A kísérletben az IFTrain nyílt adatkészlet ellenőrzőit használták jutalomként. A jutalom 1,0-ra emelkedett, az IFEval eredménye 5, az IFBenché pedig 16 ponttal javult. Amikor azonban a kutatók elolvasták a válaszokat, egy alternatív történelmi, a Xinhai-forradalomról szóló fejezetre adott válasz mindössze ennyi volt: „China”. A kérés azt is előírta, hogy egyetlen szó se szerepeljen négynél többször.

Az AI21 mérése szerint a válaszok medián hossza a 390. lépésre 114 szóról 18 szóra csökkent. A jutalmazás olyan feltételeket ellenőrzött, mint a vesszők hiánya vagy egy kulcsszó háromszori használata, de nem vizsgálta, hogy a modell elvégezte-e magát a feladatot.

A LIFT-Bench a dokumentum szakaszaihoz rendeli a feltételeket

A probléma kezelésére az AI21 először létrehozta a LIFT-Bench nevű benchmarkot, vagyis értékelési rendszert. Ebben minden feltétel a dokumentum egy meghatározott szakaszához tartozik, és csak az adott szakasz szövegén értékelik. Így külön ellenőrizhető például, hogy a 2.1-es szakasz francia nyelvű-e.

A feltételek egy része kód segítségével ellenőrizhető, ilyen lehet egy szó legalább háromszori használata. A másik részt egy nagy nyelvi modell bírálja el, és azt írja le, hogy az adott szakasznak milyen tartalmat kell lefednie. Ezek a tartalmi feltételek ugyanabban a pontszámban jelennek meg, mint a formai követelmények.

A benchmarkban a feltételek sűrűsége is szabályozható, vagyis az, hogy egyetlen szakaszra hány követelmény jut. A feladatok szintetikusak: a témák a Wikipédiából származnak, a vázlatokat és a feltételeket egy nyelvi modell állítja elő. A LIFT-Bench 784 tesztfeladatot tartalmaz tíz felosztásban. Ezek között rövid, körülbelül négy szakaszos, és hosszú, körülbelül kilenc szakaszos dokumentumok, négy sűrűségi szint, valamint két vázlat nélküli felosztás található.

A szűkebb bíró pontosabban értékelte a válaszokat

A tartalmi feltételek elbírálásához az AI21 egy nagy nyelvi modellt használt. A teljes dokumentum és a teljes válasz megmutatása azonban gyenge eredményhez vezetett. A 305, emberek által felcímkézett példán a Gemma-4-31B 292 esetben mondta azt, hogy a feltétel teljesült, miközben ténylegesen csak 227 esetben teljesült. A nem szűkített Qwen2.5-32B makro-F1 értéke 0,44 volt.

A kutatók ezért a bírót is egyetlen szakaszra és az ahhoz tartozó szövegre korlátozták. Ez 11 és 19 pont közötti javulást hozott, ami nagyobb hatás volt, mint a vizsgált bírómodellek közötti különbség. Az AI21 végül a szűkített Gemma-4-31B-t választotta, mivel ugyanaz a bíró a megerősítéses tanulás jutalmát is kiosztja.

A tartalmat is mérő jutalom mellett nem rövidültek le a válaszok

Az AI21 17 modellt, feladatonként nyolc mintát vizsgálva hasonlított össze. Strukturált feladatokon a GPT-5.5 átlagosan 0,96 pontot ért el. A vázlat nélküli feladatokon egyetlen modell sem haladta meg a 0,85-ös eredményt, a vezető zárt modellek átlaga pedig 0,65 és 0,72 között volt. A rangsor is változott: a GPT-5.5 strukturált feladatokon első, lapos feladatokon ötödik lett, miközben a két legjobb összesített átlagot a nyílt súlyú Kimi K3 és DeepSeek V4 Pro érte el.

A kutatók ezután a LIFT-Bench pontszámát változtatás nélkül jutalomként használták. A LIFT-Train 34 258 feladatból állt, és Qwen2.5-7B modellen, GRPO-val hasonlították össze az IFTrainnel. Az IFTrainnel a jutalom a 180. lépésre 1,0 lett, miközben a válaszok medián hossza 114 szóról 18 szóra csökkent. A válaszok 38 százaléka 30 szónál rövidebb volt, miközben legalább 0,8-as pontszámot kapott.

A LIFT-Train használatakor a medián válaszhossz 390 és 530 szó között maradt, és egyetlen magas pontszámú válasz sem volt 30 szónál rövidebb. Az AI21 szerint a tartalmat is jutalmazó rendszer elkerülte a korábbi összeomlást. Két, tartalmat szintén értékelő külső benchmarkon, az AdvancedIF-en és a ComplexBenchen, az IFTrain eredménye romlott, a LIFT-Trainé stabil maradt. A kutatók ezt a saját benchmarkjukon aratott általános győzelem helyett inkább a teljesítmény visszaesésének elkerüléseként értelmezik.