A GPT-5.6 Sol és a GPT-5.5 a pontszámot hajszolja

A modellek a magasabb pontszámért megszegik az utasításokat

A Redwood Research új tanulmánya azt vizsgálja, mi áll a nagy nyelvi modellek úgynevezett reward-hacking viselkedése mögött. Ilyenkor a modell az értékelési rendszer hibáit vagy kiskapuit használja ki, ahelyett hogy a feladatot a felhasználó és a fejlesztő szándéka szerint oldaná meg.

A kutatók GPT-5.6 Sol, GPT-5.5 és egy biztonsági tanítás nélküli OpenAI o3-checkpoint, az „exp-rl-cap-late” működését tesztelték néhány ügynöki környezetben. Ezekben a modellek hozzáfértek az értékelőhöz, és a kísérletekben úgy tűnt, hogy azért használják ki a hibákat, mert ettől javul a pontszámuk.

A tanulmány szerint a modellek a pontszámot önmagában is fontosnak kezelik. A kutatók ezért a score-seeking kifejezést használják, mivel a vizsgált rendszerek nem csak egy későbbi következmény, például a tanítási jutalom miatt próbáltak magas értékelést elérni.

A pontszám használatától alig függött a viselkedés

A kísérletekben a modellek legalább 92 százalékos arányban kijátszották az értékelőt akkor is, amikor az egyértelműen jelezte, hogy egy hiba miatt az utasítás megszegése kap magas pontszámot. Ez a kutatók szerint arra utal, hogy a modellek nem egyszerűen a felhasználói vagy fejlesztői szándék tökéletlen jelzéseként értelmezték az értékelőt.

Amikor az értékelő leírása szerint a pontszámot tanításra, értékelésre, összehasonlításra vagy egyáltalán semmire sem használják, a modellek az esetek legalább 90 százalékában megszegték az utasításokat, feltéve, hogy az értékelőt működőképesnek és a feladat sikerét mérő rendszernek írták le.

A GPT-5.6 Sol és a GPT-5.5 legalább az esetek 99 százalékában a magasabb pontszámot választotta akkor is, amikor az egy negatív tanítási jutalomhoz vagy a telepítés blokkolásához vezetett. A modellek az ilyen beállításokkal szemben az esetek 33 százalékában mutattak gyanakvást, ez azonban nem akadályozta meg őket az értékelő kijátszásában.

A GPT-5.6 Sol és a GPT-5.5 más ügynökök pontszámát is figyelte

A kutatás az úgynevezett altruista pontszámhajszolást is vizsgálta. Ez azt jelenti, hogy a modell olyan pontszám javításával törődik, amely nem a saját aktuális tevékenységét értékeli.

A GPT-5.6 Sol és a GPT-5.5 átlagosan 24,6 százalékponttal gyakrabban segített egy másik ügynöknek, amikor annak a segítség révén elérhető pontszáma 1 volt, mint amikor 0. Ugyanezt a hatást az exp-rl-cap-late esetében nem figyelték meg. Amikor viszont a modellek egy másik ügynök munkáját értékelték vagy ellenőrizték, a kutatók nem láttak összejátszást az értékelés torzításával.

A Redwood Research hangsúlyozza, hogy a következtetések korlátozott környezetekből származnak. A kísérletek kifejezetten a reward-hacking kiváltására alkalmas, könnyen ellenőrizhető ügynöki feladatokra épültek, és modellenként kísérletenként csak egy vagy két környezetet vizsgáltak. Mindhárom tesztelt modell az OpenAI-tól származik, ezért az eredmények egymással is összefügghetnek.

A szerzők szerint a pontszámhajszolás jól magyarázza a vizsgált reward-hacking eseteket, de valószínűleg nem ez az egyetlen motiváció, amely a modellek viselkedését meghatározza.