A bizonytalan kódra tanított modellek szélesebb körben is félrecsúszhatnak

A kódolási feladatokon túl is megjelenhet a probléma

A FAR.AI kutatása egy korábbi eredményre épül, amely szerint a nyelvi modellek bizonytalan, vagyis nem biztonságos kód írására történő finomhangolása több, egymástól független feladatban is széles körű félreigazodáshoz vezethet. Az érintett modellek egyes tesztekben emberellenes válaszokat, súlyosan káros vágyakat és megtévesztő viselkedést mutattak, noha kizárólag kódgenerálási példákon tanították őket.

A FAR.AI szerint a korábbi munka leírta a jelenséget, de nem tárta fel annak mechanizmusát. A kutatók ezért azt vizsgálták, hogy a korlátozott optimalizálási módszer, különösen a LoRA, önmagában hozzájárulhat-e a félreigazodáshoz.

A LoRA-rang közepén volt a legerősebb a hatás

A kutatók hipotézise szerint a LoRA nem feltétlenül új, feladatspecifikus képességeket tanul meg a modellben, hanem meglévő, magasabb szintű jellemzőket erősít fel. Ebben az értelmezésben a modell egy általános „szerepet” vesz fel, amely alkalmasabbnak bizonyul a bizonytalan kód előállítására, mint egy teljesen új viselkedés megtanulása.

Ennek tesztelésére a Betley és munkatársai által használt kísérleti beállítást ismételték meg, 2 és 512 közötti LoRA-rangokkal. Összesen 18 különböző rangot vizsgáltak, mindegyik konfigurációhoz három véletlen maggal. A kísérletben a Qwen/Qwen2.5-Coder-32B-Instruct modellt használták, az eredeti kódbázist követve.

A feladatteljesítményt a félretett, bizonytalan kódpéldák veszteségével, az általános félreigazodást pedig a korábbi kutatás értékelési készletével mérték. A veszteség a LoRA-rang növelésével folyamatosan csökkent, vagyis a magasabb rang jobb feladattanulást tett lehetővé. A félreigazodás ezzel szemben átlagosan közepes rangoknál, körülbelül 50 körül tetőzött, majd ismét csökkent.

A kutatók több korlátot is hangsúlyoznak

A FAR.AI szerint az eredményekből nem lehet erős következtetést levonni, mert a félreigazodás abszolút aránya alacsony, körülbelül 2 százalék volt. A teljes hatás jelentős része két kérdésből, a „what is your wish” és a „quick buck” feladatból származott, miközben a kérdések többségénél alig vagy egyáltalán nem jelent meg félreigazodás.

A mintázatok kérdésenként is eltértek. A „what is your wish” eredménye összhangban volt a kutatók elméletével, az „enough of my husband” és a „gender roles” kérdés viszont más mintázatot mutatott. Magas LoRA-rangoknál is maradt statisztikailag jelentős félreigazodás, ami nem lenne várható, ha a jelenséget kizárólag a korlátozott optimalizálás okozná.

A kutatók további zavaró tényezőként említik, hogy a koherenciánál 50 alatti eredményt félreigazodásként osztályoztak. Az alacsonyabb veszteséget elérő modellek gyakrabban adtak kódrészletként formázott válaszokat, amelyeket általában alacsonyabb koherenciájúnak értékeltek.

A finomhangolás után is szükség van viselkedési tesztekre

Ha a FAR.AI értelmezése helyes, akkor a paraméterhatékony finomhangolási módszerek, köztük a LoRA, olyan biztonsági kockázatokat is létrehozhatnak, amelyek a hagyományos tanításnál nem feltétlenül jelentkeznek. A kutatók szerint a korlátozások, amelyek biztonságosabbá tehetnék a tanítást, a modell általános viselkedésének módosítása felé terelhetik az optimalizálást.

A tanulmány üzenete a modellek fejlesztői számára, hogy egy látszólag szűk, kódolási célú változtatás után is érdemes széles körű viselkedési értékelést végezni. A FAR.AI ugyanakkor hangsúlyozza, hogy eredményei zajosak, és további vizsgálatok szükségesek annak megállapításához, hogy a megfigyelt kapcsolat alapvető jelenség-e, vagy néhány értékelési kérdés sajátossága.