Az AI21 szerint olcsóbban is élvonalbeli lehet a bérszámfejtő modell

Összetett kérdésekre kellett teljes választ adni

Az AI21 Labs Forward-Deployed Researchers, vagyis terepen dolgozó kutatói a Deel Emet nevű AI-laborjával dolgoztak együtt. A cél egy olyan globális bérszámfejtési modell kialakítása volt, amely megbízhatóan és tényszerűen válaszol a munkavállalók kérdéseire, akkor is, ha azok eltérő munkafeltételekre és helyi szabályozásra vonatkoznak.

A Deel több mint 45 000 vállalatot támogat több mint 150 országban. A helyes válasz gyakran az adott ország adószabályaitól, a munkaszerződéstől és a vállalati irányelvektől is függ, ráadásul ezek a feltételek idővel változhatnak. A modellnek a tények mellett a Deel terminológiáját, szabályait és válaszstílusát is követnie kellett.

Az értékeléshez az Emet nyilvános EmBench Payroll benchmarkját használták. A kérdésekhez 3 és 6 közötti állítás tartozott, amelyek között konkrét tények, a válasz teljességét vizsgáló szempontok és a megfelelő megfogalmazást ellenőrző kritériumok is szerepeltek. Az eredményeket a GPT-6 Sol nyelvi modell bíróként értékelte.

A kiinduló modell gyakran hiányosan válaszolt

Az AI21 beszámolója szerint a Nemotron 3.5 Super alapváltozatának legnagyobb problémája többnyire nem a téves információ, hanem a hiányos válasz volt. A modell bizonytalanul fogalmazott olyan esetekben is, amikor a jogszabály egyértelmű volt, nem közölt konkrét számokat, kihagyott fontos háttérinformációkat, vagy összekevert egymáshoz kapcsolódó fogalmakat.

A fejlesztők szerint ez arra utalt, hogy a modell jórészt rendelkezett a szükséges tudással, de irányításra volt szüksége ahhoz, hogy teljes választ adjon. A kiinduló modell a fejlesztési kérdések 51,3 százalékánál teljesítette az értékelési kritériumok átlagos részét, és a kérdések 10 százalékára adott minden szempontból teljes választ. Összehasonlításként a Claude Opus 5.5 a kritériumok 64,0 százalékát teljesítette, a kérdések 26,3 százalékát pedig teljesen megválaszolta.

Az AI21 szerint a Deel olyan nyílt modellt keresett, amely külön utasítások nélkül is teljes választ ad, miközben a használati költsége jóval alacsonyabb a frontier modellekénél.

Kétlépcsős utótréninggel javítottak a modellen

Az első lépésben a kutatók a modell saját, úgynevezett közelpolitikai válaszait használták. A generálás közben tippekkel segítették a modellt, hogy figyeljen a feladat elvárásaira, a szükséges részletességre, a Deel szóhasználatára és azokra a fogalmi különbségekre, amelyeket a felhasználók gyakran összekevernek. A tippek nem adtak új szaktudást, csak a modell meglévő ismereteinek használatát terelték.

A 412 példából álló, minden értékelési állítást teljesítő mintát felügyelt finomhangolással, SFT-vel tanították be. Ez a fejlesztési adathalmazon a kritériumok teljesítésének arányát 0,513-ról 0,657-re, a teljesen megválaszolt kérdések arányát pedig 0,100-ról 0,229-re emelte.

Ezt követően önlepárlásos irányelv-optimalizálást, SDPO-t alkalmaztak. Ennél a tanuló modell válaszát ugyanaz a modell értékeli, amely kérdésenként hozzáfér a fejlesztők által megadott többletinformációhoz. A módszerhez 698 kérdést használtak. Az alapmodellről indított SDPO 0,638 és 0,183 értékre javított, az SFT-vel megerősített modell további SDPO-tréningje pedig 0,720 és 0,339 eredményt ért el.

Ötvenszer alacsonyabb költséget állít az AI21

Az AI21 közlése szerint a végső Nemotron 3.5 Super VL eredménye 20,7 pontos javulást jelentett az alapmodellhez képest, és 8 ponttal haladta meg a Claude Opus 5.5 minőségét a globális bérszámfejtési feladaton. A vállalat állítása alapján a modell az Opus 5.5-nél ötvenszer olcsóbb volt, a költséget egymillió tokenre vetítve.

A beszámoló azt mutatja, hogy célzott utótréninggel és kis adathalmazzal is javítható egy modell teljesítménye egy szűk, szakmai feladaton. Az AI21 szerint ebben fontos szerepe volt annak, hogy az SFT és az SDPO során a modell saját válaszaihoz közeli, illetve friss, saját generálásból származó tanulási jeleket használtak.