Az AWS szerint SFT-vel többnyelvű gondolkodásra tanítható a GPT-OSS-20B

Angol gondolkodás, többnyelvű feladatok

A GPT-OSS-20B nyílt súlyokkal elérhető következtetési modell, amely alapértelmezés szerint angolul gondolkodik. Az AWS szerint hiába kapott francia, német, spanyol vagy olasz nyelvű utasítást, a modell gyakran angolul írta le a gondolatmenetét.

Az 50 példából álló többnyelvű teszten az alapmodell a kéréssel megegyező nyelven az esetek 22 százalékában gondolkodott. Angolul 100, franciául 0, németül 10, spanyolul 0, olaszul pedig 0 százalékos eredményt ért el. Ez azoknak a csapatoknak lehet fontos, amelyek nem angol nyelvű felhasználóknak telepítenek következtetési modelleket.

Az AWS vizsgálata azt járta körül, hogy a feladat megoldásához a felügyelt finomhangolás, vagyis az SFT, a Group Relative Policy Optimization, röviden GRPO, vagy a két módszer kombinációja a megfelelő választás.

Az SFT megtanította a kért nyelv használatát

A kísérlethez a HuggingFaceH4/Multilingual-Thinking adatkészletet használták. Ez angol, francia, spanyol, német és olasz nyelvű, gondolatmenettel ellátott következtetési példákat tartalmaz, nagyjából 949 tanítási és 50 validációs példával. A tesztben nyelvenként 10 matematikai vagy logikai feladat szerepelt.

Az AWS két mutatót követett. Az első azt mérte, hogy a gondolatmenet a kért nyelven készült-e, a második pedig azt, hogy a végső válasz is a megfelelő nyelven született-e.

A GPT-OSS-20B finomhangolásához LoRA-t használtak, amely paraméterhatékony módszer. Az SFT-futás 1000 lépésből állt, 4 darab ml.g6e.12xlarge gépen, összesen 16 L40S 48GB GPU-val. A beállítás része volt az FSDP full-shard, a bf16 pontosság és a gradiens-újraszámolás.

Az eredmény szerint az SFT után a modell mind az öt nyelven az esetek 100 százalékában a kért nyelven gondolkodott, vagyis 50-ből 50 feladatot oldott meg ezen a mércén. A tanulás két szakaszban zajlott: körülbelül a 200. lépésnél a gondolkodási nyelv vált helyessé, az 1000. lépés környékén pedig a végső válasz nyelve is javult.

Az 1000. lépésnél a helyes gondolkodási nyelv aránya 100 százalék, a helyes válasznyelvé 62 százalék, vagyis 31 az 50-ből. Mindkét feltétel egyszerre 62 százalékban teljesült. A válaszok pontossága franciául 60, németül 60, spanyolul 30, olaszul 60, angolul pedig 100 százalék volt.

Amazon SageMaker HyperPodon futott a tréning

A munkafolyamatot Amazon SageMaker HyperPodon, Amazon Elastic Kubernetes Service, vagyis Amazon EKS vezénylésével futtatták. A GPT-OSS-20B kezdeti SFT- és GRPO-futtatásaihoz a PyTorch TRL könyvtárat használták.

A rendszerben az Amazon FSx for Lustre tárolta az alapmodellt, a tanítási adatokat és az ellenőrzési pontokat. A több csomópont közötti kommunikációhoz Elastic Fabric Adaptert, a GPU-s tanításhoz pedig NVIDIA NCCL és aws-ofi-nccl környezetet használtak. A futtatások indíthatók Amazon SageMaker Studióból vagy az AWS Command Line Interface segítségével.

Az AWS leírása szerint az SFT és a GRPO szerepe eltérő. Az SFT olyan viselkedést tanít meg, amely a modellből hiányzik. A GRPO ezzel szemben olyan viselkedést optimalizál, amelyet a modell már időnként képes előállítani. A módszer több választ mintavételez egy kérdésre, majd az átlag feletti válaszok irányába módosítja a modellt.

Az AWS rövid következtetése szerint az SFT végezte el a munka nagy részét a többnyelvű gondolkodás megtanításában. A GRPO akkor adhat további értéket, ha a modellben már van fejleszthető tartalék, ezért a finomhangolási módszert a képességbeli hiányhoz kell igazítani.