Az adatok keverése többet érhet, mint a hiperparaméterek hangolása
Az alacsony erőforrású nyelveken tanított nyelvi modelleknél a nagy erőforrású nyelv adatainak bevonása nagyobb javulást hozhat, mint az agresszív hiperparaméter-hangolás. Az Apple kutatói mintegy 1000 előtanítási futtatás alapján jutottak erre a következtetésre.
- Az Apple kutatói arab és angol adatok keverését vizsgálták.
- A kutatás négy, 150 milliótól 1,43 milliárd paraméterig terjedő modellméretet hasonlított össze.
- Az adatkeverés a validációs veszteségben és a későbbi feladatok pontosságában is jobbnak bizonyult.
- A javulás 2-3-szoros, illetve 2-13-szoros egyedi cél nyelvi adatmennyiségnek felelt meg.
- A szerzők a keverési arány előnyben részesítését és a μP-alapú hiperparaméter-átvitelt javasolják.
Adatszűkében ismétlődik a tanítóanyag
A legtöbb nyelv esetében a nyelvi modellek előtanítása adathiányos környezetben zajlik. Ilyenkor a modelleknek sokszor kell újra felhasználniuk ugyanazt a tanítóanyagot, ami ronthatja az általánosítási képességet. Az Apple kutatásában az arab volt az alacsony erőforrású cél nyelv, az angol pedig a nagy erőforrású kiegészítő nyelv.
A kutatók két lehetséges megoldást hasonlítottak össze. Az egyik az agresszív hiperparaméter-hangolás, például a magas súlycsökkenés alkalmazása. Ez a modell kapacitásának korlátozásával szabályozza a tanulást. A másik módszer az, hogy a cél nyelv adatai mellé egy kiegészítő nyelv adatai is bekerülnek, így változatosabb tanítási jel és új tudás áll a modell rendelkezésére.
A nagyobb modelleknél nőtt az adatkeverés előnye
A Mix, Don’t Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings című tanulmány négy modellméretet vizsgált, 150 milliótól 1,43 milliárd paraméterig. A szerzők körülbelül 1000 előtanítási futtatás eredményeit elemezték.
Az eredmények szerint az adatkeverés nagyobb javulást hozott a validációs veszteségben és a későbbi feladatokon mért pontosságban is, mint a hiperparaméterek hangolása. A különbség a modell méretének növekedésével tovább nőtt.
A kutatás számszerűsítette is az előnyt. Az adatkeverés a validációs veszteség alapján annyit javított a teljesítményen, mintha a cél nyelv egyedi adatmennyisége 2-3-szorosára nőtt volna. A későbbi feladatok pontosságában ez az egyenértékű többlet 2-13-szoros volt. A nyereség a modell méretével meredeken emelkedett.
A validációs veszteség félrevezető lehet
A kutatók szerint a cél nyelven mért validációs veszteség rendszeresen alábecsüli az adatkeverés értékét. Ennek oka, hogy a módszer kétféleképpen szabályozza a modellt: változatosabbá teszi a tanítási jelet, és olyan tudást is hozzáad, amelyet a többször ismételt cél nyelvi korpusz nem tud biztosítani. A validációs veszteség csak az első hatást tükrözi.
A tanulmány gyakorlati ajánlása szerint érdemes nagy erőforrású nyelv adatait keverni a tanításba, és a hiperparaméterek hangolása helyett elsőként a keverési arányra figyelni. A kutatók azt is javasolják, hogy a hiperparamétereket egy kisebb, proxy modellből vigyék át nagyobb modellekre a μP használatával.
Mit jelent ez az alacsony erőforrású nyelvek számára?
Az Apple oldalán 2026 októberében közzétett kutatás olyan helyzetet vizsgál, amikor a cél nyelvhez kevés egyedi tanítóadat áll rendelkezésre. Az eredmények alapján ilyenkor a megfelelően megválasztott kiegészítő nyelv és a keverési arány fontosabb teljesítményjavító eszköz lehet, mint a hiperparaméterek széles körű keresése.
A szerzők következtetése az, hogy az adatkeverés értékét nem szabad kizárólag a cél nyelv validációs vesztesége alapján megítélni. A későbbi feladatokon mért eredmények az adatkeverés nagyobb előnyét mutatták, különösen a nagyobb modelleknél.
Apple: Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings
