Az Aleph Alpha szerint félrevezetők lehetnek a német AI-benchmarkok
A németre fordított AI-benchmarkok sok esetben nem ugyanazt mérik, mint angol eredetijük. Az Aleph Alpha harminc ilyen teszt vizsgálata során fordítási hibákat, nyelvtani eltéréseket és amerikai kulturális háttérhez kötött kérdéseket talált.
- Az Aleph Alpha harminc németre fordított AI-benchmarkot vizsgált.
- A kutatók fordítási hibákat, nyelvtani eltéréseket és kulturális torzulásokat találtak.
- A hibás fordítás miatt a modellnek olykor az angol eredetit kell rekonstruálnia.
- A német nyelvtan bizonyos feladatoknál elárulhatja a helyes választ.
- Az Aleph Alpha német nyelvű és kulturális környezetre szabott benchmarkokat sürget.
A pontszám nem egyetlen képességet mér
Az AI-modellek értékelésére használt benchmarkok több ezer, ismert válasszal rendelkező kérdésből állnak. A modell válaszai alapján kiszámított pontszám azt mutatja, hogy a kérdések mekkora részét oldotta meg helyesen. Ilyen tesztek vizsgálhatják például az iskolai természettudományos ismereteket, a hétköznapi józan észt vagy az általános tudást.
Az Aleph Alpha szerint egy benchmark eredménye mindig több képesség keverékét tükrözi. A GSM8K matematikai teszt egyik feladata például azt kérdezi, hány tucat tojást eszik meg Claire négy hét alatt, ha minden reggel három tojásból készít omlettet. A megoldáshoz nemcsak számolni kell, hanem azt is tudni, hogy egy hét hét napból, egy tucat pedig tizenkét darabból áll. A válasz formája szintén befolyásolja, hogy a modell helyesnek számít-e.
Ezért a benchmark lefordítása megváltoztathatja a mért képességek keverékét, és így a pontszám jelentését is.
A hibás fordítás maga válhat tesztfeladattá
Az Aleph Alpha kutatói háromféle fordítási problémát emeltek ki. Az első esetben egy szó vagy kifejezés hibás, de a kérdés nagyjából felismerhető marad. Az ARC német változatában az angol consumer szót Verbraucher formában adták vissza. Ez németül gazdasági értelemben fogyasztót, áruvásárlót jelent, ökológiai szövegben viszont a Konsument lenne a megfelelő kifejezés.
Máskor minden szó német, de a mondat jelentése megváltozik. A WinoGrande egyik példájában a német sich anfühlen a tapintás általi érzetre utal, miközben az angol mondat azt fejezi ki, hogy valaki jól érzi magát. Az MMLU egyik kérdésében az angol as of fordítása ab lett, ami időpont megjelölése helyett küszöbértékre utaló kérdést eredményezett.
A legsúlyosabb esetben a mondat nyelvtanilag is szétesik. Az Aleph Alpha példái között szerepel olyan kérdés, amelyben a szórend miatt már az sem világos, mit kérdez a mondat, illetve olyan fordítás, amelyben egy mondatrész megismétlődik. Ilyenkor a modellnek előbb az angol eredetit kell rekonstruálnia, és csak utána válaszolhatna a kérdésre.
A német nyelvtan elárulhatja a választ
A kutatók szerint a feleletválasztós és hiányos mondatokra épülő teszteknél külön problémát okoz a német nyelvtan. Az angolban a névelők és a melléknevek kevésbé korlátozzák, milyen főnév következhet, a németben viszont a főnevek neme miatt a névelő és más szavak alakja is változik.
Az Aleph Alpha példája szerint az angol I ate the ___ mondatban a hamburger és a melon is illeszkedhet a hiányzó helyre. A német Ich aß den ___ változatban viszont csak a Hamburger illik nyelvtanilag, mert a Melone elé nőnemű névelő, vagyis die kellene.
Ha a kérdést és a válaszlehetőségeket külön fordítják le, majd utólag illesztik össze, az elemek nyelvtani kapcsolata felbomolhat. Egyes példákban egyik válasz sem folytatja helyesen a német mondatot, más esetekben pedig csak az opciók egy része került lefordításra.
Az Aleph Alpha olyan modelleket fejleszt, amelyek németül, illetve a német kultúra, jog és társadalom összefüggéseiben használhatók. A vállalat álláspontja szerint ehhez a német nyelvű képzési adatok mellett német benchmarkokra is szükség van. A pusztán gépi fordításra épülő tesztek pontszámai ezért félrevezethetik a modellek képességeinek összehasonlítását.
Aleph Alpha: Translated Words, Untranslated Meaning: German Benchmarks Need More Than Translation — Aleph Alpha
