Az LLM-ek és az emberek is nehezen mérik a gépi fordítás minőségét
Az Apple kutatása szerint a nagy nyelvi modellek a gépi fordítás minőségének értékelésében több feladatnál is elmaradnak a megbízhatóságtól. Az eredmények alapján az emberi és a modellalapú annotáció is jelentősen függ az értékelési módszertől, a nyelvpártól és a szakterülettől.
- Az Apple kutatása az LLM-ek gépi fordítási értékelését vizsgálta.
- A tesztelés 70 nyelvpárra, valamint a WMT23 és WMT25 adataira terjedt ki.
- Az LLM-ek egyes feladatokban jobban egyeztek az emberekkel, mint két emberi annotátor egymással.
- A legtöbb vizsgált beállításban az emberi és a modellalapú értékelés is megbízhatatlan maradt.
- Az Apple ember és LLM együttműködésére épülő annotációs folyamatokat javasol lehetséges irányként.
Két értékelési módszert vizsgáltak
Az Apple október 12-én közzétett, az EMNLP konferenciára készült tanulmánya azt vizsgálja, hogy a nagy nyelvi modellek mennyire alkalmasak a gépi fordítás minőségének értékelésére. Az LLM-eket gyakran hatékonyabb és költségtakarékosabb alternatívának tekintik az emberi értékeléssel szemben, de a megbízható használathoz több szempontból is meg kell vizsgálni a teljesítményüket.
A szerzők, Hala Almaghout, Christian Federmann és Qin Gao, két elterjedt értékelési rendszert hasonlítottak össze. Az egyik a Multidimensional Quality Metrics, röviden MQM, amely többféle minőségi szempont alapján értékeli a fordításokat. A másik az Error Span Annotation, röviden ESA, amely a hibás szövegrészek megjelölésére összpontosít.
70 nyelvpár és több adathalmaz szerepelt a vizsgálatban
A kutatók egy hosszú kontextusú tesztkészleten 70 nyelvpárt vizsgáltak, emellett felhasználták a nyilvánosan elérhető WMT23 és WMT25 adatait is. Az elemzés különböző nyelvpárokra és területekre terjedt ki, és azt mérte, hogy az LLM-ek értékelése mennyire egyezik az emberi annotátorok döntéseivel.
A szerzők az értékelési pontszámok és a hibás szövegrészek kijelölésének egyezését is elemezték. Az eredmények szerint egyes feladatokban az LLM-ek nagyobb egyezést mutattak az emberi annotátorokkal, mint amekkora egyezés két emberi annotátor között volt. Ez azonban nem jelentett általánosan megbízható működést.
Az egyezés mértéke jelentősen változott az annotációs rendszertől, a nyelvpártól és a vizsgált területtől függően. A legtöbb beállításban az emberi és az LLM-alapú értékelés egyaránt megbízhatatlannak bizonyult.
Más típusú hibák nehezítik az emberek és a modellek munkáját
A kutatás szerint az emberi annotátorok számára különösen nehézséget jelentettek a finom részletekre kiterjedő MQM-annotációk és az alacsony erőforrású nyelvpárok. Az LLM-ek ezzel szemben a kisebb hibák, a nem megfelelő nyelvi változatok és a hibás szövegrészek kijelölése terén teljesítettek gyengébben.
Az Apple szerint az eredmények mindkét annotációs megközelítésben fejlesztési lehetőségeket mutatnak. A tanulmány egyik lehetséges irányként olyan, ember és LLM együttműködésére épülő annotációs folyamatokat vet fel, amelyek kezelik a feltárt megbízhatósági problémákat.
A felhasználók és a gépi fordítás fejlesztői számára ez azt jelenti, hogy az LLM-ek jelenlegi eredményei önmagukban nem igazolják az emberi értékelés általános kiváltását. A forrás alapján a modellalapú értékelést az adott nyelvpárhoz, területhez és annotációs feladathoz igazítva kell vizsgálni, különösen akkor, ha részletes hibajelölésre van szükség.
Apple: Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged
