MMLU
Az MMLU egy széles körben használt MI-benchmark, amely különböző tudásterületeken vizsgálja a nyelvi modellek teljesítményét. Az ilyen tesztek fontos támpontot adnak a rendszerek összehasonlításához, de az eredmények értelmezésekor a mérési módszert és az adatok minőségét is figyelembe kell venni.
Ezen a címkeoldalon az MMLU-hoz és az AI-benchmarkokhoz kapcsolódó hírek, elemzések és viták jelennek meg. A cikkek kitérnek arra, hogy a benchmarkok félrevezető képet adhatnak a modellek képességeiről, valamint arra is, miként torzíthatja az eredményeket az adatszennyezés.
Az Aleph Alpha szerint félrevezetők lehetnek a német AI-benchmarkok
A németre fordított AI-benchmarkok sok esetben nem ugyanazt mérik, mint angol eredetijük. Az Aleph Alpha harminc ilyen teszt vizsgálata során fordítási hibákat…
Az adatszennyezés akár 45 ponttal is felpumpálhatja az AI-benchmarkokat
A benchmarkokból származó szövegek jelenléte a tanítási adatokban jelentősen torzíthatja a nyelvi modellek teljesítménymérését. Az Aleph Alpha vizsgálatában a kiszűrt…