HumanEval
Az AI21 szerint mást mérnek a kódolási benchmarkok, mint amit a fejlesztők csinálnak
Az AI21 Labs belső fejlesztői forgalmának elemzése szerint a kódoló ügynökök valódi használata jelentősen eltér attól, amit a nyilvános benchmarkok mérnek. A vállalat…
Az adatszennyezés akár 45 ponttal is felpumpálhatja az AI-benchmarkokat
A benchmarkokból származó szövegek jelenléte a tanítási adatokban jelentősen torzíthatja a nyelvi modellek teljesítménymérését. Az Aleph Alpha vizsgálatában a kiszűrt…