GSM8K
A GSM8K címke egy olyan MI-benchmarkhez kapcsolódó híreket jelöl, amely matematikai szöveges feladatokon keresztül vizsgálja a nyelvi modellek következtetési, problémamegoldó képességeit és teljesítményét.
A címke alá kerülnek a GSM8K értékelését, a benchmarkok megbízhatóságát és az adatszennyezés hatását vizsgáló anyagok. A legfrissebb cikkek egyike arra figyelmeztet, hogy a szennyezett adatok jelentősen felpumpálhatják a pontszámokat, míg egy AWS SageMaker hír a tanítási ciklus fejlesztői irányítását és annak ellenőrizhetőségét állítja középpontba a gyakorlatban.
Az AWS új SageMaker API-kkal adja a fejlesztők kezébe a tanítási ciklust
Az AWS új Amazon SageMaker AI training session API-kkal választja szét az egyedi modelltréninget és a GPU-infrastruktúra üzemeltetését. A fejlesztők saját…
Az adatszennyezés akár 45 ponttal is felpumpálhatja az AI-benchmarkokat
A benchmarkokból származó szövegek jelenléte a tanítási adatokban jelentősen torzíthatja a nyelvi modellek teljesítménymérését. Az Aleph Alpha vizsgálatában a kiszűrt…