Az EU az MLPerf eredményeivel mérné az AI-gigafactory pályázóit

MLPerf alapján értékelik az uniós pályázatokat

Az Európai Unió júliusban tette közzé az AI Gigafactories felhívását. A program legfeljebb hét nagyszabású AI-számítási létesítmény létrehozását célozza, legfeljebb 10 milliárd euró uniós és tagállami támogatással. Az MLCommons szerint a kezdeményezés több mint 30 milliárd euró összesített beruházást szabadíthat fel.

A közös beszerzést az EuroHPC Joint Undertaking és a nemzeti szerződő hatóságok vezetik, a pályázatok beadási határideje 2026. november 12. A kiírás az MLPerfet nevezi meg a pályázók technikai teljesítményének mérési szabványaként. Az ajánlatokat az MLPerf Training v5.1 és az MLPerf Inference v5.1 eredményei alapján pontozzák.

A specifikációk több, az MLPerf szabványos munkaterheléseiből származó modellt is felsorolnak. A képzési oldalon például a Flux.1 és a Llama, a következtetési feladatoknál pedig a Llama 3.1 405B, a DeepSeek R1 és az SDXL 1.0 szerepel.

A működő szolgáltatás teljesítményét is mérik

Az uniós tenderben a pályázóknak az MLPerf alapvető teljesítménymutatóit kell megadniuk. A képzésnél ez a betanításig eltelt idő, a következtetésnél pedig az első tokenig eltelt idő és az egy kimeneti tokenre jutó idő. Emellett olyan adatokat is kérnek, mint a gyorsítók kihasználtsága.

Az eredményeket a pályázóknak az első fázisban biztosított kapacitásra és a második fázisban tervezett bővítésre is közölniük kell. Az MLCommons szerint a nyílt, szakértői felülvizsgálaton átesett adatok összehasonlíthatóbbá teszik a teljesítményállításokat, ami különösen fontos nagy összegű közpénzek felhasználásakor.

David Kanter, az MLPerf vezetője szerint a szabvány abban segít a vásárlóknak, hogy tájékozott döntést hozzanak az AI-képességek bevezetéséről. „Megtiszteltetés számunkra, hogy munkánk az Európai Uniót is segíti, miközben az AI területén vezető szerepre törekszik, és felhatalmazza polgárait és vállalatait a jövőre.”

Megnyílt az MLPerf Endpoints v1.0

Az MLPerf Endpoints a mesterséges intelligenciát azon a módon teszteli, ahogyan az alkalmazások ténylegesen használják: az általuk meghívott élő API-n keresztül. A mérésben a vizsgált rendszer egy URL, amellyel az Endpoints kliens szabványos interfészeken kommunikál. Így a hardvergyártók, a felhőszolgáltatók, a neocloudok és a kezelt API-szolgáltatók azonos elvek szerint hasonlíthatók össze, függetlenül attól, hogy közvetlenül hardveren, kezelt felhőszolgáltatásként vagy konténerizált szoftveres környezetben futtatják a rendszert.

A rendszer több terhelési szinten vizsgálja a szolgáltatásokat, és teljesítményprofilt készít. A jelentés tartalmazza az egyidejűséget, a felhasználónkénti másodpercenkénti tokenszámot, a rendszer áteresztőképességét és az első tokenig eltelt idő 90. percentilisét, vagyis a TTFT P90 értéket. A cél, hogy a vásárlók a saját alkalmazásaikhoz és szolgáltatási szintjeikhez illeszkedő, ellenőrzött működési pontot választhassanak.

Az Endpoints 1.0-ban először kötelezővé tették a rendelkezésre bocsátott teljesítmény mérését. Ez az energiahatékonyság és az egyes megoldások költségprofiljának összehasonlítását segíti. Az eredmények a LoadStair megjelenítőben pareto-frontként jelennek meg, amely azt mutatja, hol marad stabil a rendszer, és hol következik be teljesítményesés.

Novemberben várhatók az első v1.0 eredmények

Az MLPerf Endpoints v1.0 a júliusban kiadott v0.7 alapverziójára épül. A generatív AI-munkaterhelések között a DeepSeek-R1, a GPT-OSS 120B és a Llama modellek szerepelnek, emellett új, ügynöki kódolási feladatokat is tartalmaz a DeepSeek v4 Pro, a Kimi K3 és a Qwen 3.6 használatával.

A rendszerben gördülő beküldés is elérhető. Az MLCommons tagjai így egy új chip vagy szoftveres optimalizálás kiadása után beküldhetik eredményüket, és nem kell egy rögzített mérési fordulóra várniuk. Minden eredmény továbbra is átesik az MLPerf szakértői felülvizsgálati és auditfolyamatán. Az MLCommons az első v1.0-s eredmények közzétételét novemberre várja.