Új küldetést fogalmazott meg az AI-mérések szervezete, az MLCommons

A mérés az AI-rendszerek megértésének alapja

Az MLCommons október 14-i közleménye szerint az elmúlt nyolc évben jelentős növekedés és változás ment végbe az AI-iparágban és magában a szervezetben is. A most pontosított küldetés így hangzik: az AI-mérés szabványosítása és a tájékozott döntések lehetővé tétele.

A szervezet szerint az AI-rendszerek összetett mintázatokat használnak milliárdnyi szám között, ezért működésükre csak hiányos magyarázatok állnak rendelkezésre. Közben a rendszerek képzése és üzemeltetése költséges, valamint energiaigényes. Az MLCommons olyan méréseket szeretne fejleszteni, amelyek empirikusan írják le az AI-rendszerek viselkedését és üzemeltetési költségeit.

A mérés a szervezet szerint kiterjedhet minden olyan hardveres, szoftveres vagy adathoz kapcsolódó jellemzőre, amely hatással van a szolgáltatott értékre. Ide tartozhat a sebesség, az energiafogyasztás, a megbízhatóság és a minőség. Az eredmények segíthetik a költség és haszon összevetését, az innováció irányának kijelölését, valamint a kockázatkezelést, beleértve a biztosítást és a megfelelőség támogatását.

Ipari minőségű benchmarkokat építenek

Az MLCommons szabványos méréseket ipari minőségű benchmarkok formájában kíván létrehozni és működtetni. Ezek részletes protokollokat, tesztelési keretrendszereket, visszatartott tesztadatkészleteket és értékelési modelleket is tartalmazhatnak.

A szervezet szerint az AI-tesztek összetettsége és sok esetben szubjektív jellege miatt egy pusztán leíró szabvány több, egymástól független megvalósítása nem feltétlenül eredményez összehasonlítható méréseket. Egyes technikai és jogi elemeket az eredményekhez való túlzott alkalmazkodás elkerülése érdekében védeni kell, miközben a benchmarkoknak követniük kell a technológia változását.

Az MLCommons küldetésének része a benchmarkok meghatározása, felépítése, üzemeltetése, tanúsítása, magyarázata, továbbfejlesztése és más szervezetekhez való kapcsolása. A közlemény szerint a benchmarkok eredményeinek külső ellenőrzése megerősítheti a teljesítményre vonatkozó állításokat, és támogathatja a beszerzést, a biztosítást, a kockázatértékelést, valamint a szabályozási megfelelést.

A szervezet azt is hangsúlyozza, hogy nem foglalkozik fizetett, előre meghatározott eredményekre épülő „benchmarketinggel”. A célja technikailag szigorú, átlátható közösségi folyamatban kialakított definíciók használata, amelyek a valós értéket mérik.

Változik a szervezet és bővülhet a benchmarkok köre

Az MLCommons a következő napokban és hónapokban szervezeti változásokat tervez. A felhasználók eredménykeresését és az eredmények értelmezését a weboldal fejlesztésével, valamint további támogató anyagokkal javítanák. A közlemény példaként említi az MLPerf Endpoints megoldást.

A szervezet új módokon népszerűsítené benchmarkjait, több termék- és marketingtapasztalatot vinne az igazgatóságba és a munkatársak közé, valamint tovább építené a Candela szolgáltatást. A teljesítmény és a megbízhatóság mérését szervezeti és technikai infrastruktúra szintjén is összehangolnák, hogy az AI-szállítók és az üzemeltetők magasabb minőséget érhessenek el alacsonyabb költség és energiafogyasztás mellett.

Az MLCommons szélesítené közösségét azzal, hogy tagságra ösztönzi azokat az AI-üzemeltetőket, akik jelenleg tagjainak ügyfelei. Ehhez a díjstruktúra átalakítását is tervezi, a költségeket arányosabban igazítva a tagságból származó előnyökhöz.

A szervezet olyan kritikus piacokon is vizsgálja a benchmarkolás lehetőségét, mint a hatékonyság, az egészségügy és a pénzügyi szolgáltatások. Az MLCommons szerint a szabványos mérések az akadémiai kutatókat, a hardver- és szoftvergyártókat, az üzemeltetőket, a végfelhasználókat és a döntéshozókat is segíthetik. A benchmarkoknak a technológia fejlődésével és a felmerülő fenyegetésekkel együtt kell változniuk, hogy továbbra is kimutassák a vizsgált rendszerek közötti különbségeket.