Az MLCommons új mércét készít az önálló AI-rendszerek hatékonyságára

A teljes feladatvégrehajtást vizsgálja az új benchmark

Az MLPerf Agents célja annak mérése, hogy egy ügynökalapú AI-rendszer milyen hatékonyan jut el egy rábízott céltól az ellenőrzött eredményig. A mérés ezért nem áll meg annál, hogy egy modell milyen gyorsan generál tokeneket.

Az MLCommons szerint az ilyen rendszerek működése jelentősen összetettebb egyetlen modell és egyetlen kérés kapcsolatánál. Az ügynökök több fordulón keresztül dolgozhatnak, eszközöket hívhatnak meg, információt kereshetnek vissza, egyre nagyobb kontextust kezelhetnek, hibákból állhatnak helyre, és ellenőrizhetik saját munkájukat.

Az MLPerf Inference munkacsoportja már dolgozik olyan ügynökalapú következtetési teszteken, amelyek a modellkiszolgálás ezen igényeit vizsgálják. Az MLPerf Agents ennél szélesebb kört fed le: az ügynök keretrendszerét, a modell kiválasztását, a következtetést, az információ-visszakeresést, az eszközök futtatását, a vezérlést, az állapotkezelést, a hibák utáni helyreállítást és az eredmény ellenőrzését is számításba veszi.

Négy területen hoz új mérési szempontokat

Az MLCommons közlése szerint az MLPerf Agents négy fontos újdonságot vezet be:

• A hatékonyságot a sikerhez köti. A költséget, az energiafelhasználást, a késleltetést és az áteresztőképességet olyan feladatoknál mérik, amelyek sikeresen befejeződtek, és amelyek eredményét ellenőrizték.
• A teljes rendszert vizsgálja. Az erőforrásokat az ügynökalapú AI teljes rétegén számolja, így láthatóvá válhat, hol keletkeznek hatékonysági problémák.
• Összehasonlítható eredményeket kínál különböző architektúrák között. A közös munkaterhelések, nyomkövetés, mérési szabályok és ellenőrzési eljárások a teljes megoldások összevetését szolgálják.
• Az eredmények ellenőrzésére is figyel. A rejtett ellenőrzési adathalmazok, valamint az MLPerf felülvizsgálati és auditfolyamata csökkentheti a benchmark célzott kijátszásának lehetőségét.

A kezdeti munkaterhelések között a szoftverfejlesztés, a kutatás és adatelemzés, valamint az ügyfélszolgálat szerepel. A cél, hogy a vásárlók bizonyítékot kapjanak a hatékony ügynökalapú rendszerek kiválasztásához, a fejlesztők pedig azonosíthassák azokat a módosításokat, amelyek mérséklik a költséget és az energiaigényt.

Nyílt, szakértői felülvizsgálatra épülő fejlesztés

Az MLPerf Agents az MLPerf nyolc év alatt kialakított benchmarkjaira épít, köztük az MLPerf Inference és az MLPerf Power rendszerekre. Az új mérce ugyanazt a nyílt, együttműködésen alapuló folyamatot követi: a munkaterheléseket, a szabályokat és a referencia-megvalósításokat az MLCommons közössége fejleszti, az eredményeket pedig szakértői felülvizsgálatnak vetik alá.

A munkát David Kanter, az MLCommons alapítója és az MLPerf vezetője, valamint Vijay Janapa Reddi professzor, az MLCommons társalapítója és alelnöke vezeti az MLCommons közösségével együtt. A közlemény szerint a projektet többek között a Qualcomm, az NVIDIA, az Intel, az AT&T, a Workato és a Gimlet Labs támogatja.

Az MLCommons október 15-i bejelentése szerint az AI Efficiency Challenge-et a STRIDE Ventures működteti. Ez az amerikai National Science Foundation és a Start2 Group által létrehozott, áttörést jelentő innovációkat támogató országos platform. A kihívást a Start2 Group kezeli az NSF-fel kötött Other Transaction Agreement alapján.

A felhasználók és a vásárlók számára is összevethetőbbé válhatnak a rendszerek

Vijay Janapa Reddi, az MLCommons igazgatósági tagja és kutatási alelnöke szerint az ügynökalapú AI terjedésével még csak most kezdik feltárni, hogyan lehet a keretrendszer, a modellhívások, az eszközhasználat és az újrapróbálkozások között optimalizálni. Az MLPerf Agents a szervezet szerint olyan adatokat adhat a fejlesztőknek, amelyek alapján megtalálhatják és kijavíthatják ezeket a hatékonysági veszteségeket.

A benchmark gyakorlati jelentősége, hogy a teljes munkafolyamatot helyezi a mérés középpontjába. Így a leendő vásárlók nem kizárólag a modell válaszadási sebességét vizsgálhatják, hanem azt is, milyen költség, energiafelhasználás és késleltetés mellett jut el a rendszer ellenőrzött eredményhez.