Megjelent az MLPerf Storage v3.0, már S3-t is mér

Két új teszt az AI-inferencia mérésére

Az MLPerf Storage olyan iparági benchmark, amely a tárolórendszerek gépi tanulási munkaterhelések alatti teljesítményét vizsgálja architektúrasemleges, reprezentatív és reprodukálható módon. A 3.0-s verzió a korábbiaknál szélesebb körben igyekszik lefedni az AI-rendszerek által létrehozott tárolási feladatokat.

Az egyik új mérés a KV Cache teszt. Ez a nagy nyelvi modellek következtetési gyorsítótárának olvasási és írási műveleteit vizsgálja. A kulcs-érték párok gyorsítótárazása széles körben használt technika a transzformer-alapú AI-következtetés teljesítményének növelésére, különösen az autoregresszív, vagyis az ismételten azonos kulcs-érték vektorokhoz hozzáférő alkalmazásoknál.

A másik újdonság a Vector Database, vagyis vektoradatbázis-teszt. Ez a vektorindexelési és lekérdezési munkaterhelések tárolási teljesítményét méri. A vektoradatbázisok olyan nagy dimenziójú adatokat tárolnak, amelyek meghaladják a hagyományos adatbázis-architektúrák korlátait, és az AI-alkalmazások gyakran használják őket szöveges, illetve médiatartalmak tárolására.

Az S3 objektumtárolás is bekerült a benchmarkba

Az MLPerf Storage v3.0 az eddigi, POSIX-kompatibilis hozzáférési réteg mellett támogatja az S3 objektumtárolási réteget is. Ez lehetővé teszi, hogy ugyanarra a munkaterhelésre többféle hosztolt tárolási megoldás teljesítményét hasonlítsák össze.

Az S3-réteg a tanítási, a checkpointolási és bizonyos vektoradatbázis-tesztekben használható. A mostani körben a beadások körülbelül egyhatoda alkalmazta ezt a hozzáférési réteget.

Brian Belgodere, az MLPerf Storage munkacsoportjának társelnöke szerint az új tesztek a képzési és következtetési munkaterhelések szélesebb körét fedik le. Mint mondta, a checkpointolásra, a KV-gyorsítótárazásra és a vektoradatbázisokra összpontosító, különálló mérések világosabb képet adnak arról, hogyan tervezhetők és méretezhetők az AI-rendszerek a tárolási szűk keresztmetszetek csökkentésére.

Curtis Anderson, a munkacsoport másik társelnöke úgy fogalmazott, hogy az S3-t is magában foglaló támogatás több lehetőséget ad a szervezeteknek az alkalmazásaik műszaki követelményeihez illeszkedő technológiák kiválasztására és kombinálására. Az MLCommons szerint az objektumalapú tárolórendszerek az AI-kontextusok trillió léptékűvé válásával életképes, akár előnyben részesített alternatívává válhatnak a fájlrendszer-alapú tárolással szemben.

Tizenkilenc szervezet adott be eredményt

A benchmark ezen fordulójában 19 szervezet nyújtott be eredményeket. Közülük 11 először vett részt: Azure, Everpure, HolmesAI, Nebius, NewFW, NVIDIA, OpenLake, Suzhou Zishan Longlin, TuringData, XSKY és ZettaLane. A résztvevők között felhőalapú és helyben telepített megoldások szolgáltatói, valamint tárolórendszereket és eszközöket fejlesztő szervezetek is vannak.

Az eredmények az energiahatékonyságra is kitérnek. A helyben telepített rendszerek checkpointolási írási tesztjeiben a medián érték watt-onként 14 GB/másodperc, a legmagasabb érték pedig 201 GB/másodperc volt. Az UNet3D olvasási teszt mediánja watt-onként 34 GB/másodpercet, a maximum 277 GB/másodpercet ért el.

Az MLCommons szerint az értékek széles energiahatékonysági tartományt mutatnak, és további javítási lehetőséget jeleznek a beszállítók számára. A benchmarkot öt év alatt 35 vezető tárolási megoldásszállító és akadémiai kutatócsoport közös mérnöki munkával hozta létre. A nyílt forráskódú, szakértői felülvizsgálaton átesett tesztcsomag az MLCommons szerint összehasonlítható alapot ad a versenyhez, és a teljesítmény, valamint az energiahatékonyság javítását szolgálja.

A felhasználók számára a v3.0 részletesebb műszaki adatokat kínál az AI-tanítási és következtetési rendszerek tárolásának kiválasztásához és hangolásához. Az eredmények az MLPerf Storage oldalán, a kiegészítő értelmezés pedig az MLCommons Supplemental Discussion anyagában érhető el.