Az Everpure FlashBlade//EXA vezeti az MLPerf Storage v3.0 tesztjeit
Az Everpure FlashBlade//EXA minden benyújtott checkpointing és KV cache mérésben első helyen végzett az MLPerf Storage v3.0 zárt divíziójában. A rendszer a legnagyobb tesztben 877,52 GiB/s írási és 588,28 GiB/s olvasási teljesítményt ért el.
- A FlashBlade//EXA minden benyújtott checkpointing és KV cache mérésben első lett.
- A rendszer 877,52 GiB/s írási és 588,28 GiB/s olvasási teljesítményt ért el.
- Az írási teljesítmény 10 és 30 adatcsomópont között 327,65-ről 877,52 GiB/s-ra nőtt.
- A Llama 3.1 8B, csak tárolót használó mérésében 85 736 token/másodpercet mértek.
Első hely minden benyújtott mérésben
Az Everpure szeptember 1-jei közlése szerint a FlashBlade//EXA a 405 milliárd és az 1,25 billió paraméteres modellek checkpointing- és KV cache-teljesítményét vizsgáló kategóriákban is első lett az MLPerf Storage v3.0 tesztjén. A mérés a tárolót AI-munkaterhelések részeként vizsgálja, nem önálló rendszerként.
A checkpointing során a tanítási folyamat állapotát mentik el, hogy egy későbbi ponton folytatható legyen. Következtetéskor a KV cache adatainak gyors elérése válik fontossá. Az Everpure szerint, ha a tároló nem tud lépést tartani a számítási kapacitással, a grafikus processzorok és más gyorsítók tétlenül maradhatnak.
877,52 GiB/s írási sebesség 30 adatcsomóponttal
A legnagyobb, 1,25 billió paraméteres modellhez kapcsolódó mérésben 1024 szimulált gyorsító mellett, 30 adatcsomópont használatával a FlashBlade//EXA 877,52 GiB/s írási sávszélességet ért el 17,74 másodperces időtartammal. Az olvasási teljesítmény 588,28 GiB/s volt, 28,99 másodperces időtartam mellett.
A teljesítmény az adatcsomópontok számának növelésével kiszámíthatóan emelkedett. 10 csomópontnál 327,65 GiB/s írási átviteli sebességet mértek, 30 csomópontnál pedig 877,52 GiB/s értéket. Ez az AI-rendszerek bővítésénél lehet fontos, amikor nő a számítási kapacitás, a modellek mérete, az adatmennyiség és a szükséges tárhely.
A KV cache méréseiben a rendszer a Llama 3.1 8B munkaterhelésnél, kizárólag tárolóra támaszkodva, 85 736 token/másodperc értéket ért el. Tároló és memória együttes használatával egy 8B munkaterhelésnél 67 642 token/másodpercet, egy 70B, csak tárolót használó munkaterhelésnél pedig 33 403 token/másodpercet mértek.
A tároló a teljes AI-adatút része
A benchmark-konfigurációban 30 FlashBlade//EXA blade dolgozott együtt 30 Linux/NVMe adatcsomóponttal. A metaadat-kezeléshez 120 DirectFlash® modult rendeltek, a konfiguráció pedig körülbelül 866 TB használható kapacitást biztosított egységes fájlrendszeren keresztül.
A FlashBlade//EXA szétválasztja a metaadat-kezelést és az adatátvitelt. A fájlelrendezés egyeztetéséhez NFSv4.1/pNFS-t használtak TCP felett, a nagy sebességű adatmozgatáshoz pedig NFSv3-at RDMA, azon belül RoCEv2 felett. Az Everpure szerint ez lehetővé teszi, hogy az adatok az alapul szolgáló hálózati infrastruktúrán keresztül mozogjanak.
Rob Lee, az Everpure technológiai és növekedési igazgatója szerint az eredmények ismét azt mutatják, hogy a FlashBlade//EXA a legmagasabb teljesítményt és skálázhatóságot kínálja a piacon. A vállalat állítása szerint a megoldás célja, hogy a teljesítmény és a bővíthetőség mellett a megbízhatóság és az üzemeltetés egyszerűsége se sérüljön.
A közlemény alapján a teszt legfontosabb üzenete a kiszámítható skálázás. Az AI-fürtökben a GPU-k, a hálózat, a tároló és az adatok együtt alkotják a munkafolyamatot, így a tárolási teljesítmény a checkpointing és az inference során közvetlenül befolyásolja az adatút működését.
