A CoreWeave lett az első NVIDIA GB200 Exemplar Cloud
A CoreWeave az első felhőszolgáltató, amelyet NVIDIA Exemplar Cloudként neveztek meg NVIDIA GB200 NVL72 rendszereken futó tanítási feladatokra. A vállalat szerint több kulcsfontosságú tesztben is meghaladta az NVIDIA referenciaértékeit.
- A CoreWeave lett az első NVIDIA GB200 Exemplar Cloud.
- A teszteket nyolc NVIDIA GB200 NVL72-rackből álló fürtön végezték.
- A mérésekben négy modell MFU-értéke is meghaladta az NVIDIA referenciaértékét.
- A Mission Control automatikusan észlelte és kezelte a gyengébben teljesítő komponenseket.
Négy modellnél is túlteljesítették a célértékeket
A bejelentés szerint a CoreWeave és az NVIDIA együttműködésében végzett mérések a CoreWeave Mission Control rendszerrel optimalizált GB200 NVL72-fürt teljesítményét vizsgálták. Az NVIDIA Exemplar Cloud kezdeményezés célja, hogy szabványosított és összehasonlítható teljesítménymérést biztosítson a felhőplatformok között.
A GPU-k hatékonyságát a Model Flops Utilization, vagyis az MFU mutatóval mérték. A CoreWeave közlése szerint a DeepSeek v3 BF16 változata 512 GPU-n 1,9 százalékkal haladta meg az NVIDIA referenciaértékét. A Grok-1 314B BF16 esetében 4,7 százalékos, a Llama 3.1 405B FP8 modellnél 3,8 százalékos, a Llama 3 70B FP8 modellnél pedig 2,4 százalékos többletet mértek, szintén 512 GPU használatával.
Nyolc GB200 NVL72-rackből állt a vizsgált környezet
A teszteket a CoreWeave állítása szerint nem külön erre kiválasztott laboratóriumi környezetben, hanem egy szabványos felhőfürtön végezték. A rendszer nyolc NVIDIA GB200 NVL72-rackből állt, amelyeket NVIDIA Quantum-2 InfiniBand hálózati platform kapcsolt össze.
A CoreWeave Mission Control a vállalat szerint több százezer NVIDIA GPU működtetéséből származó adathalmazt használ a hibák előrejelzésére és mérséklésére. A rendszer folyamatosan keresi a gyengébben teljesítő komponenseket, és még azelőtt kezdeményezi a cseréjüket, hogy azok hatással lennének az ügyfelek feladataira.
A platform része volt a CoreWeave Bare Metal, a CoreWeave Kubernetes Service, valamint a CoreWeave Slurm on Kubernetes. Utóbbi topológiaérzékeny ütemezést biztosít nagy, elosztott tanítási fürtökön. A cég közlése szerint a karbantartás és a prediktív hibakezelés aktív feladatok megszakítása nélkül is elvégezhető.
A rendszer a hibás komponenseket is automatikusan kezelte
A vizsgálat során szándékosan egy gyengébben teljesítő komponenst is a fürtbe helyeztek, hogy bemutassák a GPU-k teljesítményének folyamatos ellenőrzését. A CoreWeave GPU Straggler Detection valós időben követte többek között a buszsávszélességet, és azonosította a hardveres leállásokat, valamint azok lehetséges okát.
A vállalat szerint a benchmark sikeresen befejeződött anélkül, hogy a fürt adminisztrátorainak manuálisan kellett volna elkülöníteniük a hibás vagy lassabb komponenseket. A Mission Control automatikusan elkülönítette a problémát, megjelenítette az adatokat a SUNK és a Weights & Biases felületein, majd egészséges csomópontokon újraindította a feladatot.
A CoreWeave korábban már NVIDIA Exemplar Cloud lett H100 GPU-khoz, legfeljebb 1024 GPU-t és egy 30 milliárd paraméteres, Llama 2-stílusú modellt használó feladatokban. A vállalat szerint az új eredmények kiszámíthatóbb teljesítményt adhatnak a nagy léptékű előtanításhoz és a több csomópontos következtetéshez, ahol a hosszú futási idő és a hardver megbízhatósága kulcsfontosságú.
CoreWeave: CoreWeave Sets New Standard as First NVIDIA GB200 Exemplar Cloud, Improving Upon NVIDIA’s Own Training Performance Targets
