A CoreWeave szerint akár 20 százalékkal gyorsabb az AI-infrastruktúrája
A CoreWeave saját elemzése szerint felhőplatformja 50 százalék feletti Model FLOPS Utilization értéket ér el NVIDIA Hopper GPU-kon, és akár 20 százalékkal magasabb teljesítményt kínál a nyilvános alapmodell-tréningek benchmarkjainál. A vállalat az NVIDIA DGX Cloud mérési receptjeivel végzett előzetes tesztekben a gyártó optimalizált referencia-rendszerével azonos teljesítményt jelzett.
- A CoreWeave szerint NVIDIA Hopper GPU-kon 50% feletti MFU-t ér el.
- A vállalat akár 20%-kal magasabb teljesítményt jelez a nyilvános benchmarkokhoz képest.
- 128 NVIDIA H100 GPU-n 51,9% és 49,2% MFU-t mértek két összevetésben.
- Az NVIDIA DGX Cloud tesztjeiben a CoreWeave eredményei összhangban voltak a referencia-rendszerrel.
- A platform több mint 32 ezer GPU-n támogat Slurm-alapú munkaterheléseket.
Az AI-infrastruktúra hatékonysági rését célozza a vállalat
A CoreWeave október 22-én közzétett elemzése az AI-rendszerek kihasználtságára koncentrál. A Model FLOPS Utilization, röviden MFU azt méri, hogy a rendszer tényleges áteresztőképessége hogyan viszonyul az elméleti maximális lebegőpontos teljesítményhez. A vállalat szerint a nyilvános alapmodell-tréningekben jellemzően 35 és 45 százalék közötti értékek figyelhetők meg.
A CoreWeave NVIDIA Hopper GPU-kon 50 százalék feletti MFU-t becsül, ami a cég állítása szerint akár 20 százalékkal magasabb teljesítményt jelent a nyilvános benchmarkokhoz képest. A vállalat szerint a hatékonysági rés csökkentése javíthatja a teljesítményt és a modellek minőségét, gyorsíthatja a fejlesztést, valamint mérsékelheti az AI-modellek költségeit.
A CoreWeave teljes technológiai rétegre épít
A vállalat érvelése szerint az általános célú felhők eredetileg kereséshez, elektronikus kereskedelemhez, webtárhelyhez és adatbázisokhoz készültek, ezért nem kifejezetten az AI nagy számítási igényeire optimalizálták őket. A CoreWeave Cloud Platform ezzel szemben az adatközponti architektúrától a számítási erőforrásokon, hálózaton és tárhelyen át az infrastruktúra-kezelésig AI-munkaterhelésekre épül.
A platform NVIDIA Quantum InfiniBand és NVIDIA Spectrum kapcsolókat használ, amelyek a CoreWeave szerint csökkentik az elosztott tréning kommunikációs többletterhelését. A cég Kubernetes-t közvetlenül nagy teljesítményű, csupasz fém szervereken futtat a CoreWeave Kubernetes Service segítségével. AI Object Storage szolgáltatása GPU-nként és másodpercenként akár 2 GB adatátvitelt biztosít több százezer GPU között.
A vállalat további szolgáltatásai közé tartozik a Slurm on Kubernetes, amely több mint 32 ezer GPU-n támogat Slurm-alapú munkaterheléseket, valamint a CoreWeave Tensorizer, amely a modellbetöltést és az aszinkron ellenőrzőpont-készítést gyorsítja. A platform egészségfigyelést, proaktív csomópontcserét és részletes megfigyelhetőséget is kínál. A CoreWeave szerint ezekkel akár 96 százalékos goodput érhető el.
A tesztekben magasabb MFU-t mértek
A CoreWeave 128 NVIDIA H100 GPU-t, 16 csomópontot használó klaszteren futtatott Llama 3.1 tréningeket, majd az eredményeket korábbi kutatási eredményekkel vetette össze. Az Aleph Alpha és a Hasso Platner Institute egy 30 milliárd paraméteres Llama-modellnél, 8 ezer tokenes kontextusablakkal és 128 NVIDIA A100 GPU-n 40,43 százalékos optimalizált MFU-t közölt. A CoreWeave hasonló párhuzamosítási beállítások mellett 51,9 százalékot mért 128 NVIDIA H100 GPU-n, ami a vállalat számítása szerint 28 százalékos növekedés.
A MosaicML 30 milliárd paraméteres MPT-modelljén, 2 ezer tokenes kontextusablakkal, 128 NVIDIA H100 GPU-n 41,85 százalékos MFU-t ért el. A CoreWeave azonos modellméret, kontextusablak, mikrokötegméret és párhuzamosítási paraméterek mellett 49,2 százalékot jelentett, ez 18 százalékos növekedésnek felel meg. A vállalat szerint az eltérő GPU-típusok ellenére az összevetés értelmezhető, mivel az MFU az adott gyorsító elméleti FLOPS-kapacitásának százalékos aránya.
Az NVIDIA referencia-rendszerével is összevetették
A CoreWeave az NVIDIA DGX Cloud Benchmarking Recipes segítségével tréning- és finomhangolási munkaterheléseken vizsgálta NVIDIA Hopper platformját. Az előzetes eredmények szerint a CoreWeave infrastruktúrája a BF16 és FP8 használatával is összhangban van az NVIDIA referencia-architektúrájának teljesítményével.
Alexis Bjorlin, az NVIDIA DGX Cloud alelnöke szerint a csúcsteljesítményhez teljes technológiai rétegre van szükség. Az NVIDIA közleményben idézett állítása alapján a CoreWeave teljesítménye összemérhető az NVIDIA H100 felhős referencia-architektúrájával. A két vállalat további optimalizálásokon dolgozik, miközben a CoreWeave már az NVIDIA GB200 NVL72-alapú példányainak bevezetését is említi.
A bejelentés alapján a CoreWeave ügyfelei számára a nagyobb mérési teljesítmény mellett a megbízhatóság és a használhatóság is fontos szempont. A cég szerint többek között a Cohere, a Mistral és az IBM választja AI-felhőszolgáltatóként a platformot.
CoreWeave: CoreWeave Leads the Charge in AI Infrastructure Efficiency, with up to 20% Higher GPU Cluster Performance than Alternative Solutions
