A CoreWeave vezeti az MLPerf 6.0 következtetési tesztjeit

Megduplázott teljesítmény a GB300 NVL72 rendszeren

A CoreWeave közlése szerint az NVIDIA GB300 NVL72 rendszeren futtatott DeepSeek R1 tesztben 5574 token/másodperc/GPU eredményt ért el szerverüzemmódban, offline módban pedig 9821 token/másodperc/GPU értéket. A vállalat ezt a mutatót a különböző GPU-számú konfigurációk eredményeinek normalizálására használja, ezért az nem hivatalos MLPerf-metrika.

A CoreWeave szerint a szerverüzemmódú teljesítmény az MLPerf 5.1 eredményéhez képest kétszeresére nőtt. Offline módban a javulás 1,6-szoros volt az elmúlt hat hónapban. A vállalat azt is közölte, hogy DeepSeek R1 esetében a GB300 NVL72 offline eredménye az összes benyújtó között a legmagasabb volt.

Az NVIDIA GB300 NVL72 a CoreWeave leírása szerint mesterségesintelligencia-alapú következtetésre készült, rackszintű rendszer. A vállalat az NVIDIA Blackwell GPU-khoz képest 1,5-szer több sűrű NVFP4 Tensor Core FLOPS-ot és kétszer nagyobb figyelmi teljesítményt emel ki.

A GB300 a GB200-hoz képest is javulást mutatott

A CoreWeave GPT-OSS-120B modellel is összehasonlította a két platformot. GB300 NVL72 rendszeren 14 946 token/másodperc/GPU értéket mért szerverüzemmódban, offline módban pedig 14 226-ot. A vállalat szerint ez az összes benyújtó között a legnagyobb javulás volt a GB200 NVL72-höz képest, offline módban több mint 28 százalékos növekedéssel.

DeepSeek R1 esetében a CoreWeave több mint 14 százalékos javulást jelzett szerverüzemmódban, illetve több mint 34 százalékos növekedést offline módban a GB200 NVL72-höz viszonyítva. A GB300 ugyanarra az architektúrára épül, mint a GB200, de több memóriát és további teljesítményjavításokat kínál a vállalat szerint.

A GB200 NVL72-n futtatott DeepSeek R1 tesztekben a CoreWeave 4868 token/másodperc/GPU eredményt adott meg szerverüzemmódban, offline módban pedig 7323-at. Közlése szerint mindkét módban az összes benyújtó között az első helyen végzett.

A benchmarkeredményeket saját szolgáltatásokkal köti össze a cég

A CoreWeave szerint az MLPerf 5.0-ban az NVIDIA GB200 NVL72 következtetési teljesítményének vezetője volt, és az MLPerf 6.0-ban is megőrizte ezt a pozíciót. A vállalat azt állítja, hogy elsőként kínálta az NVIDIA GB200 NVL72-t nagy léptékű, éles környezetben működő szolgáltatásként.

A cég az MLPerf-eredményeket többféle következtetési termékkel kapcsolja össze. A Weights & Biases Inference szolgáltatáson keresztül elérhető Serverless Inference automatikus skálázást, magas rendelkezésre állást és beépített megfigyelhetőséget kínál. A fizetés tokenenként történik, a CoreWeave leírása szerint.

A Dedicated Inference jelenleg előzetes hozzáférésű szolgáltatás. Az ügyfelek saját modellelőállított súlyaikat használhatják, GPU-t és nyílt futtatókörnyezetet választhatnak, miközben a CoreWeave a gyártási működtetést és a költségek átláthatóságát kezeli. A CoreWeave Kubernetes Service-en futó Inference ezzel szemben azoknak szól, akik saját modelljeiket, futtatókörnyezeteiket és vezérlésüket üzemeltetnék.

A vállalat szerint a közös architekturális alap lehetővé teszi, hogy a csapatok a kísérletezéstől a nagy léptékű éles működésig váltsanak platformcsere nélkül. A közleményben a CoreWeave az MLPerf 6.0 eredményeit és az ezekre épülő szolgáltatási útvonalakat azok számára emeli ki, akik következtetési feladataikat a saját igényeikhez igazítva szeretnék skálázni.