A CoreWeave vezeti az MLPerf új DeepSeek-R1 benchmarkját

Nagy terhelés mellett mérték a DeepSeek-R1 teljesítményét

A CoreWeave közlése szerint a teszt egy NVIDIA GB200 NVL72 rendszerben futott, amelyben 68 Blackwell GPU dolgozott. A vállalat 16 384 egyidejű kérés mellett 441 740 token/másodperc rendszerátvitelt ért el. Az egy GPU-ra jutó érték legfeljebb 6496 token/másodperc volt.

A CoreWeave ezt a mérőszámot tartja a valós következtetési szolgáltatások gazdaságossága szempontjából különösen fontosnak, mivel megmutatja, hány tokent szolgál ki egy gyorsító, és ez hogyan kapcsolódik a GPU-költséghez. A cég szerint a nagyobb GPU-nkénti átvitel ugyanakkora vagy nagyobb tokenmennyiség kiszolgálását teheti lehetővé kisebb GPU-flottával.

A CoreWeave a 2026. október 22-i bejegyzésében azt írta, hogy eredményei vezetik az NVIDIA GB200 NVL72 rendszerekkel benyújtott DeepSeek-R1 eredményeket az első MLPerf 0.7 Endpoints fordulóban.

Az MLPerf Endpoints a terhelés és a késleltetés kapcsolatát vizsgálja

Az MLCommons új benchmarkja azt méri, hogyan viselkedik egy következtetési szolgáltatás valósághű, párhuzamos online terhelés alatt. A korábbi egyetlen mérési pont helyett a teszt a teljes átvitel és késleltetés közötti görbét vizsgálja, legfeljebb 16 384 egyidejű kéréssel.

A fordulóban a DeepSeek-R1 671 milliárd paraméteres, szakértőkeverék-alapú következtetési modellként szerepelt. A modell egy válaszban több ezer tokent is előállíthat, ezért a CoreWeave szerint az ilyen rendszereknél két mutató különösen fontos: az egy GPU-ra jutó átvitel és az egy kimeneti tokenre jutó idő, vagyis a TPOT.

Az átvitel a GPU-k kihasználtságát és a kiszolgálás költségét jelzi, a TPOT pedig azt, milyen gyorsan érkezik a válasz a generálás megkezdése után. A vállalat közlése szerint maximális párhuzamosság mellett a résztvevők között az egyik legalacsonyabb TPOT-értéket tartotta fenn, miközben GPU-nként nagy terhelést kezelt.

Nem külön tesztkörnyezetben futott a mérés

A CoreWeave szerint az eredményeket szabványos, ügyfélterhelésekhez használt éles infrastruktúrán ellenőrizte. A DeepSeek-R1 ugyanazt a hálózati fabricot, ütemezőt, tárhelyet és a CoreWeave Mission Control vezérlési rétegét használta, mint a vállalat ügyfeleinek munkaterhelései.

A referencia-konfiguráció egy teljes, 18 csomópontos, 72 GPU-s rackre épül. A CoreWeave 17 csomóponton, 68 Blackwell GPU-val adta be az eredményét. A Mission Control folyamatos telemetriája, prediktív hibafelismerése és automatikus GPU-straggler felismerése a közlés szerint ezen a termelési klaszteren is működött.

A DeepSeek-R1 futtatásához a CoreWeave Bare Metal szervereket, NVIDIA Quantum-2 InfiniBand hálózatot, CoreWeave Kubernetes Service-t, SUNK topológiaérzékeny ütemezést és Distributed File Storage-t használt. A vállalat szerint ezek a rétegek együtt csökkentik a GPU-k közötti kommunikáció és a modell súlyainak betöltése során jelentkező többletterhelést.

Mit jelent ez a felhasználóknak?

A bejelentés elsősorban azoknak a csapatoknak fontos, amelyek nagy párhuzamosság mellett szolgálnak ki hosszú válaszokat adó következtetési modelleket. A CoreWeave szerint a stabil, terhelés alatti teljesítmény pontosabb kapacitás- és költségtervezést tesz lehetővé, és csökkentheti a túlméretezés szükségességét.

A vállalat három futtatási lehetőséget kínál ugyanarra az alapinfrastruktúrára építve: a Serverless Inference tokenenkénti használatot biztosít egy válogatott nyílt forráskódú modellkatalógushoz, a Dedicated Inference egyedi súlyok és GPU-k feletti kontrollt ad, az Inference on CKS pedig teljes Kubernetes-alapú önálló üzemeltetést kínál. A CoreWeave állítása szerint a közös alap miatt a csapatok a munkaterhelés növekedésével ezek között a megoldások között platformváltás nélkül mozoghatnak.

Az MLPerf által ellenőrzött rendszerátviteli eredmény 441 740 token/másodperc, míg a 6496 token/másodperc GPU-nkénti értéket a forrás nem ellenőrzött, a rendszerátvitelből és a 68 GPU számából levezetett mutatóként jelöli.