A CoreWeave NVIDIA-validációt szerzett GB200 NVL72 következtetéshez

Valós terhelésre szabott NVIDIA-ellenőrzés

A CoreWeave 2026. október 22-i közleménye szerint az NVIDIA Exemplar Cloud programja egységes mércét ad a felhőszolgáltatók infrastruktúrájának összehasonlításához. A programot az NVIDIA 2025-ben indította el, és a résztvevőknek valós ügyféligényeket modellező, összetett mesterségesintelligencia-terheléseken kell bizonyítaniuk teljesítményüket és ellenálló képességüket.

A minősítéshez nyílt, munkaterhelés-specifikus tesztrecepteket használnak következtetéshez, finomhangoláshoz és nagy léptékű előtanításhoz. A CoreWeave szerint ez olyan összehasonlítható teljesítményadatokat ad, amelyek a felhőkörnyezet kiválasztását valós alkalmazási mérésekre, nem pedig szolgáltatói állításokra alapozhatják.

A vállalat korábban az elsők között szerezte meg az NVIDIA Exemplar Cloud minősítést tanítási feladatokra is, szintén NVIDIA GB200 NVL72 rendszeren.

DeepSeek-R1, Llama 3.3 és GPT-OSS a tesztekben

Az NVIDIA mérési rendszere a DeepSeek-R1, a Llama 3.3 és a GPT-OSS modelleket vizsgálta egy- és többcsomópontos konfigurációkban. A tesztekben az NVIDIA által meghatározott számú NVIDIA GB200 NVL72 GPU, valamint TRT-LLM vagy SGLANG háttérrendszer szerepelt. A többcsomópontos áteresztőképességi vizsgálatokhoz az NVIDIA Dynamo elosztott következtetési modellt is használták, 32 NVIDIA Blackwell GPU-val.

Öt különböző fázist mértek: következtetést, csevegést, összegzést, generálást és a szétválasztott feldolgozást. A teljesítményt GPU-nkénti másodpercenkénti tokenszámmal, a késleltetést pedig az első tokenig eltelt idővel, TTFT-vel adták meg.

Az áteresztőképességi tesztek egycsomópontos konfigurációban egy és négy NVIDIA Blackwell GPU-val, több csomópont esetén pedig az NVIDIA Dynamo használatával, 32 GPU-val futottak. A CoreWeave közlése szerint mind az öt tesztfázisban teljesítette vagy meghaladta az elvárt értékeket. A késleltetési vizsgálatokat DeepSeek-R1 és Llama 3.3 modellekkel, egycsomópontos, négy GPU-s konfigurációban végezték, és ezekben is ugyanez lett az eredmény.

A Mission Control figyeli a teljes infrastruktúrát

A CoreWeave a teljesítményt vertikálisan integrált, mesterségesintelligencia-feladatokra kialakított infrastruktúrájának tulajdonítja. A vállalat szerint a számítási kapacitást, a tárhelyet, a hálózatot és a vezérlést egységes környezetben hangolta össze, a hardvertől a modellen futó kiszolgálásig.

A tesztelés központi felülete a CoreWeave Mission Control volt. A rendszer a GPU-hőmérséklettől és az NVLink sávszélességétől kezdve az alkalmazásszintű TTFT-mutatóig figyelte a környezetet. A CoreWeave GPU Straggler Detection funkció a kollektív műveletek, köztük a buszsávszélesség teljesítményét is mérte, továbbá automatikusan észlelte a hardveres elakadásokat és azonosította azok kiváltó okát.

A CoreWeave szerint az NVIDIA GB200 NVL72 rendszert nagy sávszélességű hálózattal és optimalizált memóriakezeléssel párosította. A kiszolgálási rétegben kötegelt feldolgozás, kérésirányítás és GPU-kihasználtságot javító ütemezés működik, míg a gyors tárhely és a kiépítési folyamatok a modellek betöltési idejét csökkentik. Ez a vállalat értelmezése szerint kiszámíthatóbb teljesítményt adhat a nagy léptékű tanítás és a gyártási környezetben futó következtetés során.