A CoreWeave rekordot jelentett az NVIDIA GB200-zal végzett AI-inferenciában
A CoreWeave közlése szerint első felhőszolgáltatóként adott le eredményt NVIDIA GB200 Superchipekkel az MLPerf Inference v5.0 mérésén. A vállalat 800 tokent dolgozott fel másodpercenként a Llama 3.1 405B modellen.
- A CoreWeave első felhőszolgáltatóként adott le eredményt NVIDIA GB200 Superchipekkel.
- A GB200-as példány 800 TPS-t ért el a Llama 3.1 405B modellen.
- Az NVIDIA H200-as példány 33 000 TPS-t teljesített a Llama 2 70B modellen.
- A H200-as eredmény 40 százalékkal haladta meg a H100-as példányok áteresztőképességét.
- A CoreWeave 2025-ben általánosan elérhetővé tette az NVIDIA GB200 NVL72-alapú példányokat.
800 token másodpercenként a Llama 3.1 405B modellen
A CoreWeave az NVIDIA GB200 Grace Blackwell Superchipekre épülő infrastruktúrával új eredményt jelentett be a mesterséges intelligencia következtetési teljesítményének mérésében. A vállalat szerint első felhőszolgáltatóként nyújtott be eredményt NVIDIA GB200 Superchipekkel az MLPerf Inference v5.0 tesztjeire.
A CoreWeave által használt példány két NVIDIA Grace CPU-t és négy NVIDIA Blackwell GPU-t tartalmazott. Ezen a rendszeren a vállalat 800 tokent ért el másodpercenként, vagyis 800 TPS-t a Llama 3.1 405B modellen. A cég a modellt az egyik legnagyobb nyílt forráskódú modellként írja le.
A közlemény lábjegyzete szerint az eredmény ellenőrzött MLPerf Inference Closed Llama 3.1 405B offline pontszám, amely az MLCommons benchmarkoldalán szerepel, 5.0-0076 bejegyzéssel, 2025. április 2-i dátummal.
Az NVIDIA H200-zal is új eredményt adtak le
A CoreWeave egyúttal új eredményt nyújtott be NVIDIA H200 GPU-kat használó példányokra is. A vállalat 33 000 TPS teljesítményt ért el a Llama 2 70B modellen.
A CoreWeave közlése szerint ez 40 százalékkal nagyobb áteresztőképességet jelent az NVIDIA H100-ra épülő példányokhoz képest. A kapcsolódó lábjegyzet ezt az eredményt ellenőrzött MLPerf Inference Closed Llama 2 70B server pontszámként jelöli, 5.0-0077 bejegyzéssel.
Az MLPerf Inference iparági szabványként használt tesztcsomag, amely valós telepítési helyzetekben méri a gépi tanulási rendszerek teljesítményét. A mérés azt vizsgálja, milyen gyorsan dolgozza fel egy rendszer a bemeneteket, és milyen gyorsan állít elő eredményeket egy betanított modellel. Ez közvetlenül hatással lehet a felhasználói élményre.
A CoreWeave a nagy modellek kiszolgálását célozza
Peter Salanki, a CoreWeave technológiai igazgatója szerint a vállalat célja, hogy nagy modellek következtetési feladataihoz optimalizált infrastruktúrát biztosítson a saját fejlesztésű felhőplatformján. A vezető úgy fogalmazott, hogy az MLPerf eredményei megerősítik a CoreWeave pozícióját a vezető AI-laborok és vállalatok által előnyben részesített felhőszolgáltatók között.
A CoreWeave közlése szerint 2025-ben elsőként tette általánosan elérhetővé az NVIDIA GB200 NVL72-re épülő példányokat. A vállalat 2024-ben az elsők között kínált NVIDIA H100 és H200 GPU-kat, valamint az elsők között mutatta be az NVIDIA GB200 NVL72 rendszert.
Mit jelent ez a felhasználóknak?
A bejelentett eredmények elsősorban azoknak a szervezeteknek lehetnek fontosak, amelyek nagy nyelvi modelleket futtatnak felhős infrastruktúrán. A magasabb következtetési sebesség gyorsabb válaszadást tehet lehetővé, miközben az MLPerf szabványosított mérési környezetet biztosít az eltérő hardveres megoldások összehasonlításához.
A CoreWeave eredményei a vállalat saját közlésén alapuló benchmarkadatok. A társaság 2017-ben alakult, és 2025 márciusában vezette be részvényeit a Nasdaq piacára CRWV ticker alatt.
CoreWeave: CoreWeave Achieves New Record-Breaking AI Inferencing Benchmark with NVIDIA GB200 Grace Blackwell Superchips
CoreWeave: CoreWeave Delivers Breakthrough AI Performance with NVIDIA GB200 and H200 GPUs in MLPerf Inference v5.0
