Élőben mutatta be a CoreWeave az NVIDIA GB200 NVL72 teljesítményét

Szabványos tesztekkel indult a bemutató

A CoreWeave október 22-i bejegyzése szerint a vállalat a felhőszolgáltatók között az elsők egyikeként mutatta be működés közben az NVIDIA GB200 NVL72 rendszert. A bemutató a rack teljesítményére, fejlett hűtési technológiájára és energiahatékonyságára koncentrált.

Az első teszt az NCCL Allreduce Test volt. Ez olyan szabványos teljesítményteszt, amely a rack 72 GPU-ja közötti, NVIDIA NVLink kapcsolaton zajló kommunikáció sebességét vizsgálja. A CoreWeave szerint a teszt azt szemlélteti, hogy a GPU-k összehangoltan képesek kezelni az elosztott munkaterheléseket, amelyek a nagy alapmodellek futtatásához szükségesek.

Ezt követte a GPUBlaze Test, amely összetett mátrixszorzási feladatokkal terhelte a GPU-kat. A vállalat ezt a mesterségesintelligencia-képzésben, tudományos szimulációkban és fejlett adatfeldolgozásban használt műveletekhez hasonlította. A bemutató során a rack a számítási teljesítményét fokozatosan növekvő terhelés mellett mutatta meg.

Megatron-képzés Kubernetes környezetben

A CoreWeave a rendszer képességeit egy Megatron-tréninggel is vizsgálta. A futtatás egy nagy alapmodellekre jellemző, jelentős számítási és memóriaigényt szimuláló munkaterhelést jelentett. A feladatot a CoreWeave Kubernetes Service, röviden CKS, valamint a Slurm on Kubernetes, vagyis SUNK segítségével futtatták.

A vállalat szerint a CKS és a SUNK az NVIDIA GB200 NVL72 rendszeréhez optimalizált, integrált környezetet biztosít az elosztott képzéshez. A CKS hipervizor nélküli Kubernetes-megoldásként készült mesterségesintelligencia-munkaterhelésekhez, a SUNK pedig a kötegelt és sorozatos feladatok ütemezését, valamint a terhelések átmeneti kiterjesztését támogatja.

A bemutató része volt a CoreWeave megfigyelési szolgáltatásainak használata is. A vállalat irányítópultjain valós időben követték a GPU-k kihasználtságát, a memória- és VRAM-kiosztást, az energiafogyasztást, valamint a hőmérsékleti adatokat. Ez a CoreWeave szerint betekintést adott abba, hogyan kezeli a hardver a nagy számítási igényű feladatokat.

A hűtés és az energiafelhasználás is látható volt

A terhelés növekedésével a rack Cooling Distribution Unit, vagyis CDU nevű hűtési egysége is központi szerepet kapott. A rendszer a CoreWeave leírása szerint a GPU-k aktivitásához igazítja a hűtési teljesítményt, hogy a hardver megfelelő hőmérsékleten maradjon.

A CDU irányítópultján a visszatérő hűtőfolyadék hőmérsékletének emelkedése együtt látszott a számítási terhelés növekedésével. Egy külön energiafelhasználási irányítópult azt mutatta meg, hogyan változik a rendszer fogyasztása a teljesítménnyel párhuzamosan. A CoreWeave szerint a valós idejű mérés átláthatóbbá teszi az energiagazdálkodást.

Az NVIDIA GB200 NVL72 rendszereket NVIDIA Quantum-2 InfiniBand hálózat támogatja. A forrás szerint ez GPU-nként 400 Gb/s sávszélességet biztosít sínoptimalizált topológiával. Az NVIDIA Quantum-2 SHARP In-Network Computing technológiája a kollektív kommunikáció egy részét a hálózaton belül kezeli, ami a CoreWeave szerint alacsony késleltetést és gyorsabb képzést tesz lehetővé.

A következő lépés a 800 Gb/s-os hálózat lehet

A CoreWeave közölte, hogy a közeljövőben az NVIDIA Quantum-X800 800 Gb/s InfiniBand platform telepítésére készül. Ez a vállalat leírása szerint megduplázná az egy GPU-ra jutó sávszélességet, és új lehetőségeket nyithatna a mesterségesintelligencia-fejlesztésben.

A projektben a Switch adatközponti partnerként vett részt. A CoreWeave szerint a Switch létesítményei és együttműködése fontos szerepet játszott a bemutató megvalósításában.

A demonstráció a CoreWeave előző héten közzétett képeit egészítette ki. Míg a fotók elsősorban a hardver fizikai kialakítását mutatták be, az élő teszt a teljesítményt, a hűtést, az energiafelhasználást, a Kubernetes-támogatást, a megfigyelési eszközöket és a hálózati képességeket állította középpontba. A vállalat szerint az NVIDIA GB200 NVL72 és saját termékportfóliója olyan infrastruktúrát alkot, amely mesterségesintelligencia-fejlesztési, tudományos kutatási és nagy adatfeldolgozási feladatokat céloz.