A CoreWeave validálta az NVIDIA Vera Rubin NVL72 rendszert

Egy rackben 72 Rubin GPU dolgozik

A CoreWeave október 19-i bejelentése szerint az NVIDIA Vera Rubin NVL72 egy rackméretű platformon egyesíti az NVIDIA új technológiáit. A rendszer 72 Rubin GPU-t, 36 Vera CPU-t, ConnectX-9 SuperNIC hálózati vezérlőket és BlueField-4 DPU-kat tartalmaz.

A racken belüli összeköttetésért az NVIDIA NVLink 6 kapcsoló felel, a rendszerek közötti skálázást pedig az NVIDIA Quantum-X800 InfiniBand és a Spectrum-X Ethernet biztosítja. A CoreWeave által idézett NVIDIA-adatok szerint a platform a Blackwellhez képest az AI-modellek tanítását azonos feladathoz egynegyedannyi GPU-val, a következtetést pedig egymillió tokenenként tizedakkora költséggel teszi lehetővé.

A vállalat januárban jelentette be, hogy a Vera Rubin platform első felhőszolgáltatói között telepíti. A CoreWeave szerint a Vera Rubin NVL72 diagnosztikai ellenőrzését korábban ebben a hónapban sikeresen teljesítette.

Szoftveresen vezérelhető folyadékhűtés

A CoreWeave egyik új fejlesztése a Valvey nevű, szabadalmaztatás alatt álló, rackenkénti folyadékhűtési szelep. A megoldás a vállalat Mission Control rendszerének része, és a hűtési kör minden fontos változóját figyeli és szabályozza. Ide tartozik az átfolyás, a hőmérséklet, a nyomás és a szivárgás érzékelése.

A Valveyen keresztül a magasabb szintű rendszerek automatikusan optimalizálhatják a hűtést, leválaszthatják a racket karbantartás miatt, vagy vészleállítást indíthatnak. A CoreWeave szerint ez különösen olyan architektúrákban fontos, ahol több rack közös, távoli hűtőelosztó egységet használ. Ilyenkor egyetlen rack szervizelhető vagy leüríthető anélkül, hogy a közös hűtési kör többi rackje leállna.

A Racky nevű rackkezelő összegyűjti a tápellátási, hűtési és környezeti érzékelők adatait. A Valvey és a Rack LifeCycle Controller mellett ez alkotja a CoreWeave rackméretű vezérlési rendszerét. A cég célja, hogy minden Vera Rubin NVL72 racket egységesen kezelhető felhőerőforrásként üzemeltessen.

Ethernet és InfiniBand között választhatnak az ügyfelek

A CoreWeave az elsők között telepíti a teljes egészében folyadékhűtéses NVIDIA Spectrum-X SN6600 Ethernet kapcsolót. A vállalat közlése szerint a kapcsoló 128 porton, portonként akár 800 Gb/s sebességgel, összesen 102,4 Tb/s kapcsolási kapacitást kínál. A Spectrum-6 architektúrára épülő eszköz köti össze az egyes NVL72 rackeket, így több ezer GPU dolgozhat egyetlen, egységes klaszterben.

A Vera Rubin NVL72 az NVIDIA Quantum-X800 InfiniBand és a RoCE technológiát használó Spectrum-X Ethernet hálózatot is támogatja. Mindkét szövet nem blokkoló felépítésű, és ugyanazt az RDMA-eszközfelületet teszi elérhetővé a Kubernetesben vagy SUNK-ban futó munkafolyamatok számára.

A ConnectX-9 modulok GPU-nként legfeljebb 800 Gb/s portsebességet és 1,6 Tb/s háttérhálózati sávszélességet támogatnak. A CoreWeave több sínre és több hálózati síkra épülő RoCE-fabricje a cég szerint több mint 120 ezer GPU-s konfigurációkig skálázható.

Az adattovábbítást és az ütemezést is összehangolják

A CoreWeave szoftveres rétege a vállalat szerint egyetlen működési síkon kezeli az ütemezést, a kapacitásmenedzsmentet és a megfigyelhetőséget. A CoreWeave AI Object Storage LOTA nevű, racken belüli gyorsítási rétege a távoli objektumtároló és a GPU-közötti adatútban helyezkedik el. A tanítási adatok klaszteren belüli előkészítésével csökkenti azokat a bemeneti-kimeneti szűk keresztmetszeteket, amelyek miatt a GPU-k adatokra várhatnak.

A CoreWeave Kubernetes Service topológiatudatos ütemezést használ, és lehetőség szerint nagy sávszélességű NVLink-tartományokon belül helyezi el a munkafolyamatokat. A vállalat szerint ezzel mérsékelhető a fabricen áthaladó kommunikáció, miközben a Vera Rubin NVL72 architektúrájának előnyei jobban kihasználhatók.