Az NVIDIA bemutatta a Vera Rubint, gigascale AI-infrastruktúrára készül
Az NVIDIA Vera Rubin NVL72 gyártása felfutóban van, a rendszereket többek között a CoreWeave, a Google Cloud, a Microsoft Azure, az Oracle Cloud Infrastructure és a Nebius telepíti. Az NVIDIA szerint az új platform a teljesítmény per watt és a tokenenkénti költség terén is jelentős előrelépést hoz.
- A Vera Rubin NVL72 gyártása több mint 350 gyártóhelyen, 30 országban fut fel.
- A CoreWeave DeepSeek-R1 benchmarkja tízszeres tokenátviteli javulást jelzett megawattóránként a Grace Blackwell NVL72-höz képest.
- A platform hét chipet és öt racktálcát egyetlen, közösen tervezett rendszerben egyesít.
- A számítási tálca összeszerelési ideje az NVIDIA szerint órákról egy percre csökken.
- A Microsoft és a Mistral európai, ügyfél által ellenőrzött AI-infrastruktúrájában is használja a Vera Rubint.
Hét chipből épülő, teljes rendszer
Az NVIDIA július 21-i közlése szerint a Vera Rubin NVL72 gyártása már zajlik, és a platform ellátási lánca több mint 350 gyártóhelyet fog össze 30 országban. A vállalat ezt az eddigi legnagyobb és legérettebb rackméretű ellátási láncként írja le.
A rendszer hét chipet és öt racktálcát hangol össze egyetlen architektúrában. A platform része a Vera Rubin NVL72, a Vera CPU rack, a Groq 3 LPX, a Spectrum-6 SPX és a Vera BlueField-4 STX. Az NVIDIA szerint az alkatrészeket nem különálló, készen megvásárolható termékekként állították össze, hanem közös rendszerként tervezték.
A központi elem a Vera CPU, amelynek egyedi Olympus magja a vállalat állítása szerint kétszeres egyszálas teljesítményt, háromszoros magok közötti sávszélességet és 40 százalékkal alacsonyabb memória-késleltetést kínál a versenytárs chipletes terveknél.
A CoreWeave első mérése tízszeres javulást mutat
A CoreWeave DeepSeek-R1-en végzett első benchmarkja szerint a Vera Rubin NVL72 megawattóránként tízszer nagyobb áteresztőképességet ért el, mint a Grace Blackwell NVL72. A vállalat szerint a mérés élő hardveren készült, miután a CoreWeave az első AI-felhőszolgáltatóként állította üzembe és hitelesítette a rendszert.
A Vera Rubin NVL72 260 TB/s teljes sávszélességű NVLink 6 összeköttetést használ. Az NVIDIA szerint ez a DeepSeek-R1 keverék szakértői modelljének működésénél fontos, mivel a tokeneket elosztott szakértői alhálózatok között kell továbbítani.
A hálózati rétegben a Spectrum-X Ethernet 102,4 Tb/s kapacitású Spectrum-6 kapcsolóchipekre és ConnectX-9 SuperNIC-ekre épül. Az NVIDIA Photonics co-packaged optics megoldása a vállalat szerint ötször alacsonyabb energiafogyasztást és tízszer magasabb MTBI-értéket kínál a csatlakoztatható adó-vevőknél.
Kevesebb szerelési idő és vízfelhasználás
Az NVIDIA három generáción át fejlesztette rackméretű, közösen tervezett rendszerét. A Vera Rubin NVL72 tálcájában nincsenek kábelek, ventilátorok vagy tömlők, így a vállalat szerint a számítási tálca összeszerelése órákról egy percre rövidül.
A rendszer 45 Celsius-fokos folyadékhűtési bemeneti hőmérsékletre készült, ami lehetővé teszi a hűtők nélküli, száraz hűtőtornyos működést. Az NVIDIA szerint az ilyen, magasabb hőmérsékletű száraz hűtés a zárt hurkú folyadékhűtéssel együtt új AI-üzemekben évente több millió gallon vizet takaríthat meg megawattónként.
A Vera Rubin európai AI-infrastruktúrában is megjelenik. Az NVIDIA közlése szerint a Microsoft és a Mistral kibővített együttműködésének infrastruktúraalapja lesz, amely nyílt európai modelleket és felhő-, illetve ügyfél által ellenőrzött környezeteket kapcsol össze. A Mistral több ezer Vera Rubin GPU-ra támaszkodó kapacitással bővíti számítási lehetőségeit.
A Microsoft Foundryban már elérhető a Mistral Medium 3.5 és az OCR 4, a Mistral modelljei pedig a Microsoft Copilot Studio rendszerébe is integrálódtak. Az NVIDIA szerint a Vera Rubin NVL72 a GB200 NVL72-höz képest akár tízszer több tokent dolgoz fel megawattóránként, miközben az egymillió tokenre jutó költség annak tizede lehet.
