Az NVIDIA felkészítette a Kubernetes-t a Vera Rubin GPU-kra

Egyetlen receptbe foglalják a szükséges beállításokat

Az NVIDIA Developer november 2-i bejegyzése szerint az NVIDIA AI Cluster Runtime, röviden AICR, új GPU-hardverek Kubernetes-integrációját egyszerűsíti. A rendszer a tesztelt konfigurációkat újrahasznosítható receptekben rögzíti, ezekből telepítési csomagokat készít a meglévő eszközökhöz, majd ellenőrzi a futó fürt állapotát.

Az AICR az NVIDIA DSX AI Factory Platform része. A Vera Rubin NVL72 receptcsaládja többek között a host által kezelt R615.23 open-kernel-module illesztőprogramot, a ComputeDomains funkciót támogató DRA driver v0.5.0-t, az Ubuntu 26.04 rendszert és a 64 kilobájtos lapméretű kernelt tartalmazza. A csomag platformspecifikus beállításokat is rögzít, például az NFD topológiafrissítőjének megemelt memóriahatárát.

A receptek Preview állapotban érhetők el. Ez korai hozzáférést jelent, amelyhez még nem társul a Supported receptek produkciós támogatása és életciklus-minősítése.

Jelentős változások a GB200 NVL72-höz képest

A Vera Rubin NVL72 ugyanannak az NVIDIA MGX rackméretű architektúrának a harmadik generációja, amelyre a GB200 NVL72 is épül, több felhasználói szintű komponens azonban megváltozik. A Rubin rendszerhez új illesztőprogram-ág szükséges. A tesztelés az R615.23 hostra telepített, nyílt GPU-illesztőprogrammal történt. A bejegyzés szerint a korai támogatás az R610-et célozza, a hivatalos platformtámogatás pedig az R620-hoz kapcsolódik.

A hálózati oldalon a ConnectX-7 hálózati vezérlőket és BlueField-3 DPU-kat ConnectX-9 SuperNIC-ek és BlueField-4 DPU-k váltják fel. A ConnectX-9 támogatásának első általánosan elérhető DOCA-kiadása a 3.3.0, a validált rendszerkép pedig DOCA-OFED 3.3.0-t használ.

A Vera Rubin NVL72 compute tray nyolc ConnectX-9 PCI-eszközcsoportot és 32 funkciót tesz elérhetővé, szemben a DGX GB200 NVL72 négy ConnectX-7 adapterével. Emiatt az intenzív I/O-munkaterheléseknél, például RDMA-hálózatkezelésnél és GPUDirect Storage használatakor, külön ellenőrizni kell a GPU-k és a hálózati eszközök kapcsolatát, valamint a NUMA-elhelyezést.

A validáció 744,71 GB/s buszsávszélességet ért el

Az NVIDIA a Vera Rubin fürtökön a GPU Operator v26.7.0 hivatalos kiadásával, a DRA driver v0.5.0-val és hostra telepített R615 illesztőprogrammal futtatta a végponttól végpontig tartó teszteket. A képzési és a következtetési receptváltozat is átment a telepítési és megfelelőségi ellenőrzéseken.

A képzési változatnál a vállalat egy több csomópontos NCCL all-reduce teljesítménytesztet is végrehajtott az NVIDIA NVLink fabricen, egy IMEX ComputeDomainon keresztül. A 16 GiB-os mérés 744,71 GB/s buszsávszélességet ért el. Az NVIDIA közlése szerint a GPU-podok rendben elindultak, az IMEX-csatornák pedig több csomóponton is bekerültek a megfelelő podokba.

A korai hardveres tesztelés során egy, a GPU Operatorhoz és a DRA driverhez nem kapcsolódó hardveres vagy fabric-probléma átmenetileg kizárt egy compute trayt az NVLink fabricből. A hardver újraillesztése után mindkét csomópont összes GPU-ja egyetlen, megfelelő fabric-klikkhez csatlakozott.

Mit kapnak a platformcsapatok?

Az AICR receptjei a driver módját, a konténeres futtatókörnyezet bekötését, a komponensek verzióit és a Vera Rubin-specifikus platformbeállításokat is együtt kezelik. A képzési, következtetési és NVIDIA Dynamo következtetési változatok egyaránt elérhetők a receptcsaládban.

A konfiguráció Kubernetes 1.34.1 vagy újabb verziót ír elő, mivel a ComputeDomains és az IMEX a resource.k8s.io/v1 DRA API-ját használja. A recept az Ubuntu 26.04 Vera Rubinra optimalizált arm64, 64 kilobájtos lapméretű kernelét is tartalmazza. Az NVIDIA azt közölte, hogy az AICR validációja egy korai tesztelési hibát is felszínre hozott, amelyben egy hiányzó Rubin-architektúraérték összeomlási ciklusba küldte a DRA driver kubelet-bővítményét. A javítás végigkerült a szoftveres komponensláncon, és bekerült a hivatalos DRA driver v0.5.0 kiadásába.