Az NVIDIA szerint az NVLink az AI-gyárak hálózati alapja

A GPU-k egyetlen számítási egységként dolgozhatnak

Az NVIDIA július 20-án ismertette az NVLink szerepét az AI-gyárakban. A vállalat meghatározása szerint ezek olyan adatközponti méretű rendszerek, amelyek folyamatosan adatot és energiát alakítanak intelligenciává. Az újabb mesterségesintelligencia-feladatok, köztük a több mint ezermilliárd paraméteres modellek, a mixture-of-experts, vagyis MoE-architektúrák, a hosszú kontextusú következtetés és a szétválasztott kiszolgálás sok gyorsítót igényelnek, amelyeknek egyetlen számítási egységként kell együttműködniük.

Ehhez az NVIDIA szerint nagy sávszélességű, alacsony késleltetésű GPU és GPU közötti kommunikációra, hálózaton belüli számításra, valamint a szoftverrel összehangolt ütemezésre van szükség. Az NVLinket kifejezetten erre a célra tervezett, skálán belüli hálózati fabricnek nevezi a cég.

3,6 TB/s sávszélesség GPU-nként

A hatodik generációs NVLink az NVLink 6 Switch kapcsolóval működik. Az NVIDIA adatai szerint egy 72 GPU-s Vera Rubin NVL72 tartományban GPU-nként 3,6 TB/s kétirányú sávszélességet, rack szinten pedig 260 TB/s sávszélességet biztosít. A vállalat állítása szerint a rendszer késleltetése háromszor alacsonyabb, csomagküldési rátája pedig tízszer magasabb a kereskedelmi forgalomban elérhető Ethernet-alternatívákénál.

Az NVLink 130 TFLOPS hálózaton belüli számítási kapacitást is kínál, amely olyan kollektív műveleteket gyorsíthat, mint az all-reduce és a broadcast. A rendszer legfeljebb 1152 GPU-s skálán belüli tartományokat támogat, a jövőben pedig ko-csomagolt optikai összeköttetéssel is bővíthető.

Az NVIDIA szerint az NVLink különösen az MoE-modellek kiszolgálásánál fontos. Ilyenkor a tokeneket a kiválasztott szakértőkhöz kell eljuttatni, majd a feldolgozás után összegyűjteni és újrarendezni. Ha a GPU-k közötti kapcsolat túl lassú vagy túl nagy késleltetésű, a párhuzamosítás előnyei elveszhetnek. A cég szimulációi alapján az NVLink a DeepSeek-R1, a Qwen 235B és egy szimulált, 2T paraméteres nyelvi modell esetében akár 2,3-szor nagyobb dekódolási teljesítményt ért el a kereskedelmi Ethernethez képest.

A teljesítmény mellett az üzemelés folyamatossága is számít

Az NVIDIA a skálán belüli és a skálán kívüli hálózat eltérő feladatát hangsúlyozza. A skálán kívüli hálózatok, például a Quantum InfiniBand és a Spectrum-X Ethernet, adatközpontokon átívelő, több ezer vagy akár több százezer GPU-s klasztereket kapcsolhatnak össze. A skálán belüli hálózat ezzel szemben egyetlen tartomány gyors, kiszámítható késleltetésű kommunikációját kezeli.

A vállalat szerint a hálózati teljesítményt nem lehet pusztán a névleges sávszélesség alapján megítélni. Fontos az all-to-all kommunikáció sebessége, a teljes útvonal késleltetése, a kollektív műveletek hálózaton belüli számítása, valamint az ezeket támogató szoftver. Az NVLink ökoszisztémáját a chipektől a rendszereken és a fabricen át a szoftverig együtt tervezik. A kapcsolódó szoftverek között a Dynamo, a TensorRT-LLM, a NIXL és az NCCL szerepel.

Az NVLink rack szintű ellenálló képességi funkciókat is tartalmaz. Ide tartozik a vezérlősík redundanciája, a működés közben cserélhető kapcsolótálca, a forgalom dinamikus átirányítása és a szolgáltatás közbeni szoftverfrissítés. Az NVLink-C2C a Vera CPU-kat és GPU-kat kapcsolja össze 1,8 TB/s koherens sávszélességgel, az NVLink Fusion pedig egyedi XPU-k integrációját teszi lehetővé az NVIDIA AI-infrastruktúrájába.

Az NVIDIA szerint a technológia közel egy évtizednyi éles telepítésre és több millió chipre épül, miközben a platform éves fejlesztési ütemezést követ. A felhasználók számára ez olyan infrastruktúrát jelenthet, amelynél a gyors GPU-k közötti kommunikáció, a hosszabb üzemidő és a karbantartás alatti működés egyetlen, összehangolt rendszer része.