Az NVIDIA nyolc DGX Spark gépen futtatja a GLM 5.3-at
Az NVIDIA hivatalosan is támogatja a nyolc DGX Spark gépből álló klasztereket, amelyek együttesen 1 TB egyesített memóriát kínálnak. A vállalat szerint így helyben is futtathatóvá válik több nagy modell, köztük a Z.ai 753 milliárd paraméteres GLM 5.3 modellje.
- A nyolc DGX Spark gép összesen 1 TB egyesített memóriát kínál.
- A klaszteren helyben futtatható a Z.ai teljes, 753 milliárd paraméteres GLM 5.3 modellje.
- A Qwen3.8-27B dekódolási sebessége nyolc gépen 52,58 token/másodperc volt.
- A RoCEnante kapcsolós topológián 4,43-szoros dekódolási skálázódást ért el.
- Négy gépnél a gyűrűs összeköttetés egyszerűbb és költségtakarékosabb lehet.
Akár 1 TB memória egy helyi klaszterben
Az NVIDIA október 22-i fejlesztői bejegyzése szerint egyetlen DGX Spark 128 GB egyesített memóriát biztosít. Négy gép 512 GB-ra, nyolc gép pedig 1 TB-ra növeli ezt a kapacitást. Ez olyan modellek futtatását is lehetővé teszi, amelyek egy négygépes rendszeren még el sem indulnának.
A vállalat példaként a Z.ai teljes GLM 5.3 modelljét említi, amely 753 milliárd paramétert tartalmaz. A teljes modell NVFP4 formátumban körülbelül 470 GB méretű. Az NVIDIA mérése szerint a GLM 5.3 Flash egy nyolcgépes klaszteren nagyjából 80 token/másodperces generálási sebességet ért el.
A teljes GLM 5.3 modellnél a mérés egy, négy és nyolc párhuzamos felhasználói kérés mellett készült. A dekódolási teljesítmény összesen 31 token/másodpercről 67 token/másodpercre nőtt, miközben az egy felhasználóra jutó érték 31-ről 18 token/másodpercre változott.
A hálózati felépítés meghatározza a sebességet
A többgépes futtatásnál a tenzorpárhuzamos következtetés jelentős része kollektív kommunikációs műveletekre, például all-reduce műveletekre fordítódik. Az NVIDIA ezért egy DGX Sparkra optimalizált hátteret is vizsgál, amelynek neve RoCEnante. Ez kapcsolóval összekötött klasztereken az alacsony konkurenciájú, kis üzenetekkel dolgozó dekódolási feladatok kommunikációs késleltetését csökkenti.
A Qwen3.8-27B NVFP4 modellen végzett mérésben a nyolcgépes, kapcsolós konfiguráció RoCEnante használatával 4,43-szoros dekódolási skálázódást ért el az egygépes rendszerhez képest. A háttér nélkül mért 3,05-szoros értékhez viszonyítva ez az NVIDIA szerint 45 százalékos javulás a skálázási hatékonyságban. A RoCEnante beolvadt a FlashInferbe, és sikertelen indítási teszt esetén automatikusan az NCCL-re vált.
A mérésben a Qwen3.8-27B dekódolási sebessége egy gépen 11,86 token/másodperc volt, nyolc gépen pedig 52,58 token/másodperc kapcsolós topológián. Négy gépnél a fizikai gyűrű 32,82, a kapcsolós konfiguráció 36,34 token/másodperces eredményt ért el.
Gyűrű vagy kapcsoló, a feladattól függ
Az NVIDIA szerint egy négygépes, közvetlenül összekötött gyűrű alacsonyabb költségű és egyszerűbben kialakítható megoldás lehet. Ennél a felállásnál az NCCL alapértelmezett gyűrűalapú algoritmusai jól illeszkednek a tenzorpárhuzamos kommunikációhoz.
A kapcsoló akkor válik szükségessé, ha a klasztert különálló csoportokra kell osztani, például két négygépes egységre, vagy ha minden csomópont közvetlen kapcsolatára építő feladatokat kell futtatni. A RoCEnante szintén csak kapcsolós topológián működik. Nagyobb klasztereknél és magasabb konkurenciánál az NVIDIA továbbra is az NCCL-t jelöli meg támogatott alapértelmezettként.
A nyolcgépes klaszterek beállítását az NVIDIA Sync segíti. Ennek Cluster Assistant eszköze a telepítést és az eszközök kezelését támogatja, a nyolcgépes klaszterek támogatása azonban az NVIDIA szerint az év végéig érkezik meg az NVIDIA Sync rendszerébe.
NVIDIA Developer: Running Frontier-Class AI Models Across 8 NVIDIA DGX Spark Nodes
