A vLLM új módszere 200 milliárd paraméter feletti videómodelleket céloz
A vLLM-Omni új Distributed Layerwise Offload megoldása olyan videógeneráló modellek futtatását célozza, amelyek egyetlen eszköz nagy sávszélességű memóriájába sem férnek be. A rendszer a súlyokat több GPU vagy NPU között osztja szét, miközben a modellnek egyszerre csak két rétege kerül az eszközmemóriába.
- A Distributed Layerwise Offload több GPU vagy NPU között futtat nagy videómodelleket.
- Az eszközökön egyszerre legfeljebb két réteg súlya található.
- Cosmos3-Nano DP4 esetén a hidegindítási csúcsmemória 178 GB-ról 47 GB-ra csökkent.
- A négy rangú adatpárhuzamos futtatás 3,3-szoros áteresztőképességet ért el az egykéréses HSDP-hez képest.
- Az AllGather gyorspéldákhoz vLLM 0.27.0 és vLLM-Omni v0.27.0rc1 vagy újabb szükséges.
A nagy modellek problémája
A vLLM 2026. augusztus 17-én bemutatott technikája elsősorban a vLLM-Omni videógeneráló modelljeihez készült. A bejegyzés példaként a Cosmos3-Super modellt említi, amely 64 milliárd paramétert és BF16 formátumban 124 GB-nyi súlyt tartalmaz. Ez nem fér el egyetlen, 64 GB HBM-mel rendelkező eszközön.
A hagyományos megoldásoknak különböző korlátaik vannak. A HSDP esetében a Cosmos3-Super körülbelül 31 GB súlyt, valamint hozzávetőleg 25 GB aktivációs és kommunikációs puffert igényel kártyánként, így nagyjából 56 GB foglalt memóriával csak 8 GB tartalék marad. A hagyományos, rétegenkénti offloadolás közben minden rang a teljes modellt a gazdagép memóriájában tárolhatja. Négy eszköznél ez a 124 GB-os modell esetében 496 GB-ot jelent.
Négy technika együtt csökkenti a memóriaigényt
A Distributed Layerwise Offload négy, egymásra épülő megoldást használ. A metaeszközös inicializálás és az mmap-alapú súlybetöltés során a súlyok az operációs rendszer megosztott lapgyorsítótárára mutató nézetekként jelennek meg. Így a modell betöltésekor nem jön létre minden rangnál külön, teljes másolat.
A vLLM mérése szerint Cosmos3-Nano DP4 konfigurációban a hidegindítás csoport által látható csúcsmemória-igénye 178 GB-ról 47 GB-ra csökkent, ami 73 százalékos visszaesés. A kiinduló értékből 132 GB-ot a privát modellmásolatok, 33 GB-ot a megosztott lapgyorsítótár, körülbelül 13 GB-ot pedig a keretrendszer és az átmeneti adatok tettek ki.
A súlyfelosztásnál minden rang csak a modell 1/dp_size részét tárolja, a teljes réteg súlyait futás közben AllGather művelettel állítják össze. Az átvitel és a számítás dedikált adatfolyamokon átfedhető. A rögzített, kétpufferes előbetöltés miatt egy eszközön egyszerre pontosan két réteg súlya található, függetlenül a modell teljes rétegszámától. A HBM teljes igénye ettől még függ a legnagyobb blokktól, az aktivációktól és a kommunikációs pufferektől.
Mérések GPU-kon és NPU-kon
A bejegyzés szerint a megoldás NVIDIA GPU-kon, CUDA és NCCL használatával, valamint Ascend NPU-kon, CANN és HCCL segítségével is működik. A vLLM-Omni platformabsztrakciós rétege teszi lehetővé ezt a platformfüggetlenséget.
A 720p felbontású, 10 másodperces munkaterhelésben a csúcshasználat a 17 milliárd paraméteres modell 23,1 GB-os értékéről a 64 milliárdos modellnél 28,1 GB-ra nőtt. Ez körülbelül 22 százalékos emelkedés. Üresjáratban a memóriaigény 11,5 GB-ról 14,6 GB-ra, körülbelül 27 százalékkal emelkedett.
Az adatpárhuzamos működésben minden rang külön kérést dolgoz fel. Négy rang esetén a vLLM 3,3-szoros áteresztőképességet mért az egyetlen kérést feldolgozó HSDP-hez képest, ami az ideális négyszeres skálázás körülbelül 83 százaléka.
Az Ascend 910B3 rendszeren végzett DLO és AllGather mérésekben a Cosmos3-Nano és a Cosmos3-Super minden vizsgált konfigurációban helyes videókimenetet adott. A csoport által látható gazdagép-memória a modellméret és a dp_size-szal szorzott állandó összegének megfelelően skálázódott, a dp_size és a modellméret szorzata helyett.
Elérhetőség és konfigurációk
Az AllGather gyorspéldákhoz a vLLM 0.27.0 és a vLLM-Omni v0.27.0rc1 vagy újabb verzió szükséges. A vLLM-Omni a Cosmos3-Nano négy GPU-n vagy NPU-n történő futtatását, illetve a 124 GB-os Cosmos3-Super két eszközön történő használatát is példaként adja meg.
Az alapértelmezett működésben a súlyok fel vannak osztva. A --dlo-no-use-allgather kapcsoló kikapcsolja ezt, ilyenkor tisztán adatpárhuzamos konfigurációban minden rang teljes modellmásolatot tölt be. Ez akkor lehet hasznos, ha az AllGather szinkronizációs költsége nagyobb a memóriamegtakarításból származó előnynél. A vLLM-Omni 0.26.0 verziójában a Cosmos3 DLO és DP útvonal minden kérést elutasított, ezt a problémát a #5864 javítás kezeli.
A nyolc B300-as konfiguráció három vizsgált MiniMax-H3 útvonala közül az AllGather bizonyult a legjobbnak DP1×SP8 késleltetésnél és a DP4×SP2 kiegyensúlyozott ponton. DP8×SP1 esetén a rangonkénti DLO 183,78 videó/órás értéket és 43,97 Wh/videó energiaigényt ért el.
