A vLLM már az első napon támogatja a Reflection Beam modellt
A vLLM már a megjelenés első napjától támogatja a Reflection Beam 501 milliárd paraméteres MoE modelljét. A fejlesztők NVIDIA Blackwell GPU-kra optimalizálták a futtatást, és a DFlash2 segítségével egyetlen kérésnél 708 token/másodperces sebességet mértek.
- A Reflection Beam 501 milliárd paraméteres MoE modell, tokenenként 23 milliárd aktív paraméterrel.
- A vLLM támogatja a következtetést, az eszközhívást, a strukturált kimenetet és többféle párhuzamosítást.
- A Blackwell-optimalizáció a batch-1 dekódolást 8,95-ről 3,30 milliszekundumra gyorsította TP8 mellett.
- A DFlash2-vel egyetlen kérésnél 708 token/másodpercet mértek.
- 128-as konkurenciánál az adaptív ellenőrzés 10,8 százalékkal növelte a kimeneti teljesítményt.
Teljes vLLM-támogatás a Beamhez
A Reflection Beam egy 501 milliárd paraméteres, kevert szakértős modell, amely tokenenként 23 milliárd aktív paraméterrel dolgozik. A vLLM közlése szerint a támogatás teljes körű: a következtetés, az eszközhívás és a strukturált kimenet azonnal használható, a modell pedig tenzor-, adat- és szakértői párhuzamosítással is futtatható.
A Beam 52 rétegű MoE-dekóder, 5120-es rejtett mérettel. A figyelmi rétegek hibrid felépítésűek: 43 réteg az utolsó 512 tokenre kiterjedő, RoPE-pozíciókódolást használó ablakos figyelmet alkalmaz, kilenc réteg pedig a teljes kontextust kezeli pozíciókódolás nélkül. A kilenc teljes figyelmi réteg miatt a kulcs-érték gyorsítótár mérete is kisebb. A vLLM számítása szerint ez tokenenként 36 KiB BF16, illetve 18 KiB FP8 formátumban, egy teljes, egymillió tokenes kontextusnál pedig körülbelül 18 GiB FP8 KV-gyorsítótárat jelent, a felosztás előtt.
A kódoló ügynökök gyorsították az implementációt
A vLLM első Beam-implementációja nagyrészt optimalizálatlan, csaknem tisztán PyTorch-alapú változat volt. Ezt követően kódoló ügynökökkel profilozást, kernelírást és mérési feladatokat végeztettek el. A fejlesztők hét változtatást emelnek ki, amelyek egy GB200 rendszeren, nyolcas tenzorpárhuzamosítás mellett a kötegméretes, egyes dekódolás egy lépésének idejét 8,95 milliszekundumról 3,30 milliszekundumra csökkentették.
Ugyanebben a környezetben egy 8-szor 2048 tokenes előfeldolgozás ideje 328 milliszekundumról 176 milliszekundumra esett, körülbelül 100 ezres kontextus mellett. Az optimalizációk között összevont normálási és maradékág-műveletek, egyesített Q, K, V és kapumátrix-művelet, gyorsított FP32-es útválasztó, összevont KV-gyorsítótár-frissítés és a sűrű MLP-rétegekhez készített egyedi kernel szerepel.
Nagy párhuzamosságnál a vLLM szerint az Attention DP és a MegaMoE kombinációja tovább javíthatja a teljesítményt. Négy GB300 GPU-n, 32 ezres bemeneti és egysoros kimeneti konfigurációban 168,8 ezer token/másodperc csúcsteljesítményt mértek, szemben a tenzorpárhuzamosítás 98,7 ezer token/másodperces értékével.
DFlash2 és adaptív ellenőrzés a gyorsabb dekódolásért
A Beamhez DFlash2 vázlatkészítő fej tartozik, amely a célmodell rejtett állapotaiból egy teljes tokenblokkot jelez előre, egyetlen előremenetben. A vLLM ezt a funkciót is az első naptól támogatja. A vázlatkészítő öt ablakos réteget használ, amelyek a célmodell öt rétegének rejtett állapotait olvassák, és megosztják annak beágyazását, valamint nyelvi modellfejét.
Az adaptív ellenőrzés minden lépésben megbecsüli, mely vázlattokenek ellenőrzése éri meg a számítási költséget. A vLLM méréseiben egyetlen kérésnél, nyolcas tenzorpárhuzamosítással, 708 token/másodperc sebességet értek el, 3,71-es elfogadási hosszal. 128-as konkurenciánál az adaptív módszer 16 632 token/másodperces teljesítményt adott, a rögzített ellenőrzés 15 012 token/másodpercéhez képest. Ez 10,8 százalékos növekedés, miközben a p99 TPOT értéke 9 százalékkal csökkent.
A kipróbáláshoz a vLLM a vllm/vllm-openai:reflection-beam Docker-képet ajánlja. Az alapértelmezett példa TP4-et, FP8 KV-gyorsítótárat, Beam-specifikus következtetési és eszközhívási elemzőt, valamint a Reflection Beam DFlash2 modelljét használja.
vLLM: Serving Reflection Beam on vLLM from Day 0
