A vLLM már az első napon támogatja a MiniMax-M3.1-Flash modellt

Hatékonyabb következtetés az MSA-val

A MiniMax-M3.1 a MiniMax-M3 modellcsalád új tagja, amely a vLLM közleménye szerint a következtetési, kódolási, ügynökalapú és vizuális feladatokban is fejlődést kínál. A modell a MiniMax Sparse Attention, vagyis MSA nevű ritkított figyelmi megoldást használja. Ez a teljes figyelem helyett blokkokra osztja a kulcsérték-gyorsítótárat, majd a legfontosabb blokkokon futtatja le a fő figyelmi műveletet.

A gyorsítótár 128 tokenes blokkokból áll. Az indexelő minden kontextusbeli kulcsot értékel, majd a rendszer a legjobb 16 blokkot választja ki, miközben a legutóbbi blokk mindig megmarad. Így egy lekérdezés legfeljebb 2048 kulcson dolgozik, függetlenül a kontextus hosszától.

A MiniMax-M3.1 NVFP4 formátumú KV-cache-re lett betanítva, és a kevert szakértős modell, vagyis MoE súlyai is NVFP4 formátumúak. A modell ellenőrzőpontjának mérete 451.5 GB-ról 250.1 GB-ra csökken a korábbi MiniMax-M3-MXFP8 változathoz képest, ami 44.6 százalékos mérséklődés. Az NVFP4 KV-cache tokenenként 34,560 bájtot használ az FP8 61,440 bájtjával szemben.

NVIDIA és AMD GPU-kon is elérhető

A vLLM a támogatást már a modell megjelenésének napján biztosítja NVIDIA Blackwell és Rubin GPU-kon, valamint AMD MI350-series gyorsítókon. Blackwellen a rendszer a CUDA 13.4-ben megjelent QMUL4 utasítást használja az NVFP4 adatok FP8 formátumra alakításához. A vLLM mérései szerint ez az indexelő QK dekódolását akár 1.7-szeresére, a ritkított figyelem dekódolását pedig akár 1.3-szeresére gyorsítja.

A vLLM NVFP4 MegaMoE megoldása MXFP8 megosztott szakértőfúziót és korábbi TMEM-felszabadítást is alkalmaz. Ez a közlemény szerint 20 százalékkal csökkenti a kernel késleltetését előfeldolgozáskor, miközben 7 százalékkal növeli az előfeldolgozási áteresztőképességet.

Az indexelő dekódolási kontextus-párhuzamosítása 512K hosszúságú kontextusnál, négy NVIDIA GB300 GPU-n, akár 3.3-szeres gyorsulást adhat ritkított rétegenként. A QKV GEMM, a normalizálás, a RoPE és a KV-cache-be írás összevonása 512 vagy több tokenből álló előfeldolgozási kötegeknél 1.1 és 1.6 közötti gyorsulást eredményezhet, a P50 TTFT pedig TP4 konfigurációban körülbelül 19 százalékkal csökkenhet.

Spekulatív dekódolás és ügynökalapú kiszolgálás

A MiniMax-M3.1-Flash DSpark draft modellt használ spekulatív dekódoláshoz. A vLLM ehhez a FlashInfer PrimiTS backendjét integrálta, amely a közlemény szerint 1.3 és 2 közötti arányban gyorsabb a FlashAttention 4-nél, miközben a teljes előrefelé irányuló számítási idő 5 százalékkal alacsonyabb.

Az ügynökalapú kiszolgálási mérésekben NVIDIA GB300 GPU-n felhasználónként akár 418.9 token/másodpercet, NVIDIA Rubin hardveren akár 724.9 token/másodpercet és GPU-nként 191.5K teljes token/másodpercet jelöl meg a vLLM. AMD MI355X esetében a SemiAnalysis AgentX benchmarkon akár 133.3M teljes token jutott egy dollár teljes birtoklási költségre.

A támogatás a közlemény szerint a veRL, az FSDP2 és a LoRA használatával végponttól végpontig tartó megerősítéses tanulást is lefedi az NVFP4 ellenőrzőponton.

Elérhetőség és használat

A vLLM előre elkészített konténereket kínál mindkét gyártóhoz. NVIDIA GPU-khoz a vllm/vllm-openai:minimax-m31-flash, AMD GPU-khoz pedig a vllm/vllm-openai-rocm:minimax-m31-flash képfájl használható. A modell ellenőrzőpontja a MiniMaxAI/MiniMax-M3.1-Flash néven érhető el.

A PyPI nightly csomagban a modell csak a kód felülvizsgálata és a fő fejlesztési ágba történő beolvasztása után jelenik meg. A vLLM szerint ez általában körülbelül egy hetet vesz igénybe. A támogatás így elsősorban azoknak a fejlesztőknek fontos, akik a MiniMax-M3.1-Flash nagy teljesítményű kiszolgálását szeretnék elindítani NVIDIA vagy AMD gyorsítókon, miközben a kvantált gyorsítótár és a ritkított figyelem csökkentheti a memóriaigényt.