A vLLM már az első napon támogatja a Mistral Large 4-et

Összetett modellarchitektúrához készült támogatás

A vLLM október 29-én közölte, hogy a Mistral Large 4 támogatása már a modell megjelenésének napján bekerült a platformba. A Mistral új, kevert szakértős, natív multimodális modellje a DeepSeek megoldásaihoz hasonló ritka figyelmi réteget használ. Ennek része az MLA, vagyis a Multi-head Latent Attention, valamint a lekérdezésenként kiválasztott 2048 kulcsot használó DSA indexelő.

A modell 72 rétegből áll, 128 útválasztott szakértővel és egy megosztott szakértővel. A tokenenként aktivált szakértők száma négy. A teljes paraméterszám 1 billió, ebből tokenenként 49 milliárd aktív, a beágyazási és kimeneti rétegekkel együtt pedig 52 milliárd. A rejtett méret 6144, a figyelmi rétegekben pedig 64 fej található.

A Mistral Large 4 több új architekturális elemet is használ, köztük a rétegek közötti KV-megosztást, a NoPE-rétegeket, az SSMaxot és a LeRoPE-ot. A modellhez beépített DSpark spekulatívdekódoló-jelölt, valamint a Pixtral látóenkóder is tartozik. Ez utóbbi képes képeket, egy kérésben akár több képet is feldolgozni.

Teljesítmény, memória és hardveres támogatás

A vLLM tájékoztatása szerint a DSpark körülbelül 2,9 tokent fogad el lépésenként, és TP8 konfigurációban nagyjából kétszeres kimeneti átvitelt biztosít. A dekódolás és a feltöltés párhuzamosítása hosszú kontextusnál is fontos: a dekódolási kontextus párhuzamosítása, vagyis a DCP, TP8 mellett körülbelül 7,9-szeresére növeli a KV-kapacitást. A DCP és a prefill kontextus párhuzamosítása együtt legfeljebb 1,6-szeresére csökkenti az első tokenig eltelt időt.

A támogatás FP8 és NVFP4 formátumú ellenőrzőpontokat tartalmaz. Az NVFP4 változat a forrás szerint a multimodális, hosszú kontextusú, ügynöki kódolási, üzleti automatizálási és kiberbiztonsági teszteken minden feladaton legfeljebb 2,1 ponttal maradt el az FP8-tól, az átlagos eltérés pedig mínusz 0,3 pont volt. A tokenfelhasználás átlagosan körülbelül 4 százalékon belül maradt.

Az NVFP4 TP8 mellett spekulatív dekódolás nélkül tokenenként 1,08 és 1,19 közötti, DSpark használatával pedig 1,18 és 1,22 közötti gyorsulást ért el az FP8-hoz képest. A vLLM szerint emellett körülbelül másfélszer nagyobb KV-gyorsítótárat tart. A támogatás AMD Instinct MI350 sorozatú, ROCm-alapú GPU-kon is elérhető, beleértve a DSparkt, a képbemeneteket és az MXFP4 szakértőkkel végzett szakértői párhuzamosítást.

Konténerből indítható, többféle futtatási móddal

A Mistral Large 4 támogatása a vllm/vllm-openai:mistral-large-4 Docker-képfájlban érhető el, amely a mistral-common 1.13 csomagot is tartalmazza. A vLLM példája szerint az FP8 modell nyolc GPU-n futtatható tensor párhuzamosítással, három spekulatív token beállításával. Az NVFP4 változat Blackwell GPU-kon négy GPU-val indítható, nyolc GPU esetén pedig nyolcas tensor párhuzamosítás használható.

A példaparancsok automatikus eszközválasztást, valamint Mistral-alapú eszközhívás- és következtetés-elemzést is bekapcsolnak. Hosszú kontextushoz a --decode-context-parallel-size 8 kapcsoló használható, amely a látens KV-gyorsítótárat osztja szét a nyolc rang között. Ehhez az alapértelmezett FP8 KV-gyorsítótár szükséges. Több képet tartalmazó kérésekhez a képek maximális számát külön paraméterrel lehet megadni.

A háttérben a modell a vLLM Model Runner V2 futtatójára és megszakítható CUDA-grafikonokra épül, ezért torch.compile nélkül működik. A vLLM szerint a CUDA-grafikonok körülbelül hatszoros gyorsulást adtak az eager módhoz képest. A fejlesztés közben általános javítások készültek a dekódolási és prefill kontextus-párhuzamosításhoz, a DSparkhoz, a NIXL-alapú szétválasztott kiszolgáláshoz és a gazdamemóriás, ritka KV-offloadhoz is.