A CoreWeave-en már futtatható a Moonshot AI Kimi K3 modellje

Saját súlyokkal indítható a Kimi K3

A CoreWeave október 22-i bejelentése szerint a Kimi K3 telepítése ugyanúgy zajlik, mint más egyedi modelleké. Az ügyfél először feltölti a modell súlyait és a DSpark vázmodellt a CoreWeave AI Object Storage tárhelyére, majd hozzáférést ad a Dedicated Inference számára.

Ezután létrehozható a modellt közzétevő átjáró és a kiválasztott GPU-osztályra, valamint futtatókörnyezetre épülő telepítés. A CoreWeave elkülönített ügyfélkörnyezetben működő átjárót biztosít, amely kezeli a hitelesítést, a terheléselosztást és az útválasztást. A szolgáltatás a kiválasztott GPU-k között ütemezi a telepítést, az elkészült végpont pedig minimális és maximális replikaszám alapján automatikusan skálázható.

A számlázás a választott GPU-osztály szerint GPU-óránként történik, további bejövő vagy kimenő adatforgalmi díj nélkül. A CoreWeave ugyanakkor nem biztosít Kimi K3-súlyokat és licencet. Az ügyfélnek érvényes licenccel kell rendelkeznie, és a telepítés előtt át kell tekintenie a Moonshot AI licencfeltételeit.

2,8 billió paraméteres, szakértőkeveréses modell

A CoreWeave leírása szerint a Kimi K3 egy 2,8 billió paraméteres, szakértőkeveréses, vagyis mixture-of-experts architektúrára épülő nyílt forrású modell. A vállalat a jelenleg elérhető legnagyobb nyílt forrású modellként mutatja be, amelynek eredményei közel kerülnek más vezető laboratóriumok szabadalmaztatott rendszereihez.

A közlemény az Artificial Analysis augusztusi Intelligence Index értékét is kiemeli: a Kimi K3 ezen a reasoning, kódolási és tudásfeladatokat vizsgáló, független mérésen 60 pontot ért el. Az LMArena Frontend Code Arena rangsorában a második helyen állt, és a vak fejlesztői összevetésben csak a Claude Opus 5 Max előzte meg.

A modell egymillió tokenes kontextusablakkal, natív vizuális értelmezéssel és folyamatosan bekapcsolt gondolkodási móddal érkezik. Utóbbihoz a Moonshot AI két saját fejlesztésű technikát használ: a Kimi Delta Attention hibrid lineáris figyelmi mechanizmust és az Attention Residuals megoldást, amely a hagyományos reziduális kapcsolatokat váltja ki.

A GB300 nagyobb terhelés mellett is skálázódott

A CoreWeave a Kimi K3-at NVIDIA GB200 és GB300 NVL72 rendszereken, egyaránt 16 GPU-val tesztelte, 1 és 32 felhasználó közötti párhuzamos terhelés mellett. A mérés többfordulós, eszközhívásokat használó ügynöki munkafolyamatokat modellezett, miközben a gyorsítótár találati aránya végig 95 százalék volt.

A vállalat szerint a GB300 a 32-es párhuzamosságig folytatta a skálázódást, és GPU-nként 198 000 token/perc teljesítményt ért el. Ugyanilyen terhelésnél a GB200 64 000 token/perc értéket produkált, így a GB300 eredménye 209 százalékkal magasabb volt. A GB200 149 000 token/perc sebességnél tetőzött a 16-os párhuzamosságon, ezt követően a teljesítménye jelentősen visszaesett.

A GB300 a CoreWeave méréseiben 4 és 32 közötti párhuzamosságnál alacsonyabb p50 elsőtoken-késleltetést biztosított, a GB200-hoz képest 23, 32, 18, illetve 97 százalékos csökkenéssel a négy vizsgált szinten. A szolgáltató ezt a GB300 nagyobb HBM-kapacitásával és további AI-számítási kapacitásával magyarázza.

A kiszolgálási réteg is a nagy modellekhez igazodik

A Kimi K3 futtatásához a CoreWeave az NVIDIA Dynamo infrastruktúraréteget és a vLLM futtatókörnyezetet használja. A megoldásba a vLLM csapata, a Moonshot AI és az NVIDIA optimalizációi is bekerültek. Egy telepítés legalább két GB300 NVL72 csomóponton, összesen nyolc GPU-n fut, így egy NVL72 rack legfeljebb kilenc replikát képes kiszolgálni.

A rendszer több rackre is kiterjeszthető, miközben az egyes replikák egyetlen NVLink-tartományhoz vannak kötve. A KV-gyorsítótárat figyelembe vevő útválasztás a korábban használt előtaggal rendelkező replikákhoz küldi vissza a lekérdezéseket. A CoreWeave emellett spekulatív dekódolást, valamint a bemeneti feldolgozás és a tokenenkénti dekódolás külön skálázását is támogatja.

Ez a felhasználók számára kész, terhelésre skálázható végpontot jelenthet anélkül, hogy saját kiszolgálási infrastruktúrát kellene felépíteniük. A modell súlyainak és licencének biztosítása továbbra is az ügyfél feladata.