Chord
A Novita AI új INT4 MoE-kernelt nyílt forráskódúvá tett a Kimi K2.x-hez
A Novita AI nyílt forráskódúvá tette a Chord nevű, INT4 súlyokkal működő MoE CUDA-operátort, amelyet a Kimi K2.x kiszolgálási formáihoz fejlesztettek. A vLLM mérései…
Nyílt forrású CUDA-kernellel gyorsítja a Kimi K2.x MoE futtatását a Novita
A Novita AI nyílt forrásúvá tette a Chord nevű CUDA-kernelcsomagot, amely INT4-es, W4A16 formátumú Mixture-of-Experts modellek futtatását gyorsítja Kimi K2.x…