Apple Silicon
vllm-metal érkezett az Apple chipes gépek párhuzamos kiszolgálására
A vLLM bejelentette a vllm-metal projektet, amely az Apple Silicon gépekre hozza a vLLM ütemezőjét, lapozott KV-gyorsítótárát és OpenAI-kompatibilis szerverét. A…
A CUDA optimalizációs tudást vinné át Apple chipekre a K-Search
A Berkeley kutatói a K-Search nevű keresi és optimalizálja GPU-kernelfejlesztő rendszert MLX-támogatással bővítették. A cél, hogy a CUDA ökoszisztémában felhalmozott…