Llama 3.1
A vLLM Tenstorrent-támogatást kapott, a GPU-któl eltérő működéssel
A vLLM új pluginje Tenstorrent gyorsítókat kapcsol be a nagy nyelvi modellek kiszolgálásába. A fejlesztés megtartja a vLLM OpenAI-kompatibilis felületét, miközben a…
Az Everpure FlashBlade//EXA vezeti az MLPerf Storage v3.0 tesztjeit
Az Everpure FlashBlade//EXA minden benyújtott checkpointing és KV cache mérésben első helyen végzett az MLPerf Storage v3.0 zárt divíziójában. A rendszer a legnagyobb…