Helion
Fejlesztőknek
A Helion gyorsíthatja a vLLM LLM-inferenciáját NVIDIA GPU-kon
A PyTorch Helion-alapú lineáris backendet integrált a vLLM-be, hogy automatikus hangolással javítsa a nagy nyelvi modellek következtetési teljesítményét. Az NVIDIA…
FejlesztőknekA Hugging Face Kernels projekt már a Helion keretrendszert is támogatja
A Hugging Face Kernels projekt már támogatja a Heliont, így a fejlesztők hordozható, nagy teljesítményű gépi tanulási kerneleket készíthetnek, hangolhatnak és…