DeepGEMM
Fejlesztőknek
A Helion gyorsíthatja a vLLM LLM-inferenciáját NVIDIA GPU-kon
A PyTorch Helion-alapú lineáris backendet integrált a vLLM-be, hogy automatikus hangolással javítsa a nagy nyelvi modellek következtetési teljesítményét. Az NVIDIA…
Az NVIDIA ModelExpress felgyorsítja a nagy AI-modellek betöltését
Az NVIDIA ModelExpress a modell súlyainak mozgatását gyorsítaná azzal, hogy mindig a leggyorsabb elérhető forrást választja. A rendszer a már működő példányok…