NVIDIA Hopper
Az AWS új MoE-optimalizációkkal gyorsítja a SageMaker AI-t
Az AWS két optimalizációt mutatott be a Mixture-of-Experts modellekhez használt fused MoE műveletek gyorsítására az Amazon SageMaker AI környezetében. A fejlesztések az…
FejlesztőknekA Helion gyorsíthatja a vLLM LLM-inferenciáját NVIDIA GPU-kon
A PyTorch Helion-alapú lineáris backendet integrált a vLLM-be, hogy automatikus hangolással javítsa a nagy nyelvi modellek következtetési teljesítményét. Az NVIDIA…