AMD Instinct MI300X
Nullára csökkentette a train-rollout eltérést a vLLM ROCm-on
A vLLM, a vime és az RL-Kernel fejlesztői 200 egymást követő tanítási és rolloutlépésen át nulla eltérést mértek AMD Instinct MI300X GPU-kon. A Qwen3-8B kísérletben a…
A vLLM az AMD GPU-kon vizsgálta a spekulatív dekódolást
A vLLM az AMD Instinct MI300X és MI355X GPU-kon vizsgálta a spekulatív dekódolást, amely egyetlen célmodell-futtatásban több előre jelzett tokent is ellenőrizhet. A…