DeepSeek V4 Pro
A vLLM szerint az ügynöki terhelésekhez új kiszolgálási stratégia kell
Az ügynöki mesterségesintelligencia-terhelések miatt a vLLM a teljes kiszolgálási veremet optimalizálja, a gyorsítótár-kezeléstől a párhuzamosításon át a kérések…
Frissített súlyokkal fut a DeepSeek V4 Pro a Vercel AI Gateway-en
A DeepSeek V4 Pro frissített súlyai alapértelmezetté váltak a Vercel AI Gateway-en. A meglévő kérések automatikusan ezeket használják, így a fejlesztőknek nem kell…
Az NVIDIA szerint a wattok döntik el az AI-infrastruktúra versenyét
Az AI-infrastruktúrában a teljesítmény wattonként határozza meg, hogy egy adott energiafelhasználás mellett mennyi token állítható elő, és mekkora bevétel érhető el. Az…