DeepSeek-R1
NVIDIA: alig lassult a titkosított DeepSeek-R1 futtatás B200 GPU-kon
A nagy nyelvi modellek érzékeny adatokon végzett inferenciájához az NVIDIA szerint úgy adható hardveres védelem, hogy közben a teljesítményveszteség mérsékelt marad. A…
Rekordszámú résztvevővel érkezett az MLPerf Inference v6.1
Az MLPerf Inference v6.1 minden korábbinál szélesebb mezőnyt hozott, 30 szervezet összesen 120 rendszert nevezett. A szeptember 17-i elemzés szerint a fordulóban az…
Az NVIDIA Vera Rubin NVL72 akár 3,7-szer gyorsabb a GB300-nál
Az NVIDIA Vera Rubin NVL72 rendszerének első MLPerf Inference szereplése jelentős teljesítményelőnyt mutatott a GB300 NVL72-höz képest. A vállalat szerint Qwen3-VL alatt…
A SambaNova szerint a gyorsabb AI-inferenciához a rendszer számít
Az AI-ügynökök több tokent generálnak, ezért az inferencia nagy részét a memóriakorlátos dekódolás teszi ki. A SambaNova a Hot Chips 2026 konferencián az SN50 RDU…
Az Arm júliusi fejlesztései az AI-infrastruktúrától a robotikáig érnek
Az Arm júliusi technológiai összefoglalója az AI-infrastruktúra, a helyi mesterséges intelligencia, a robotika és a chipletes rendszerek újdonságait gyűjtötte össze. A…
Az NVIDIA szerint a modelltervezés is kulcs a hosszú kontextushoz
Az NVIDIA szerint a hosszú kontextusú és ügynöki feladatok terjedésével a figyelemmechanizmus egyre nagyobb részt képvisel a következtetés idejéből. A vállalat négy…