B200
A Baseten szerint akár 90 százalékkal gyorsabb lett az AI-inferencia
A Baseten egy LLM által létrehozott, egyedi inferenciamotorral akár 90 százalékkal jobb egyfolyamos dekódolási sebességet ért el a vLLM-nél. A VibeQwen nevű motor…
Az NVIDIA szerint akár 2,21-szer gyorsabb lehet az MoE-modellek tanítása
Az NVIDIA olyan módszert mutatott be biológiai alapmodellek szakértői keveréke, vagyis MoE-architektúrákra épülő változatainak tanításához, amely a vállalat…