NVFP4
A jó NVFP4-kvantálás kulcsa a rétegenként eltérő pontosság
A jó minőségű NVFP4-kvantálás során nem minden modellréteget azonos pontossággal kezelnek. A Baseten három megközelítést ismertet annak eldöntésére, mely rétegek…
Az NVIDIA szerint akár 7-szer gyorsítható a multimodális kiszolgálás EPD-vel
Az NVIDIA Developer 2026. szeptember 9-én ismertette, mikor érdemes encode-prefill-decode, azaz EPD szétválasztást használni multimodális modellek kiszolgálásához. A cég…