Az NVIDIA NVHBM memóriával bővíti az NVLink Fusion platformot

A memória is a rendszertervezés középpontjába kerül

Az NVIDIA közleménye szerint az AI következő hulláma új igényeket támaszt az infrastruktúrával szemben. A vállalat úgy fogalmaz, hogy az AI-ügynökök és a billió paraméteres terhelések terjedésével az AI-infrastruktúra teljesítménye már nem csak a számítási kapacitástól függ, hanem attól is, hogyan tervezik együtt a számítást, a memóriát, a tárolást, a hálózatot és a szoftvert egységes rendszerként.

Erre válaszul bővíti az NVIDIA az NVLink Fusiont az NVHBM technológiával. Az NVHBM célja, hogy nagyobb memóriateljesítményt és jobb hatékonyságot adjon az XPU-khoz, vagyis az olyan egyedi feldolgozóegységekhez, amelyeket a hyperscaler cégek és AI-fejlesztők saját infrastruktúráikhoz terveznek.

Az NVIDIA szerint a technológiát vezető memóriapartnerek validálják és kínálják majd, így az NVLink Fusion ügyfelei több szolgáltatón keresztül férhetnek hozzá ugyanahhoz az előre meghatározott NVHBM-megvalósításhoz.

A vezérlő az HBM-rétegbe kerül

A hagyományos HBM-architektúráknál a memóriavezérlő az XPU lapkáján található, ami értékes szilíciumterületet foglal el a számítási egységek elől. Az NVIDIA leírása alapján az NVHBM más megközelítést alkalmaz: a vállalat saját memóriavezérlőjét az HBM alaplapkájába integrálja, a 3D HBM stack részeként.

Az NVIDIA szerint ez a felépítés a standard HBM4E-hez képest legfeljebb 30% nagyobb memória-sávszélességet, 15% alacsonyabb HBM energiafogyasztást és legfeljebb 25% több szabad területet biztosít az XPU számítási lapkáján. A vállalat azt is közölte, hogy az NVHBM ugyanarra a technológiára épül, amelyet a jövőbeli NVIDIA GPU-kban is használni fog.

A szabványosított NVHBM-megvalósítás a közlemény szerint csökkenti azt a mérnöki munkát, amely a memória több beszállítón keresztüli integrálásához és minősítéséhez szükséges. Ez gyorsabb utat adhat az NVLink Fusion ügyfeleinek az egyedi AI-chipek piacra viteléhez.

Az Amazon Annapurna Labs lesz az első együttműködő partner

Az NVIDIA közölte, hogy az Amazon Annapurna Labs lesz az első partner, amely az NVHBM-en dolgozik a szélesebb, NVLink Fusion köré épülő együttműködés részeként. A vállalat az NVHBM technológián és az NVLink scale-up architektúrán dolgozik majd az NVIDIA-val az AI-terhelések teljesítményének és hatékonyságának javítása érdekében.

A bejelentés az AWS korábban bejelentett NVLink Fusion támogatására épül. Az Annapurna Labs a következő generációs Trainium chipekkel támogatja majd az NVLink Fusiont, a Trainium4-től kezdve. Az NVIDIA szerint ez lehetővé tenné, hogy az Amazon chipjei és az NVIDIA GPU-i közös rackszintű architektúrában működjenek együtt.

„Az NVHBM új architekturális megközelítést jelent a nagy sávszélességű memória teljesítményének és hatékonyságának fejlesztésében”, mondta Nafea Bshara, az Amazon Annapurna Labs alelnöke az NVIDIA közleménye szerint. „Várjuk ezt a technológiai együttműködést, hogy az a jövőbeli AWS-infrastruktúra-terveket szolgálja.”

Mit jelent ez az egyedi AI-infrastruktúrák számára

Az NVLink Fusion célja, hogy a partnerek egyedi XPU-kat és CPU-kat kapcsolhassanak az NVIDIA rackszintű platformjához. A partnerek hozzáférhetnek az NVIDIA NVLink chipletekhez, az NVLink-C2C-hez, az NVLink Switchekhez, az NVIDIA MGX rendszerekhez és rackekhez, valamint CPU-partnerek, ASIC-tervezők, rendszergyártók és technológiai szolgáltatók ökoszisztémájához.

Az NVIDIA szerint az NVLink Fusion minden új rackszintű rendszerarchitektúra-generációval elérhető. A vállalat állítása alapján ez lehetővé teszi, hogy a hyperscalerek és az AI-native cégek mérnöki erőforrásaikat az XPU-innovációra összpontosítsák, miközben bevált technológiai stackre támaszkodnak a scale-up és scale-out hálózatok, a rackszintű rendszerek és a szoftverek terén.

A felhasználói és piaci hatás ebből a forrás alapján főként az AI-infrastruktúrát építő nagyvállalatoknál jelentkezhet: az NVHBM a memória integrációját, az NVLink Fusion pedig az egyedi chipek nagyobb rendszerbe illesztését teheti gyorsabbá és alacsonyabb kockázatúvá.