A Samsung új memóriarchitektúrákkal gyorsítaná az edge AI-t

A memória az AI-rendszerek teljesítményének része lett

A Samsung Semiconductor szeptember 2-án közzétett elemzése szerint a memória szerepe megváltozik az AI korszakában. Korábban elsősorban a számításokhoz szükséges adatok tárolása és továbbítása volt a feladata, az AI-rendszerekben viszont a teljesítmény és az energiahatékonyság egyik meghatározó tényezőjévé válik.

Az edge AI-eszközökben egyszerre van szükség nagy kapacitásra, magas sávszélességre és alacsony fogyasztásra. A memóriának korlátozott helyen kell több adatot tárolnia, elég gyorsan kell kiszolgálnia az xPU-kat, és mérsékelnie kell az adatmozgatás energiaigényét.

A Samsung szerint a felhőalapú és az eszközoldali AI párhuzamos bővülése új lehetőségeket teremt a memóriapiacon. A felhőben a nagyméretű modellek tanítása és a nagy teljesítményű következtetés szerverekbe szánt, nagy kapacitású és nagy sávszélességű memóriát igényel. Az edge környezetben a valós idejű következtetés és a személyre szabott adatfeldolgozás új eszközformákhoz és fogyasztási feltételekhez igazított megoldásokat kíván.

A zHBM közelebb helyezi egymáshoz a processzort és a memóriát

A zHBM a Samsung által bemutatott, következő generációs 3D-memóriaarchitektúra. A hagyományos HBM 2,5D-s felépítésben, egy szilícium-interposzeren helyezi el egymás mellett a memóriát és az xPU-t. A zHBM ezzel szemben közvetlenül, függőlegesen integrálja az xPU-t és a HBM-et.

A megoldás wafer-on-wafer integrációt és HCB-t, vagyis hibrid rézkötést használ. Ez közvetlen réz a rézhez kapcsolatokat, nagyobb függőleges összeköttetési sűrűséget és nagyobb párhuzamosságot tesz lehetővé a Samsung leírása szerint. Az elosztott I/O-architektúra több I/O-csatorna között osztja el az adatútvonalakat, így a cél a nagyobb sávszélesség és energiahatékonyság elérése a jelenlegi adatátviteli sebesség túlzott növelése nélkül.

A rövidebb adatút gyorsabb adatátvitelt és kisebb adatmozgatási energiaigényt eredményezhet. A függőleges elrendezés ugyanakkor hőkezelési kihívást is okoz, mivel az xPU által termelt hőnek át kell jutnia a memóriarétegen. A Samsung a verem magasságának és szerkezetének optimalizálásával, valamint HCB alkalmazásával csökkentené a hőellenállást.

A zHBM-et a cég szerint nem lehet teljesen önálló memóriatermékként optimalizálni. Az xPU-t és a zHBM-et már a tervezés korai szakaszában együtt kell fejleszteni, mert a processzorok teljesítmény-, fogyasztási, hőkezelési és méretigényei eltérhetnek.

LPDDR-PIM és zNAND-O az eszközoldali AI-hoz

Az LPDDR-PIM a feldolgozást közvetlenül a memóriába helyezi át. A PIM, vagyis a memórián belüli feldolgozás révén bizonyos számításokat nem kell újra és újra az xPU-hoz továbbítani. Ez csökkentheti az adatmozgatásból eredő szűk keresztmetszeteket és fogyasztást, miközben javíthatja az ismétlődő adatfeldolgozást végző AI-feladatok következtetési teljesítményét.

A zNAND-O nagy teljesítményű, nagy kapacitású NAND-memóriát kombinál 3D-s tokozással. A Samsung ezt új adatszintként pozicionálja a DRAM és a hagyományos NAND-tároló között. Több NAND-lapka függőleges integrációjával növelné a kapacitást és az I/O-teljesítményt korlátozott helyen, miközben a hagyományos NAND-nál gyorsabb hozzáférést és jobb energiahatékonyságot céloz.

A zNAND-O a DRAM-nál nagyobb bit-sűrűséget kínálhat, a hagyományos NAND flashhez képest pedig javíthatja az olvasási teljesítményt és az energiahatékonyságot. A Samsung mikroszekundumos késleltetést és nagy sávszélességet céloz vele. Az általa javasolt NPU-központú architektúrában az operációs rendszer és a KV-cache DRAM-ban, a nagy méretű, olvasásintenzív modell-súlyok pedig zNAND-O-ban kapnának helyet.

A felhő és az edge együtt alakítja a memóriapiacot

A Samsung értelmezése szerint az AI nem egyszerűen a felhőből az eszközökre költözik. A nagyméretű felhőszámítás és a valós idejű, személyre szabott edge AI egymást erősíti. Az eszközökön létrehozott adatok javíthatják a felhőben fejlesztett modelleket, a felhőben készült modellek pedig optimalizálva visszakerülhetnek az edge környezetekbe.

Ez a megközelítés a cég szerint új memóriaszinteket és architektúrákat tehet szükségessé AI-munkaállomásokban, AI PC-kben és más, korlátozott hellyel vagy fogyasztási kerettel rendelkező rendszerekben. A teljesítmény javításához a memória, a logika, az interfészek és a tokozás együttes tervezésére van szükség. A Samsung az ismertetett megoldásokat saját memória-, logikai, foundry- és fejlett tokozási képességeire épülő fejlesztési irány részeként mutatta be.