A Samsung közvetlenül az AI-chipekre építené a következő HBM-et

Az AI-rendszerekben egyre fontosabb az adatmozgatás

A Samsung október 29-én bemutatott zHBM-koncepciója az AI-rendszerek növekvő memóriaigényére adna választ. Az inferencia, a következtetési feladatok, a hosszú kontextus feldolgozása és az ügynökalapú mesterséges intelligencia terjedésével a rendszereknek egyre nagyobb mennyiségű adatot kell elérniük és feldolgozniuk.

A több generált token és a nagyobb KV-gyorsítótárak nagyobb terhet rónak a memóriára. A Samsung szerint emiatt a teljesítmény egyre inkább attól is függ, milyen gyorsan és hatékonyan mozognak az adatok a rendszerben. A nagyobb sávszélesség elérését közben az adatátvitel energiaigényének és hőtermelésének kordában tartásával kell megoldani.

A hagyományos HBM-architektúrákban a memória az AI-chip mellett helyezkedik el. A zHBM ezzel szemben közvetlenül a processzorra építené a memóriát, közvetlen háromdimenziós integrációval és elosztott I/O-architektúrával.

Sűrűbb függőleges kapcsolatok, rövidebb adatútvonalak

A zHBM egyik alapját a memória és a számítási egység közötti nagyobb kapcsolatsűrűség adja. A Samsung a Wafer-on-Wafer, vagyis ostya ostyán történő rétegezését a Hybrid Copper Bonding technológiával kombinálná. Ez finom osztásközű, közvetlen réz-réz kapcsolatokat tesz lehetővé.

A Through Silicon Via, vagyis a szilíciumon átvezető függőleges összeköttetések méretének és osztásközének csökkentése egy adott területen belül több függőleges kapcsolat kialakítását segítheti. Az elosztott I/O-architektúrával együtt ezek az összeköttetések nagyobb párhuzamosságot biztosíthatnak az adatátvitelben.

Így több adat mozoghat egyszerre, miközben a sávszélesség növelése kevésbé támaszkodik az egyes kapcsolatok egyre nagyobb adatsebességére. A közvetlen rétegezés egyben lerövidíti az adat útját is. A Samsung szerint ez csökkentheti a meghajtók szükségletét, valamint a kapcsolati áramkörök terhelését és az adatátvitelhez szükséges energiát.

A hőkezelés és a közös tervezés kulcskérdés

A memória és a számítási egység közvetlen egymásra helyezése új hőkezelési problémákat is felvet. Ha a memória közvetlenül az AI-chip fölött található, a processzor által termelt hőnek a memóriahalmazon keresztül kell távoznia felfelé. A Samsung ezért a rétegmagasság optimalizálását vizsgálja, hogy egyensúlyt teremtsen a memóriasűrűség és a hőteljesítmény között.

A vállalat szerint a stabil működéshez a rétegek felépítését, az összeköttetések sűrűségét és a hő útját együtt kell megtervezni. A hőkezelés így a rendszer szintű integráció egyik központi eleme.

A zHBM szorosabb kapcsolatot teremt a memória és az AI-chip között, ezért a két terület fejlesztését már a korai szakaszban össze kell hangolni. Az egyes AI-chipek eltérő teljesítmény-, energiafogyasztási, hőkezelési és fizikai méretbeli követelményei miatt változhat a szükséges sávszélesség, kapacitás, az összeköttetések elhelyezése és a rétegezés felépítése.

A Samsung a memória-, logikai, gyártástechnológiai és fejlett tokozási képességeit egyesítve kíván zHBM-megoldásokat fejleszteni. A vállalat célja, hogy ügyfeleivel és ökoszisztéma-partnereivel közösen, az egyes AI-chipek teljesítmény-, energia-, hőkezelési és architekturális igényeihez igazítsa a technológiát. A közlemény szerint ez a megközelítés az AI-rendszereken belüli memória és számítás közötti kapcsolat közös optimalizálását szolgálja.