A Samsung háromdimenziós memóriával gyorsítaná az AI-rendszereket

Az AI növekvő adatigénye új memóriát követel

A Samsung Semiconductor augusztus 5-i közleménye szerint a mesterséges intelligencia a kérdésekre válaszoló generatív rendszerektől az önállóan tervező, következtető és cselekvő ügynöki AI felé halad. Ezzel párhuzamosan jelentősen nő az AI által feldolgozandó adatok mennyisége.

A hosszabb kontextusablakok és következtetési láncok miatt a rendszerek több adatot hoznak létre, miközben a korábbi beszélgetéseket és a köztes számítási eredményeket tároló KV cache mérete is növekszik. A vállalat szerint ezért egy AI-infrastruktúra teljesítményét már nem kizárólag a processzor sebessége határozza meg. Ugyanilyen fontos, hogy a rendszer milyen hatékonyan tárol nagy adatmennyiséget, és milyen gyorsan, megbízhatóan juttatja el azt az AI-gyorsítóhoz.

A Samsung bemutatott megoldásai a memória és a processzor közötti kapcsolatot, a chippek egymásra helyezését, valamint a memóriacellák felépítését is átalakítják.

A zHBM közvetlenül a processzor fölé helyezi a memóriát

A hagyományos HBM-megoldásokhoz képest a zHBM eltérő felépítést használ. A memória nem az AI-gyorsító, vagyis az xPU mellett kap helyet, hanem közvetlenül a processzor fölé kerül. A Samsung szerint a rövidebb adatút nagyobb sávszélességet és jobb energiahatékonyságot tesz lehetővé.

A technológia a Hybrid Copper Bonding, vagyis a nagy pontosságú réz-réz kötés, valamint a Multi-Wafer Bonding eljárásra épül. Utóbbi több szilíciumlapka egyetlen szerkezetté kapcsolását jelenti. A vállalat állítása szerint a két megoldás együtt gyorsítja a jelátvitelt és csökkenti a hőellenállást, így stabilabb működési környezetet hozhat létre.

A Samsung várakozása szerint a zHBM javíthatja a nagy AI-modellek tanításának és következtetésének teljesítményét, valamint gyorsabbá teheti az AI-szolgáltatások válaszait.

A zNAND-O az eszközön futó AI-t célozza

Az AI-feldolgozás egyre gyakrabban jelenik meg közvetlenül az okostelefonokon és a számítógépeken. Az ilyen használathoz olyan tárolóra van szükség, amely kis helyen is nagy teljesítményt és alacsony energiaigényt kínál.

A Samsung zNAND-O megoldása több V-NAND lapkát állít egymásra háromdimenziós tokozással és TSV-k, vagyis szilíciumon átvezető összeköttetések segítségével. A vállalat szerint ez egyszerre növeli a tárolási sűrűséget és az adatok betöltési sávszélességét.

Ennek eredményeként az AI-funkciók teljes egészében az eszközön futhatnak felhőkapcsolat nélkül. A fejlettebb modellek helyben dolgozhatják fel az adatokat, így azokat nem kell külső szerverekre küldeni, ami a Samsung szerint jelentősen javíthatja a felhasználói adatvédelmet.

A V10 BV-NAND több mint 400 rétegben tárol

A Samsung 10. generációs V-NAND technológiája, a V10 BV-NAND, több mint 400 rétegben helyezi egymásra a memóriacellákat. Így ugyanakkora alapterületen több adat tárolható. A megoldás alapja, hogy a memóriacellákat és a perifériás áramköröket külön, két eltérő lapkán gyártják le, majd nagy pontossággal összekötik.

A vállalat szerint ez csökkenti a rendkívül magas rétegszámú felépítés korlátait, és körülbelül 58 százalékkal nagyobb memória-sűrűséget biztosít a korábbi generációhoz, a V9-hez képest. A perifériás áramkörök gyártásához emellett olyan eljárást alkalmaztak, amely mérsékli működés közben az energiafelhasználást, miközben javítja a teljesítményt.

A Samsung szerint a V10 BV-NAND SSD-kben és más termékekben is használható lesz. Nagyobb kapacitást tehet lehetővé vékonyabb és könnyebb eszközökben, az adatközpontokban pedig több adat tárolását segítheti azonos helyen, alacsonyabb energiafelhasználás és kevesebb hőtermelés mellett.