Az NVIDIA szerint a tárolás is kulcsszerepet kap az AI-infrastruktúrában

A memóriahatárok miatt nő a tárolás szerepe

Az NVIDIA közlése szerint az AI növekvő adatigénye miatt egyre nagyobb adatkészletekre és olyan kontextusablakokra van szükség, amelyek túlnyúlnak a rendszermemória korlátain. A vállalat szerint erre nem elég egyszerűen több tárolókapacitást hozzáadni: olyan biztonságos és hatékony tárolási architektúrákra van szükség, amelyek képesek hasznos, megalapozott felismeréseket kiszolgálni az AI-gyárak számára.

A terhelés azért is nő, mert az AI-ügynökök nagy mennyiségű adatot fogyasztanak, miközben a GPU-k már közvetlenül is indíthatnak tárolási kéréseket. Az NVIDIA szerint ez akár több ezer párhuzamos műveletet jelenthet, miközben a tárolórendszereknek folyamatosan titkosítaniuk, tömöríteniük, ellenőrizniük és helyreállítaniuk kell az adatokat. Ezek a szolgáltatások szűk keresztmetszetté válhatnak, ha egyszerre több ezer ügynök fér hozzá a tároláshoz.

A vállalat egy technikai blogban kiemelt mérésekre hivatkozva azt állítja, hogy az NVIDIA Vera CPU, amely az NVIDIA Vera BlueField-4 STX része, akár 3,21-szer nagyobb átviteli teljesítményt nyújt egy x86 CPU-nál egy kétlépcsős tömörítési és titkosítási folyamatban. Az NVIDIA értelmezése szerint ez azt jelenti, hogy a Vera hatékonyabban tudja kezelni az AI-adatáradatot, nagyobb átvitelt biztosítva lényegesen kevesebb számítási infrastruktúrával.

Nyílt forrásúvá válnak a cuFile API-k

Az FMS konferencián az NVIDIA bejelentette, hogy nyílt forrásúvá teszi a cuFile alkalmazásprogramozási interfészeket, valamint az alattuk lévő vertikális tárolási szoftverréteget. Ezek az API-k azt teszik lehetővé, hogy ne csak a CPU-k, hanem a GPU-k is közvetlenül olvassanak a tárolóból és írjanak oda.

A cuFile az NVIDIA GPUDirect Storage nyílt forrású komponense. Az NVIDIA szerint a technológia több százezer GPU-szál, gyors, nagy sávszélességű memória és más módszerek használatával mikroszekundumos nagyságrendben teszi lehetővé az adatok biztonságos elérését a tárolóból.

A vállalat szerint ez azt mutatja, hogy az iparág egy Linux-gyakorlatokra épülő, biztonságközpontú tárolási szoftverréteg felé tart, amely átjárhatóságot biztosít a GPU-k és az adatok között. Az NVIDIA azt is hangsúlyozza, hogy a gyors és biztonságos adatelérés a megelőző és felderítő kiberbiztonsági intézkedések alapja lehet, mivel az AI-alapú védelmi rendszereknek nagy sebességgel kell hozzáférniük a biztonsági kontextushoz, adatokhoz és tároláshoz.

A nyílt technológiák az NVIDIA szerint olyan kezdeményezéseket is támogatnak, mint az Open Secure AI Alliance. Ennek oldala ad otthont azoknak a hozzájárulásokra nyitott API-knak, amelyeknek a kezdeti karbantartói a Google, az Intel, az NVIDIA és a Meta, és amelyeket különböző szoftveres és hardveres platformokra lehet optimalizálni.

Storage-Next: közös szabványosítás az AI-tároláshoz

Az NVIDIA a tárolási iparág szereplőivel együtt a Storage-Next nevű kezdeményezésen is dolgozik. A vállalat által indított program tárológyártókat, vezérlőszállítókat, hőtervezési, hűtési és orchestration szereplőket, valamint szabványügyi szervezeteket fog össze. A cél annak összehangolása, hogyan kell viselkednie a GPU-k által vezérelt tárolásnak, majd ezeknek a fejlesztéseknek átjárható, nyílt iparági szabványokká alakítása.

A Storage-Next több mint 40 vezető tároló és flash gyártót foglal magában, köztük a DDN-t, a KIOXIA-t és a Micront. Az NVIDIA szerint ezek a cégek a következő generációs AI-tárolási technológiák fejlesztéséhez járulnak hozzá.

A kezdeményezés központi eleme a nagy AI-adatkészletek gyorsított elérése. Ehhez kapcsolódik az NVIDIA SCADA, vagyis a scaled, accelerated data access keretrendszer. A SCADA lehetővé teszi, hogy a masszívan párhuzamos GPU-k közvetlenül a tárolóból, saját nagy sebességű memóriájukba húzzák be csak az alkalmazás számára szükséges adatokat.

Példaként az NVIDIA a DDN-t említi, amely a SCADA-t az Infinia nevű, szoftveresen definiált, AI-natív adatinformációs platformjába integrálja. Sven Oehme, a DDN technológiai vezetője az NVIDIA közlése szerint így fogalmazott: „Az AI sikerét nem az határozza meg, hogy a szervezetek mennyi infrastruktúrát birtokolnak, hanem az, hogy mennyire produktívan használják azt.” Hozzátette, hogy az NVIDIA-val folytatott együttműködés közvetlenebb és hatékonyabb kapcsolatot segít létrehozni a GPU-k és az adatok között.

Biztonságos közvetlen hozzáférést ígér a SCADA

Az NVIDIA szerint a tárolási réteg gyorsítása biztonsági kockázatot is hordozhat. Ha egy alkalmazás közvetlenül beszélhet egy meghajtóval, az gyors, de gondatlan megvalósítás esetén más folyamatok memóriáját is felülírhatja. A vállalat ezért a SCADA-t olyan módszerként írja le, amely skálázott közvetlen hozzáférést ad, miközben elkülöníti a feladatokat.

A megközelítés lényege, hogy az alkalmazás nyers sebességet igénylő felhasználói részei a megbízható számítási bázison kívül maradnak. Egy külön, jogosultságokkal rendelkező komponens a beállítás során konfigurálja a védett hozzáférést a felhasználói alkalmazás és az engedélyezett tároló között, a Linux biztonsági érvényesítési protokolljaira támaszkodva.

A Storage-Next és a SCADA az NVIDIA korábbi AI-tárolási infrastruktúrára irányuló munkájához kapcsolódik. Ide tartozik az NVIDIA Vera BlueField-4 STX is, amelyet a vállalat moduláris, rackszintű alapként ír le az NVIDIA Vera Rubin platformmal, NVIDIA Vera BlueField-4 tárolóprocesszorokkal és NVIDIA Spectrum-X Ethernet hálózattal. Az NVIDIA szerint az STX a DOCA biztonsági szoftverréteget használja, hogy a vállalatok folyamatos házirend-érvényesítést alkalmazhassanak az AI adatútjában. A forrás említi az NVIDIA CMX Context Memory Storage megoldást is, amely AI-natív kontextusréteget ad hosszú kontextusú, többfordulós, ügynökalapú AI-következtetéshez, NVIDIA STX-re építve.

Mit jelent ez a felhasználóknak és a piacnak?

Az NVIDIA üzenete szerint az AI-infrastruktúra értékelésében a tárolás már nem puszta adatmegőrzési réteg. A gyorsított számítással aktív része lesz annak az adatútnak, amely az alkalmazásokat és az AI-gyárakat kiszolgálja.

A vállalat azt állítja, hogy a korábbi kompromisszum, vagyis mikor érdemes az adatot memóriában tartani és mikor olcsóbb, bőségesebb tárolón, ma már mikroszekundumos szinten dől el a GPU-k és az AI-tárolási megoldások mellett. Az NVIDIA szerint az AI igényei és a memóriakorlátok közötti rés csökkentéséhez az egész ökoszisztéma szoros együtttervezésére van szükség, a memória és tároló gyártóitól a rájuk épülő szoftverekig.

A felhasználók és vállalatok szempontjából a bejelentések fő ígérete a gyorsabb, biztonságosabb és átjárhatóbb hozzáférés a nagy AI-adatkészletekhez. A nyílt cuFile API-k, a Storage-Next iparági együttműködés és a SCADA keretrendszer mind azt célozzák, hogy a GPU-k hatékonyabban jussanak hozzá a szükséges adatokhoz, miközben a tárolási rétegben megmaradnak a biztonsági kontrollok.