Az NVIDIA Vera gyorsabb adattárolási feldolgozást ígér AI-rendszerekhez

A tárolás is terhelést kap az ügynökalapú AI-ban

Az NVIDIA bejegyzése szerint az adattárolás aktív része minden ügynökalapú AI-munkafolyamatnak. Amikor az AI-ügynökök vállalati tudást kérnek le, tartós memóriához férnek hozzá, kulcsérték gyorsítótáradatokat használnak újra, eszközöket futtatnak vagy új eredményeket állítanak elő, a tárolórendszereknek folyamatosan ki kell szolgálniuk és meg kell őrizniük az adatokat.

A vállalat szerint egy ügynöki lépés több tárolási műveletet is elindíthat, ezek pedig több ezer párhuzamos ügynöknél ismétlődhetnek, miközben a kontextusablakok mérete nő. Az NVIDIA arra hívja fel a figyelmet, hogy a tárolási útvonalon nem elég az alapvető olvasás és írás: íráskor tömörítés, titkosítás, ellenőrzőösszeg-számítás és redundanciaszámítás történhet, olvasáskor pedig validálás, visszafejtés, kitömörítés vagy adat-helyreállítás előzheti meg azt, hogy az alkalmazás megkapja az adatot.

A blog szerint ezek a funkciók az AI-rendszerek biztonsága és ellenálló képessége szempontjából fontosak, ugyanakkor CPU-feldolgozást igényelnek. Az NVIDIA állítása szerint a gyorsabb SSD-k és hálózatok sem tudják teljesen kihasználni a bennük lévő lehetőséget, ha az adatot biztosító, védő és előkészítő processzor nem tart lépést velük.

Mit hoz a Vera BlueField-4 STX Storage Processor

Az NVIDIA a Vera BlueField-4 STX Storage Processort az AI-natív adatplatformokhoz szánt NVIDIA STX alap egyik kulcselemeként írja le. A megoldás a Vera CPU teljesítményét közvetlenül a tárolási adatútvonalba viszi, ugyanazt az architektúrát használva, amelyet a vállalat szerint az NVIDIA Rubin GPU-k kiszolgálására terveztek.

A Vera CPU 88, NVIDIA által tervezett Olympus CPU-magot tartalmaz, amelyek kompatibilisek az Armv9.2 utasításkészlettel. A processzor 176 NVIDIA Spatial Multithreading szálat támogat. Az architektúra része az NVIDIA Scalable Coherency Fabric, valamint a SOCAMM2 LPDDR5X memória.

Az NVIDIA adatai szerint a Scalable Coherency Fabric koherens, chipen belüli adatútvonalat ad a magok, a megosztott gyorsítótár, a memóriavezérlők és az I/O között, legfeljebb 3,4 TB/s biszekciós sávszélességgel és 164 MB egységes L3 gyorsítótárral. A SOCAMM2 LPDDR5X memória-alrendszer legfeljebb 1,2 TB/s összesített memóriasávszélességet kínál, ami magonként legfeljebb 14 GB/s értéknek felel meg.

A bejegyzés szerint a tárolási alapműveletek kétféle terhelést jelentenek a CPU-nak. Egy adatfolyamon belül a titkosításnak, integritás-ellenőrzésnek, helyreállításnak, tömörítésnek és kitömörítésnek gyorsan kell lefutnia, mielőtt a következő tárolási lépés következhet. Rendszerszinten ezek a műveletek sok párhuzamos adatfolyamon futnak, és ismételten mozgatnak adatot a gyorsítótárakon és a memórián keresztül.

Titkosítás, helyreállítás és tömörítés a mérésekben

Az NVIDIA benchmarkjai szerint a Vera a tesztelt x86 CPU-hoz képest több tárolási feladatban magasabb áteresztést ért el. AES-128 titkosításban legfeljebb 1,43-szoros, visszafejtésben legfeljebb 1,29-szeres előnyt közölt a vállalat.

Reed-Solomon helyreállításban a Vera legfeljebb 3,26-szoros, CRC32C integritás-ellenőrzésben legfeljebb 3,67-szeres áteresztést mutatott a tesztelt x86 CPU-hoz képest. Tömörítésben az NVIDIA legfeljebb 3,29-szeres, kitömörítésben legfeljebb 1,72-szeres előnyt közölt.

A vállalat egy többlépcsős tárolási írási útvonalat is vizsgált: a kétlépcsős tömörítési és titkosítási folyamat a Vera CPU-n legfeljebb 3,21-szer gyorsabban futott. Az NVIDIA szerint ez azt jelzi, hogy az előny nem csak különálló műveleteknél, hanem egymásra épülő tárolási feldolgozási lépéseknél is megjelenik.

A bejegyzés szerint a nagyobb tömörítési áteresztés csökkentheti a kapacitásra és a sávszélességre nehezedő nyomást, miközben a tárolóplatformok több adatot dolgozhatnak fel és több vállalati szolgáltatást alkalmazhatnak kisebb CPU- és energiaigény mellett. Ezek az állítások az NVIDIA saját benchmarkeredményein alapulnak.

Hogyan mérte az NVIDIA a teljesítményt

Az NVIDIA szerint a közzétett mikrobencsmarkok a tárolási olvasási, írási és helyreállítási útvonalakon ismétlődő alapfunkciókat különítették el. A cél az volt, hogy a processzor hozzájárulását mérjék az olyan feladatoknál, mint a biztonságos adatmozgatás, az ellenálló képesség, a kapacitáshatékonyság és a szolgáltatássűrűség.

Minden teszt egyetlen folyamaton belül futott, memóriában lévő adatokkal. A mérések az NVIDIA leírása szerint kizárták a fájl I/O-t, a lemezteljesítményt, a hálózatot, a parancsindítási időt és a külső eszközök szűk keresztmetszeteit, hacsak a bejegyzés másként nem jelezte.

A benchmarkkészlet általánosan használt könyvtárakat alkalmazott, köztük az OpenSSL-t, a Zstandardot és az LZ4-et, valamint olyan összehasonlítható implementációkat, amelyeket az Arm és x86 processzorokon elérhető natív utasítások használatára optimalizáltak. Egy célzott tesztkeretrendszer egységesen kezelte a munkaterheléseket, a pufferméreteket, a szálszámokat, a CPU-elhelyezést, az időzítést, a helyesség-ellenőrzést és az eredmények gyűjtését.

Az NVIDIA azt írja, hogy az eredmények reprodukálhatók a forráskód, szkriptek, rögzített szoftververziók, konfigurációk és eredményfájlok segítségével, ugyanakkor a teljes benchmarkkészlet nem dobozos, nyilvános benchmark.

Mit jelenthet ez az AI-natív tárolóknak

A közölt eredmények alapján az NVIDIA a Verát olyan CPU-architektúraként pozicionálja, amely az AI-számítás és a tárolás oldalán is azonos alapot adhat. A vállalat szerint ez azért fontos, mert az ügynökalapú AI-ban az alkalmazások válaszkészségét és a tokenek előállítását a tárolási adatútvonal lassú lépései is korlátozhatják.

A felhasználók és az infrastruktúra-üzemeltetők szempontjából a bejelentés fő üzenete az, hogy az NVIDIA szerint a CPU-oldali tárolási feldolgozás gyorsítása nélkül a gyors hálózatok és SSD-k sem feltétlenül elegendők. A Vera BlueField-4 STX Storage Processor célja, hogy a titkosítás, ellenőrzés, helyreállítás és tömörítés nagyobb párhuzamosság mellett se váljon arányosan nagyobb CPU-, energia- és hűtési igénnyé.