BlueField-4-re épül az NVIDIA új Scale-In hálózati infrastruktúrája

Ötödik pillér az NVIDIA AI-hálózatában

Az NVIDIA a Scale-In infrastruktúrát az NVIDIA AI networking ötödik pilléreként írja le. A vállalat szerint a hagyományos felhős infrastruktúrát kiszámítható, általános célú terhelésekhez és szabványos interfészekhez tervezték, míg az agentic AI-gyárak sokféle felhasználót, ügynököt, alkalmazást, adatforrást és tárolórendszert kapcsolnak össze nagy mértékben gyorsított számítással.

A Scale-In feladata az észak-déli hálózati hozzáférés továbbfejlesztése egy összehangolt infrastruktúra-tartománnyá az AI-gyáron belül. Az NVIDIA megfogalmazása szerint ez a tartomány a hozzáférés, a biztonság, az adatmozgatás és az infrastruktúra-üzemeltetés gyorsítását célozza.

A bejelentésben az NVIDIA öt infrastruktúra-pillért különít el. A Scale-Up esetében az NVIDIA NVLink kapcsolja össze a GPU-kat koherens gyorsítóként. A Scale-Out szerepét az NVIDIA Spectrum-X Ethernet és az NVIDIA Quantum InfiniBand tölti be a szerverek összekapcsolására. A Scale-Across az NVIDIA Spectrum-XGS Ethernetre épül az elosztott AI-gyárak között. A Context Memory területén az NVIDIA CMX, az NVIDIA STX moduláris alapjára építve, megosztott KV-cache tárolást ad a gyáron belül. Az új Scale-In pillérben az NVIDIA BlueField-4, az NVIDIA DOCA és az NVIDIA Spectrum-X Ethernet gyorsítja az AI-számítást körülvevő hozzáférési, biztonsági, adatmozgatási és üzemeltetési feladatokat.

Mit vállal a BlueField-4 a szerverek mellett

A BlueField-4 az NVIDIA leírása szerint hosttól független infrastruktúra-feldolgozást biztosít. A rendszer 64 magos NVIDIA Grace CPU-t, beágyazott gyorsítómotorokat és 800 Gb/s hálózati interfészt használ a biztonsági, adatmozgatási és üzemeltetési feladatok vonalsebességű kezelésére.

Az NVIDIA szerint a külön infrastruktúra-feldolgozási tartomány azért fontos, mert a biztonsági szabályok, a szolgáltatásállapot és a telemetria kezelése így nem a bérlői host CPU-tól függ, és nem annak erőforrásait fogyasztja. A vállalat azt írja, hogy a szoftver hozza meg az infrastruktúra-döntéseket, míg az inline motorok helyben érvényesítik ezeket anélkül, hogy a munkát vissza kellene adni a host CPU-nak.

A közlemény külön említi az NVIDIA Vera Rubin NVL72 rendszert. Ebben az NVIDIA ConnectX-9 SuperNIC-ek viszik a bérlői munkaterhelések forgalmát a Scale-Out hálózaton, míg a BlueField-4 futtatja és gyorsítja azokat az infrastruktúra-szolgáltatásokat, amelyek az egyes szerverek csatlakoztatását, védelmét és kezelését végzik.

A BlueField-4 részeként a 64 magos NVIDIA Grace CPU szabályzatkezelési, kiépítési, telemetriai és infrastruktúra-orkesztrációs szoftvereket futtat. Az NVIDIA állítása szerint ez hatszor több számítási kapacitást ad, mint az elődje, így több infrastruktúra-szolgáltatás párhuzamos futtatását teszi lehetővé. Az inline gyorsítómotorok csomagokat, RDMA-t, tárolási protokollokat, titkosítást, tűzfalszabályokat és házirend-érvényesítést dolgoznak fel, legfeljebb 800 Gb/s sebességen.

DOCA, Spectrum-X és elkülönített vezérlés

A Scale-In szoftveres rétegét az NVIDIA DOCA adja. A forrás szerint a DOCA konténerizált mikroszolgáltatásokon és SDK-kon keresztül programozza a Scale-In szolgáltatásokat, és egységes működési modellt kínál a hálózat, a biztonság, a tárolás és a telemetria kezelésére BlueField-4 rendszereken.

A hálózati kapcsolódást az NVIDIA Spectrum-X Ethernet biztosítja a Scale-In hozzáférési útvonalon. Az NVIDIA szerint a Spectrum-X Ethernet torlódáskezeléssel és teljesítmény-elkülönítéssel támogatja az egyenletesebb tárolási és hozzáférési áteresztőképességet, beleértve a külső tárolókat és adatforrásokat is.

A bejelentés az NVIDIA BlueField Astrát is megnevezi, amely a megbízható vezérlést az észak-déli hozzáférés felől a kelet-nyugati Scale-Out hálózati szövet felé terjeszti ki. Az NVIDIA szerint az Astra egységes, hosttól független vezérlési pontot ad a szolgáltatóknak a kiépítéshez, a bérlői elkülönítéshez és a hálózati házirendekhez mindkét tartományban. A BlueField-4 telepíti és frissíti a szabályzatokat, valamint figyeli a telemetriát, a ConnectX-9 pedig közvetlenül az adatútvonalon érvényesíti ezeket.

Mire használható a Scale-In

Az NVIDIA több felhasználási területet sorol fel a Scale-In infrastruktúrához. Ezek közé tartoznak az elkülönített AI-gyári virtuális privát felhők a DOCA Host-Based Networking segítségével, a hardveresen érvényesített biztonság a DOCA Argus és a DOCA Vault révén, valamint a DPU-n natívan futó vezérlősík-orkesztráció a DOCA Platform Frameworkkel.

A vállalat emellett gyorsított tárolóhozzáférést említ, amely saját összefoglalója szerint akár 1,45-szörös teljesítményt adhat a készen kapható Ethernethez képest. A flotta szintű megfigyelhetőséget a DOCA Telemetry szolgálja.

A Scale-In az AI-gyári és vállalati adatokat köti össze az AI-számítással, míg a CMX a gyáron belüli kontextust őrzi meg és osztja meg a gyorsabb és hatékonyabb következtetés érdekében. Az NVIDIA szerint a GPU-k, rackek és adatközpontok skálázása akkor ad értéket, ha az adathozzáférés, a tárolás, a kiberbiztonság és az üzemeltetés is együtt skálázódik velük.

Mit jelent ez az AI-infrastruktúrát építőknek

A bejelentés alapján az NVIDIA a Scale-Innel azt a problémát célozza, hogy az AI-gyárakban a számítási kapacitás növekedésével a hozzáférés, a biztonság, az adattárolás és az üzemeltetés is szűk keresztmetszetté válhat. A megoldás lényege, hogy ezek a feladatok külön, hosttól független gyorsított tartományba kerülnek, BlueField-4 DPU-val, DOCA szoftveres modellel és Spectrum-X Ethernet kapcsolattal.

A felhasználók és szolgáltatók szempontjából ez egységesebb kontrollt jelenthet a hozzáférés, az adatmozgatás, a biztonság, a kiépítés és a megfigyelhetőség felett. Az NVIDIA szerint a cél a biztonságosabb és hatékonyabb megosztott AI-infrastruktúra, amelyben az AI-szolgáltatásokhoz és adatokhoz való hozzáférés a kereslet növekedése mellett is következetes marad.