Az NVIDIA BlueField az agentikus AI infrastruktúráját célozza

Az infrastruktúra az inference részévé válik

Az NVIDIA Developer július 16-i bejegyzése szerint egyetlen agentikus AI-kérés több modellhívást, eszközhívást, memórialekérdezést, szabályellenőrzést, tárolási hozzáférést és hálózati adatátvitelt indíthat el, mielőtt megszületik a végső válasz. A munkafolyamatok ezért a GPU-k és CPU-k mellett memóriát, hálózatot, tárolást és biztonsági szolgáltatásokat is érintenek.

A GPU-k az inference során tokeneket generálnak, miközben a CPU-k az ügynök futtatási környezetét vezérlik. Ide tartozik az eszközök végrehajtása, a keresési eredmények feldolgozása, a promptok előkészítése, a kimenetek ellenőrzése és a következő lépések koordinálása.

Az NVIDIA külön kiemeli a KV cache szerepét. Ez az előfeldolgozás során létrejövő köztes figyelmi állapotot tárolja, amelyet a rendszer több gondolkodási lépésen vagy kérésen keresztül újra felhasználhat. Ha a GPU-memória elfogy, a cache kiürítése és újraszámítása, a kontextus hosszának korlátozása vagy az állapot más memóriaszintre helyezése késleltetési, teljesítménybeli vagy költségbeli kompromisszumokkal járhat.

A BlueField-4 feladatai és műszaki alapjai

A BlueField platform a hálózati, tárolási, biztonsági, telemetriai és vezérlési síkhoz biztosít dedikált feldolgozást. Az NVIDIA szerint a rendszer az infrastruktúrafeladatokat leválasztja a gazdagépek CPU-iról, gyorsítja az adatmozgatást, és közvetlenül érvényesíthet szabályokat.

A BlueField-4 DPU legfeljebb 800 Gb/s sebességű Ethernet- vagy InfiniBand-kapcsolatot, 64 magos NVIDIA Grace CPU-t, nagy sávszélességű LPDDR5X memóriát, PCIe Gen6 csatolót, valamint hálózati, tárolási, biztonsági és adatmozgatási gyorsítást integrál. A vállalat közlése szerint a BlueField-3-hoz képest kétszeres hálózati sávszélességet, legfeljebb 6-szor nagyobb számítási teljesítményt, négyszeres memóriakapacitást és több mint háromszoros memória-sávszélességet kínál.

A Vera BlueField-4 STX Storage Processor az NVIDIA CMX kontextusmemória- és AI-natív tárolási környezetéhez készült. A megoldás NVIDIA Vera CPU-t, NVIDIA ConnectX-9 SuperNIC-et, legfeljebb 1,6 Tb/s Spectrum-X Ethernet-kapcsolatot, nagy teljesítményű NVMe-tárolási hozzáférést, gyorsított adatmozgatást és hardverbe épített biztonságot egyesít.

A DOCA programozható réteget ad a hardverhez

Az NVIDIA DOCA szoftveres alapot biztosít a BlueField és a ConnectX által gyorsított infrastruktúraszolgáltatások létrehozásához és üzemeltetéséhez. A platform könyvtárakon és mikroszolgáltatásokon keresztül teszi programozhatóvá az infrastruktúrafeldolgozási tartományt.

A vállalat szerint a fejlesztők, üzemeltetők és független szoftvergyártók egységes módon építhetnek és működtethetnek olyan szolgáltatásokat, amelyek többek között a KV cache újrafelhasználását, a több bérlő elkülönítését, a tárolási metaadatokat, a torlódásvezérlést és a biztonságos üzembe helyezést kezelik.

A BlueField az NVIDIA Vera Rubin platformján és a vállalat DSX architektúrájában a GPU-számítás, a CPU-szintű végrehajtás, a hálózat, a tárolás és a biztonság között biztosít infrastruktúrafeldolgozást. Az NVIDIA állítása szerint ez nagyobb GPU-kihasználtságot, kiszámíthatóbb késleltetést, erősebb elkülönítést, alacsonyabb tokenenkénti költséget és wattanként több tokent tehet lehetővé.