Az NVIDIA bemutatta a Spectrum-6 Ethernet-rendszert a gigaskálájú AI-hoz

A hálózat vált az AI-infrastruktúra egyik kulcselemévé

Az NVIDIA július 21-i közleménye szerint az AI az úgynevezett gigaskálájú korszakba lépett. A legfejlettebb AI-gyárak több százezer GPU-t és CPU-t kapcsolnak össze, hogy élvonalbeli modelleket tanítsanak, ügynökalapú AI-rendszereket futtassanak és nagy léptékben generáljanak intelligenciát.

Ekkora rendszereknél a hálózati infrastruktúra közvetlenül befolyásolja a számítási teljesítményt és a tokenek előállításának sebességét. Az NVIDIA szerint a Spectrum-6 a vállalat következő generációs Spectrum-X Ethernet platformjának központi eleme. A rendszer célja, hogy a teljes AI-gyárat egyetlen, végponttól végpontig működő számítási rendszerként lehessen üzemeltetni.

A CoreWeave, a Microsoft, a Nebius, az Oracle Cloud Infrastructure, a SpaceXAI és a Tesla az elsők között vezetheti be a Spectrum-6-ot. A CoreWeave, a Microsoft, a Nebius és az OCI a Spectrum-6-tal kiegészített, Vera Rubin alapú infrastruktúrát is az első szolgáltatók között telepíti.

A Spectrum-6 a Vera Rubin platform része

A Spectrum-6 kapcsolóchipe a ConnectX-9 SuperNIC-kel együtt alkotja a Spectrum-X Ethernet következő generációját. A megoldást a Vera Rubin részeként tervezték, amely az NVIDIA Vera CPU-t, a Rubin GPU-t, az NVLink 6 Switch-et, a ConnectX-9 SuperNIC-et, a BlueField-4 DPU-t és a Spectrum-6 Ethernet-kapcsolót fogja össze.

A rendszer támogatja a cserélhető és a tokozásba integrált optikai megoldásokat is. A Spectrum-6 termékváltozatai folyadékhűtéssel is használhatók, így az NVIDIA szerint az AI-gyár teljes infrastruktúrájára kiterjedő hűtési megközelítés alakítható ki, miközben javulhat a hálózat energiahatékonysága.

A platform intelligens kapcsolókat, ConnectX-9 SuperNIC-eket és teljes hálózati szoftverréteget egyesít. A vállalat állítása szerint a rendszer folyamatosan optimalizálja az adatforgalom útvonalát, kiegyensúlyozza a terhelést az elérhető útvonalak között, gyorsan megkerüli a hibákat, és helyreállítja azokat az adatokat, amelyek nem érnek célba.

Nagyobb összehangolás több tízezer GPU között

A gigaskálájú tanítási és következtetési feladatokban több ezer gyorsító cserél folyamatosan adatot. Az úgynevezett kollektív kommunikációk a GPU-k munkáját hangolják össze, és nagy mennyiségű, rendszerek közötti adatforgalmat okoznak. Az NVIDIA szerint a hagyományos Ethernetet eredetileg vállalati alkalmazásokhoz és a felhasználók, szerverek, valamint tárhelyek közötti forgalomhoz tervezték, ezért a gigaskálájú AI sajátos kommunikációs mintáihoz külön optimalizációra van szükség.

A vállalat szerint a Spectrum-X Ethernet a kereskedelmi forgalomban elérhető Ethernethez képest akár 1,6-szor nagyobb AI-hálózati teljesítményt nyújt, és 100 000 GPU-nál nagyobb telepítésekben akár 95 százalékos hálózati hatékonyságot tart fenn. A hardveresen gyorsított, több síkot használó topológiák 1,7-szeresére csökkenthetik az adatközpontokhoz szükséges kapcsolók számát.

Az NVIDIA további állítása szerint a Spectrum-X Ethernet Photonics 5-ször nagyobb energiahatékonyságot és tízszer jobb, incidensek közötti átlagos üzemidőt kínál. A nyílt hálózati operációs rendszerek és több RDMA-átviteli modell támogatása közben az AI-infrastruktúra építői rugalmasabban választhatják meg a környezetüket. A felhasználók számára ez a vállalat értelmezése szerint gyorsabb modellbetanítást, gyorsabb következtetési szolgáltatásokat és hatékonyabb működést jelenthet nagy léptékű telepítésekben.