Az NVIDIA szerint 24 százalékkal több token fér el ugyanakkora keretben
Az NVIDIA két példán keresztül mutatta be, hogyan növelhető az AI-adatközpontok teljesítménye változatlan energia-keret mellett. A Lambda tesztjében 24 százalékkal nőtt a tokenátvitel, az Emerald AI rendszere pedig automatikusan egy megawattal csökkentette egy AI-gyár fogyasztását.
- A Lambda tesztjében 24 százalékkal nőtt a teljes fürt tokenátvitele.
- A DSX MaxLPS használatával a teljesítmény wattonként 23 százalékkal javult.
- Az Emerald AI Conductor négy megawattról háromra csökkentette a fogyasztást automatikusan.
- A Silicon Valley Power több mint 200 keresletválasz-jelet küldött az AI-gyárnak.
- Az NVIDIA szerint a DSX Flex első dedikált kereskedelmi telepítése egy 96 megawattos virginiai AI-gyár lesz.
Több token ugyanabból az energia-keretből
Az NVIDIA szeptember 15-i beszámolója szerint a Lambda felhőszolgáltató validálta először a DSX MaxLPS működését NVIDIA HGX B200 GPU-szervereken, telepítési környezetben. A szoftver figyeli a GPU-k és a rackek energiafogyasztását, majd a munkaterhelés típusa alapján átcsoportosítja a rendelkezésre álló teljesítménykeretet a csomópontok között.
A Lambda egy öt rackből és 19 csomópontból álló fürtön futtatta a rendszert. A 19 csomópontot ugyanabba az energia-keretbe illesztették, amelyben korábban 16 csomópont működött teljes teljesítménnyel. A tokenátvitel így nagyjából másodpercenként 4 millióról 5 millióra emelkedett, ami 24 százalékos javulást jelentett a teljes fürtre vetítve. A wattokra vetített teljesítmény 23 százalékkal javult.
Az NVIDIA előrejelzése szerint a DSX MaxLPS megfelelő telepítési környezetben akár 40 százalékkal több GPU-kapacitást tehet lehetővé a következő generációs Vera Rubin NVL72 AI-gyárakban, változatlan megawattos energia-keret mellett. Ez a szám a vállalat előrejelzése, nem a Lambda tesztjének eredménye.
Az AI-gyár a hálózati terheléshez is alkalmazkodik
Az NVIDIA egy másik példája a kaliforniai Santa Clarához kapcsolódik. Egy augusztusi estén a Silicon Valley Power jelezte, hogy az AI-gyárnak módosítania kell az energiafogyasztását, miközben a légkondicionálás terhelése megemelkedett. Az Emerald AI Conductor platformja automatikusan reagált a hálózati állapotra.
A rendszer előre meghatározott fontossági sorrend alapján lassította vagy későbbre ütemezte az alacsonyabb prioritású feladatokat, miközben a fontosabb következtetési munkák tovább futottak. Az energiafelhasználás négy megawattról háromra csökkent, kezelői beavatkozás nélkül. Az NVIDIA közlése szerint a Silicon Valley Power azóta több mint 200 keresletválasz-jelet küldött az AI-gyárnak, és a megoldás minden alkalommal működött.
Az NVIDIA Eos AI-gyára az Emerald AI Conductor rendszerét a Silicon Valley Power Flexible Load Interconnect Programjában használja. A vállalat ezt az első olyan kereskedelmi közüzemi programként írja le, amely az AI-gyárakat vezérelhető erőforrásként kezeli. A Conductor egy percen belül válaszol a jelzésekre.
A DSX a teljes infrastruktúrát célozza
Az NVIDIA szerint az energia az AI-gyárak egyik fő korlátja, ezért nem elég külön-külön gyorsítani a GPU-kat vagy javítani az adatközpont egyetlen részét. A DSX platform a hálózatot, a hűtést, a vízhatékonyságot, az épület kialakítását és a munkaterhelések kezelését is lefedi.
A DSX Flex első dedikált kereskedelmi telepítése a vállalat szerint a virginiai Manassasban készül. Ez egy 96 megawattos Vera Rubin AI-gyár lesz az NVIDIA AI Factory Research Centerében, és öt, két kontinensen végrehajtott korábbi bemutatóra épül.
Az NVIDIA emellett a 800 voltos egyenáramú architektúrát is beépíti referencia-terveibe. A vállalat célja a teljesítményátalakítás összetettségének csökkentése, az energiaellátás hatékonyabbá tétele és a nagyobb sűrűségű gyorsított számítási rackek támogatása. A bejelentés alapján a felhasználók és az üzemeltetők számára ez azt jelentheti, hogy a meglévő energia-keretekből több hasznos számítási munka hozható ki, miközben az AI-gyárak a hálózati terheléshez is rugalmasabban alkalmazkodhatnak.
