Az NVIDIA DSX MaxLPS több GPU-t ígér ugyanabból az adatközponti áramkeretből

Az AI-gyáraknál az energia lett a szűk keresztmetszet

Az NVIDIA fejlesztői blogján megjelent bejegyzés szerint az AI-gyárak ma már energia által korlátozott ipari rendszerek. A kérdés a vállalat megfogalmazásában nem az, hány GPU fér el egy adatközpontban, hanem az, hogy egy rendelkezésre álló megawatt mennyi AI-kimenetet képes előállítani.

A cég szerint különösen AI-inferencia esetén az alkalmazásszintű teljesítmény watt arány válik a hatékonyság kulcsmutatójává. A megawattok egy része ugyanis nem közvetlenül számításra megy el: az energiaelosztás, a hűtés, a hálózat, a tárolás, a tartalék rendszerek és az épületüzemeltetés is fogyasztanak, mielőtt az áram eljutna a GPU-kig.

Az NVIDIA egy reprezentatív energia-költségvetési nézetében a telephelyre leszállított energia mintegy 60%-a jut AI-kimenetet előállító számításra. A példaként bemutatott 100 MW-os AI-gyárban a hálózati betáplálásból 20 MW megy létesítményi rezsire, 10 MW rackveszteségre, további 10 MW pedig hibák, újraindítások és checkpointing miatti működési hatékonyságvesztés miatt nem érhető el AI-terhelésre. Így 60 MW marad AI-számításra.

Mit csinál a DSX MaxLPS és a Dynamic Power Software?

A DSX MaxLPS az NVIDIA leírása szerint chip-, hőtechnikai, rendszer- és szoftvertechnológiák együttese, amely fix energiahatáron belül próbálja maximalizálni az AI-gyárak áteresztőképességét. A MaxLPS név a Maximum Land Power Shell rövidítése, vagyis azokra a telephelyszintű korlátokra utal, amelyek egy AI-gyárat meghatároznak: a területre, a közműáramra és a fizikai épülethéjra, amely az áramellátást, a hűtést, a hálózatot és a számítási infrastruktúrát fogja össze.

A megközelítés egyik fő eleme a dinamikus energiaelosztás. A hagyományos adatközponti tervezés az NVIDIA szerint abból indul ki, hogy minden rack egyszerre is elérheti a megadott maximális fogyasztását. Ez üzembiztonsági szempontból védi a létesítményt, de a rackeket elszigetelt energiaegységként kezeli. Ha az egyik rackben marad kihasználatlan tartalék, azt a statikus modellben nem tudja átadni egy másik racknek, amely hasznos számítássá alakíthatná.

A DSX MaxLPS ezt a statikus kiosztást váltaná dinamikus energiaelosztásra a Dynamic Power Software, röviden DPS segítségével, amely jelenleg Developer Preview állapotú. A DPS az NVIDIA szerint a közműszinttől a rackeken, csomópontokon és GPU-kon át modellezi az adatközpont topológiáját. Az üzemeltetők erőforráscsoportokat, energiakereteket és szabályokat határoznak meg, majd a rendszer folyamatosan összeveti a lefoglalt energiát a tényleges fogyasztással.

Ha GPU-k vagy rackek a lefoglalt szint alatt működnek, a DPS ezt a mozgásteret elérhetővé teszi ugyanazon felügyelt csoport más részei számára. Az NVIDIA hangsúlyozza, hogy a telephely teljes energiahatára nem változik, a cél a rendelkezésre álló áram jobb kihasználása.

Szoftveres profilok és 45 °C-os folyadékhűtés

A MaxLPS nemcsak rackszinten próbálja átterelni a kihasználatlan energiát, hanem azt is optimalizálja, hogy az egyes GPU-k hogyan használják a már rendelkezésükre álló keretet. A DSX MaxLPS részei az optimalizált workload profile power solutions, röviden WPPS profilok, amelyeket az NVIDIA gyakori adatközponti üzemmódokhoz, köztük inferenciához, tréninghez, memória-korlátos és számítás-korlátos konfigurációkhoz sorol.

Ahelyett, hogy az üzemeltetők minden feladathoz külön hangolnák a teljesítményt, a memóriát, a frekvenciát és más csomóponti viselkedést, validált profilokat alkalmazhatnak. Az Application Performance and Power Manager, röviden APPM ezeket a kiválasztott beállításokat érvényesíti a részt vevő GPU-kon. Az NVIDIA szerint inferenciaszolgáltatásoknál a NVIDIA Dynamo szoftver tovább optimalizálhatja a rackek közötti teljesítmény- és energiahasználati viselkedést.

A harmadik pillér a hőtechnikai és telephelyi tervezés. A bejegyzés szerint a Vera Rubin NVL72 rackeket 45 °C-os folyadékhűtési belépő hőmérsékletű működésre tervezték. Ez lehetővé teheti, hogy a létesítmények gyakrabban használjanak szabad hűtést, kisebb mértékben támaszkodjanak hűtőgépekre, és javítsák az éves power usage effectiveness, azaz PUE értéket.

Az NVIDIA azt is írja, hogy a DSX Exchange egy nyílt forrású eseménybusz AI-gyári műveletekhez, szintén Developer Preview állapotban. Ez IT/OT eseménybuszként köti össze a DPS-t és más DSX-szolgáltatásokat épületfelügyeleti rendszerekkel, elektromos energiafelügyelettel, hűtési infrastruktúrával, hálózati interfészekkel és számítási ütemezőkkel. A MaxLPS működéséhez a DSX Exchange nem szükséges, de a vállalat szerint olyan jeleket tehet elérhetővé, mint a szezonális hűtési mozgástér vagy a létesítményi energiaesemények.

Mit jelenthet ez az üzemeltetőknek?

Az NVIDIA szerint a MaxLPS és az adatközponti energiatervezés együtt akár 40%-kal több Rubin GPU-kapacitást tehet lehetővé ugyanazon energiakereten belül Vera Rubin NVL72 AI-gyáraknál. A cég példája szerint egy 100 megawattos AI-gyárban ez 40K Rubin GPU elhelyezését jelentheti.

A gyakorlati jelentőség az, hogy az AI-gyárak üzemeltetői a forrás alapján nem pusztán több áram bekötésével növelhetik a kapacitást. A fix közmű-, terület- és épületkorlátok mellett a kihasználatlan rackszintű tartalékok visszanyerése, a munkaterheléshez igazított GPU-konfiguráció és a hűtési veszteségek csökkentése is közvetlenül befolyásolhatja, mennyi hasznos AI-munka fér bele ugyanabba az energiahatárba.