Meta: zárt körös folyadékhűtés viszi el az AI-szerverek hőjét

Miért kellett váltani a léghűtésről?

Az AI-hardverek teljesítményének növekedésével a szerverek működés közben több hőt termelnek, ami a Meta szerint komoly mérnöki feladattá tette a hűtést. A hagyományos adatközpontok, például amelyek Instagram-keresésekhez vagy Facebook-bejegyzések kedveléséhez hasonló számítási feladatokat szolgálnak ki, gyakran léghűtést használnak a hardver megfelelő hőmérsékleten tartására.

A Meta cikke szerint néhány éve még az AI-hardverek hűtésére is reális megoldás volt a levegő használata. Példaként egy altoonai, iowai adatközpontot említ, ahol 16 Nvidia H100-ból álló rackszekrényeket teljesen léghűtéssel tartottak megfelelő hőmérsékleten, minimális vízhasználattal. A víz ebben az esetben csak a folyamat elején, melegebb hónapokban a levegő hűtésére szolgált, közvetlenül nem jutott el a hardverhez.

Az újabb AI-hardvertervek azonban a Meta szerint hatékonyabb hűtési módszert igényelnek. A vállalat állítása alapján a legújabb, AI-ra optimalizált adatközpontjainak többsége zárt körös folyadékhűtést használ, mert ez erőforrás- és infrastruktúra-szempontból is hatékony módja a GPU-szerverek hűtésének.

Hogyan működik a zárt körös folyadékhűtés?

A zárt körös folyadékhűtés lényege, hogy egy vízből és glikolból álló hűtőközeg halad át a szerverhardveren, és elvezeti a hőt a rackszekrényektől. A folyadékot ezután nem engedik ki a létesítményből, hanem hőcserélőkön pumpálják át, amelyek elvezetik és átadják a hőt. Amikor a hűtőközeg lehűlt, visszakerül a szerverekhez, így a folyamat folyamatos körforgásban zajlik.

A Meta szerint ugyanazt a víz és glikol keveréket újra és újra felhasználják a chipek hűtésére. A vállalat arra számít, hogy ezeket a hűtőközegeket akár egy évtizedig is használhatja csere nélkül.

A hőelvezetés módja az adatközpont helyétől és környezetétől is függhet. Ha a Meta olyan létesítménybe telepít folyadékhűtéses berendezést, ahol az épületben nincs kiépített folyadékhűtési infrastruktúra, Air-Assisted Liquid Cooling nevű rendszert alkalmaz. Ez olyan rackszekrényekből áll, amelyekben szivattyúk és hőcserélők működnek, vagyis a nagyobb épületszintű rendszerhez hasonló feladatot látnak el, kisebb és elosztottabb léptékben.

A vállalat egy gyakori félreértésre is reagált: állítása szerint az AI-adatközpontok nem automatikusan nagy vízfogyasztók. A vízhasználat a hűtési kialakítástól függ. A Meta szerint a zárt körös rendszer lezárt körben keringeti a vizet, ezért folyamatos működés mellett nagyon keveset használ belőle. A cég azt írja, hogy egy tipikus, zárt körös folyadékhűtést és száraz hűtőket használó, AI-ra optimalizált adatközpont évente kevesebb vizet fogyaszt, mint néhány teljes kiszolgálású étterem.

Több GPU ugyanakkora helyen

A Meta szerint a folyadékhűtés nem csak a vízhasználat miatt fontos, hanem a rackszekrények és az adatközpontok belső terének hatékonyabb kihasználása miatt is. Ha ugyanezeket a szervereket levegővel próbálnák hűteni, a cikk szerint valószínűleg közel kétszer akkora szervertálcára lenne szükség a szükséges léghűtési berendezések miatt.

Ez nagyobb tálcát jelentene változatlan számítási kapacitás mellett, és a Meta szerint idővel csökkenő megtérüléshez vezetne a mind nagyobb léghűtéses megoldásoknál. A közvetlenül chipre vezetett, zárt körös folyadékhűtés ezzel szemben lehetővé teszi, hogy a mérnökök több GPU-t helyezzenek el ugyanakkora szerverrackben. Ennek következménye, hogy kevesebb rackszekrényre lehet szükség, és egy azonos méretű létesítmény nagyobb kapacitást tud kiszolgálni anélkül, hogy több helyet foglalna el.

A Meta a hűtési infrastruktúra egy részét iparági szinten is megosztja. A cikk az Open Compute Projecthez köti ezt a gyakorlatot, amelyet 2011-ben alapítottak nyílt forrású hardveres és szoftveres kezdeményezésként, adatközponti infrastruktúra hatékonyabbá, skálázhatóbbá és fenntarthatóbbá tételére. A Meta 2025-ben jelentette be az IcePack nevű, folyadékhűtéses hálózati rackplatformot, amelyet ingyenesen, nyíltan oszt meg az Open Compute Projecten keresztül.

Megérkezett a megerősítéses tanulás a hűtéshez

A Meta mérnökei a hűtési rendszerek tervezésében és működtetésében megerősítéses tanulással is kísérleteztek. A vállalat szerint egy adatközpont hűtése nem merül ki abban, hogy beállítanak egy hőmérsékletet, majd magára hagyják a rendszert. Változnak az időjárási körülmények, az adatközpont környezete, a szerverek terhelése és ezzel együtt a hűtési igény is.

A cég mérnökei ezért fizikaalapú adatközpont-szimulátort építettek, hogy ne éles adatközponton kelljen próbálgatniuk a döntéseket. A szimulátor olyan változókat modellez, mint az időjárás, a szerverterhelés és a hűtőberendezések viselkedése. Ebben a biztonságos környezetben a megerősítéses tanulási modell különböző döntéseket tesztelhet, és megtanulhatja, hogyan csökkenthető a szükséges hűtés úgy, hogy a szerverek továbbra is az optimális működési tartományban maradjanak.

A Meta szerint ez már nem kísérleti fázisban van. Egy pilot során az egyik adatközpontban a megerősítéses tanuláson alapuló megközelítés átlagosan 20 százalékkal csökkentette a léghűtés befúvó ventilátorainak energiafogyasztását, miközben különböző időjárási körülmények között 4 százalékkal mérsékelte a vízhasználatot. A forrás szerint ezt a módszert azóta a Meta flottájának léghűtéses adatközpontjaira is kiterjesztették.

Mit jelent ez a felhasználóknak és a piacnak?

A Meta bejelentése azt mutatja, hogy az AI-infrastruktúra skálázásában a számítási teljesítmény mellett a hűtés is kulcskérdéssé vált. A vállalat leírása alapján a zárt körös folyadékhűtés egyszerre kezeli a hőelvezetést, a helyigényt és a folyamatos vízhasználatot az újabb GPU-szervereknél.

A felhasználók ebből közvetlenül annyit érzékelhetnek, hogy a nagy AI-rendszerek mögött egyre összetettebb adatközponti infrastruktúra dolgozik. A piac számára pedig a Meta nyíltan megosztott megoldásai, köztük az IcePack, azért lehetnek fontosak, mert a vállalat az Open Compute Projecten keresztül más szereplők számára is hozzáférhetővé teszi bizonyos adatközponti terveit.