A tokenenkénti költség lett az AI-adatközpontok fő mérőszáma

A tokenenkénti költség többet mér a chip teljesítményénél

A Schneider Electric szeptember 8-án közzétett elemzése szerint a tokenenkénti költség (cost per token) egy AI-kimeneti egység előállításának teljes működési költsége. A mutatóba beletartozik az energia, a hűtés, a számítás, a hálózat, a létesítmény működtetése és az üzemeltetés, elosztva az előállított tokenek teljes számával.

A vállalat szerint a generatív AI kísérleti szakaszból termelési környezetbe lépésével ez vált az AI-gyárak gazdaságosságának meghatározó kulcsmutatójává. Egy token az adatnak az a kis egysége, amelyet egy AI-modell szöveg olvasására vagy létrehozására használ. Egy kérdés megválaszolása, egy dokumentum összefoglalása vagy egy kép létrehozása is több ezer token felhasználásával járhat.

A Schneider Electric az NVIDIA legfrissebb összehasonlító méréseire hivatkozva azt írja, hogy a Blackwell GB300 NVL72 platform költsége 0,12 dollár egymillió tokenenként, míg az előző generációs Hopper HGX H200 esetében ez 4,20 dollár. Ez 35-szörös csökkenés, amelyet a vállalat szerint a számítás, a hálózat és az energiaellátás szorosabb integrációja eredményez.

A növekvő kereslet ellensúlyozza az olcsóbb tokeneket

Az alacsonyabb tokenenkénti költség önmagában nem jelenti azt, hogy az AI működtetése összességében olcsóbbá vált. Az elemzés szerint az egy tokenre jutó következtetési költség nagyjából tízszeresére csökkent az elmúlt két évben, miközben a fogyasztás több mint százszorosára nőtt.

A Schneider Electric ezt a Jevons-paradoxonnal magyarázza. Ha egy erőforrás egységnyi használata olcsóbbá válik, a kereslet a megtakarításokat meghaladó mértékben növekedhet. Emiatt az egy tokenre jutó költség javulása mellett az AI-infrastruktúra teljes költsége tovább emelkedik.

A változás az adatközpontok tervezését is érinti. A hagyományos, CPU-alapú létesítményeket 5 és 10 kilowatt közötti racksűrűségre tervezték, miközben a mai AI-képzési rackek rendszeresen meghaladják a 100 kilowattot, és egyértelmű út vezet az 1 megawattos racksűrűség felé. A Nemzetközi Energiaügynökség előrejelzése szerint a globális adatközponti villamosenergia-igény a 2024-es 415 terawattóráról 2030-ra nagyjából 945 terawattórára nőhet.

Az energiaellátás és a hűtés együtt hat a költségre

A hűtés az AI-létesítmények egyik jelentős működési költsége. A Nemzetközi Energiaügynökség szerint a hűtés és a környezetszabályozás a hatékony, nagyméretű adatközpontok teljes villamosenergia-felhasználásának nagyjából 7 százalékát, a kevésbé hatékony vállalati létesítményekben pedig több mint 30 százalékát teszi ki.

A 100 kilowatt fölé emelkedő, 1 megawatt felé tartó racksűrűségnél az energiaellátás és a hűtés már szorosan összekapcsolódik. Minden, az átalakítás során elvesző watt hővé alakul, amelyet később el is kell vezetni. Így az elektromos hatékonyság javítása egyszerre csökkenti az energiafogyasztást és a hűtési terhelést.

A Schneider Electric szerint ezért az AI-infrastruktúrát a hálózati csatlakozástól a chipig, illetve a chiptől a hűtőig egyetlen rendszerként kell kezelni. A vállalat megfogalmazása szerint „a tokenenkénti költség tervezési korlát, nem pusztán pénzügyi mutató”.

Az 800 voltos egyenáramú elosztás és a szoftver szerepe

Az elemzés szerint az iparág egyik legfontosabb változása az egyenáramú átalakítás áthelyezése az informatikai rackből egy külön energiaellátó rackbe. Az Open Compute Project Mt. Diablo specifikációja olyan architektúrát ír le, amelyben az AC-ből DC-vé alakítás egy úgynevezett sidecar rackben történik, és legfeljebb 1 megawattos sűrűséget támogat.

A Schneider Electric közlése szerint a vállalat olyan energiaellátó renceren dolgozik, amely legfeljebb 1,2 megawattos informatikai rackeket támogat. A 800 VDC-s megoldás több helyet hagyhat a számítási eszközöknek, kisebb vezetékeket és alacsonyabb elosztási veszteségeket tehet lehetővé, valamint különválaszthatja az energiaellátó berendezések és a szerverek karbantartását.

A hatékonyságot a szoftver is befolyásolja. Az EcoStruxure IT a Schneider Electric szerint rálátást ad az energiaellátásra, a hűtésre és az informatikai infrastruktúrára. Az ETAP digitális ikrei lehetővé teszik az elektromos teljesítmény modellezését és a döntések tesztelését a berendezések telepítése előtt, az NVIDIA Omniverse használatával.

A Schneider Electric értelmezésében a fejlett energiaarchitektúra kijelöli a hatékonyság felső határát, a szoftver pedig meghatározza, hogy az üzemeltetés mennyire közelíti meg ezt a szintet. Ez a tervezési megközelítés az AI-adatközpontok üzemeltetői számára közvetlenül összekapcsolja az infrastruktúra döntéseit az AI-kimenetek előállításának költségével.