Az NVIDIA szerint három tényező növeli az AI-gyárak megtérülését
Az NVIDIA szerint az AI-gyárak beruházásainak megtérülését három tényező határozza meg: a termelési kapacitás, a hardver hasznos élettartama és a kereslet. A vállalat saját platformját produktívnak, tartósnak és széles körben használhatónak írja le.
- Egy megawattos AI-gyár költsége nagyjából 60 millió dollár.
- Az NVIDIA három megtérülési tényezőt emel ki: kapacitás, élettartam és kereslet.
- A Vera Rubin NVL72 az NVIDIA szerint több mint 30-szor nagyobb megawattos teljesítményt nyújt a GB300 NVL72-nél.
- A Vera Rubin NVL72 költsége akár 45-ször alacsonyabb lehet millió tokenenként a DeepSeek V4 Pro modellen.
- A CUDA több GPU-generáción át támogatja a meglévő hardver használatát.
Megawattokban mérik az AI-gyárakat
Az NVIDIA október 1-jén közzétett elemzése szerint az AI-gyárakat megawattos, sőt gigawattos léptékben építik. Egy megawatt kapacitású gyár nagyjából 60 millió dollárba kerül, ezért az üzemeltetők csak akkor vállalnak ekkora beruházást, ha világosan látják a várható megtérülést.
A vállalat három alapvető tényezőt emel ki. Az első az éves kereseti kapacitás, vagyis hogy mennyi bevételt termelhetne a gyár, ha az összes előállítható tokent értékesítené. A második a hasznos élettartam, amely megmutatja, meddig képes pénzt termelni az AI-hardver. A harmadik a kereslet, amely meghatározza, mennyire lehet ténylegesen értékesíteni a rendelkezésre álló kapacitást.
Az NVIDIA szerint ezek a tényezők egymástól sem függetlenek. A többféle munkaterhelést futtató infrastruktúra szélesebb keresletet érhet el, és hosszabb ideig maradhat bevételtermelő.
A Vera Rubin nagyobb teljesítményt ígér azonos energia mellett
Az NVIDIA produktív AI-gyár alatt olyan rendszert ért, amely nagy áteresztőképességet biztosít megawattként, miközben alacsonyan tartja az egy tokenre jutó költséget. A vállalat szerint az energia az AI-gyárak legfontosabb korlátja, ezért a megawattonként előállított tokenek száma közvetlenül befolyásolja a kereseti kapacitást.
Az NVIDIA által hivatkozott SemiAnalysis AgentX adatai alapján a Vera Rubin NVL72 rendszerek több mint 30-szor nagyobb megawattos teljesítményt nyújtanak, mint a GB300 NVL72 rendszerek. A DeepSeek V4 Pro modellen az egyes millió tokenre jutó költség akár 45-ször alacsonyabb lehet. Az NVIDIA ezt a teljes hardveres és szoftveres rendszer összehangolt tervezésének tulajdonítja, amely a modellektől és a munkaterhelésektől a számítási kapacitáson, a hálózaton és a memórián át minden réteget érint.
A vállalat szerint a hatékonyabb és olcsóbb tokenek nem csökkentik a számítási kapacitás iránti igényt. Az alacsonyabb költség új felhasználási eseteket tehet gazdaságossá, amelyek több tokent fogyaszthatnak, mint amennyit a hatékonyságjavulás megtakarít.
A régebbi GPU-k is tovább termelhetnek
Az NVIDIA tartósság alatt azt érti, hogy a korábbi generációk a következő architektúra megjelenése után is használhatók maradnak. A 2020-ban megjelent A100 GPU a vállalat szerint hat évvel később is kereskedelmi szolgálatban áll. A CoreWeave a 2020-ban bemutatott egységekre vonatkozó foglalásokat 2029-ig meghosszabbította.
Az NVIDIA által idézett adatok szerint a Microsoft NVIDIA V100 GPU-kból álló flottája 8,4 évig működött, miközben a könyv szerinti élettartam hat év volt. A Barkr egy nyolc H100 GPU-t tartalmazó rendszer hasznos élettartamát öt-hat évre, a GB300 NVL72-ét pedig kilenc-tíz évre becsüli a viszonteladási árak alapján.
A CUDA szoftverplatform több generáción át működik, így az NVIDIA szerint az új architektúrák megjelenése nem teszi használhatatlanná a már meglévő hardvert. A folyamatos szoftveres és kerneloptimalizálás a régebbi rendszerek képességeit is javíthatja.
Egy infrastruktúra sokféle munkát végezhet
Az NVIDIA fungibilisnek, vagyis sokféle feladatra használhatónak nevezi platformját. A vállalat szerint rendszerei nyílt és zárt AI-modelleket is futtatnak nyelvi, képi, biológiai, fizikai és robotikai területen. A támogatott szakaszok az adatfeldolgozástól a modell előtanításán és utótréningjén át a következtetésig terjednek, a felhőszolgáltatóktól és nagy adatközpontoktól a vállalati rendszereken át a peremhálózatig.
A platform nem AI-feladatokra is használható, például tudományos számításra, szimulációra, grafikára és adatfeldolgozásra. Az NVIDIA szerint a CUDA-X könyvtárak száma meghaladja az ezret, és több mint 10 millió fejlesztő épít ezekre. A vállalat ügyfélpéldái között szerepel a Lilly, amely 1016 GPU-s fürtön futtat fehérje-, kis molekulás és genomikai modelleket, valamint a Pinterest, amely 14 000 GPU-n végez utótréninget és telepít egy látás-nyelvi modellt.
Az NVIDIA érvelése szerint a sokféle feladat magasabb kihasználtságot, hosszabb használati időt és szélesebb keresletet tesz lehetővé. Ez együtt javíthatja az AI-gyárak beruházási megtérülését.
