A Microsoft a chiptől az elektromos hálózatig fejleszti az AI-infrastruktúrát

Az AI-gyorsító és a processzor is az új munkaterhelésekhez igazodik

A Microsoft október 13-án közzétett bejegyzésében azt írta, hogy az AI következő fejlődési szakaszában a következtetés, vagyis az elkészült modellek használata válik meghatározó munkaterheléssé. Ilyenkor különösen fontos a hatékonyság, a késleltetés és a költség.

A vállalat új, Maia családba tartozó AI-gyorsítója, az Azure Maia 300 hosszú kontextusú gondolkodásra, késleltetésre érzékeny beszélgetésekre és folyamatos, több lépésből álló ügynöki feladatokra készült. A Microsoft szerint a rendszer a vezető GPU-alapú rendszerekhez képest 40 százalékkal több tokent képes előállítani wattóránként. Teljes, 96 gyorsítóból álló konfigurációban a Maia 300 akár hétszer nagyobb rack-szintű tokenátvitelt biztosít, mint a Maia 200.

A Microsoft a gyorsítót a saját infrastruktúrájával és éles munkaterheléseivel együtt tervezi. A modellek, alkalmazási keretrendszerek, kernelek, kommunikációs könyvtárak, rendszerszoftverek és az egyedi szilícium egy közös optimalizációs folyamat része.

A Maia 200 a vállalat szerint az Egyesült Államokban, Európában és Ausztráliában települ. A Microsoft Teams, a Copilot és a Cowork beépített AI-funkcióinál a vezető GPU-infrastruktúrához képest akár 1,7-szer több tokent biztosít wattóránként.

Az ügynöki feladatok a processzorokkal szemben is új elvárásokat támasztanak, mivel minden interakcióhoz vezérlés, adatlekérés, memóriakezelés és szolgáltatáshívás tartozik. A Microsoft az erre tervezett Cobalt 200 processzornál a Cobalt 100-hoz képest több mint 50 százalékos teljesítménynövekedést, 33 százalékkal kisebb ügynöki hívási késleltetést és 23 százalékkal nagyobb átviteli teljesítményt közölt.

Új hálózati és energiaellátási szabványokon dolgoznak

A Microsoft és iparági partnerei a nagy méretű AI-rendszerek hálózati kiszolgálására fejlesztik a Multipath Reliable Connection megoldást. Az MRC több síkra épülő architektúrája a vállalat szerint több mint 100 ezer GPU fölé is skálázható, két hálózati réteggel. A forgalom több útvonalon történő elosztásával és csomagszórással csökkenti a torlódást, miközben megbízható teljesítményt céloz a nagyméretű modelltréningnél.

A Microsoft az Optical Compute Interconnect Multi-Source Agreement kezdeményezésben is részt vesz. Az OCI MSA a vállalat szerint az első olyan optikai specifikáció, amely több racket összekapcsoló, nagy sávszélességű és energiahatékony, több gyártót támogató infrastruktúrát céloz. Az Ethernet for Scale-Up Networking munkacsoportban több mint 175 szervezet vesz részt. A csoport kiadta az 1.0-s specifikációt, és az 1.1-es verzión dolgozik.

Az energiaellátásnál a Microsoft az Open Compute Project Foundationnel és az Open Systems for AI kezdeményezéssel együtt az 800 voltos egyenáramú infrastruktúra felé történő átállást támogatja. A Mt. Diablo elnevezésű, szétválasztott nagyfeszültségű adatközponti architektúra külön kezeli az energiaátalakítást és a számítási racket. Moduláris kialakítása körülbelül 100 kilowattól több mint 1 megawattig támogat kapacitást, tartalék betáplálással, távfelügyelettel és opcionális energiatárolással.

A Microsoft és partnerei az OCP-n keresztül a Mt. Diablo 0.7-es és 1.0-s specifikációját is benyújtották. Emellett szilárdtest-transzformátorra épülő megoldásokon, dízelgenerátoroktól kevésbé függő tartalék rendszereken és közös hálózati csatlakozási specifikáción dolgoznak.

A hűtés és a biztonság az infrastruktúra része

A Microsoft harmadik generációs Azure Heat Exchanger Unit egysége, a Mt. Atlas a vállalat szerint csaknem kétszer akkora hűtési kapacitást kínál, mint az előző generáció, változatlan működési helyigény mellett. A vállalat az OCP-n keresztül nyilvános referencia-architektúrát is közöl, hogy gyorsítsa az iparági átvételt.

A következő generációs AI-adatközpontokban a Microsoft zónákra bontott hűtési stratégiát alkalmaz. Ennek része, hogy a folyadékhűtéses gyorsítók és a hagyományos, levegővel hűtött rendszerek eltérő igényeihez igazítják a hűtést. Több független vízkör különböző hőmérsékleten szállít hűtőközeget, a vállalat célja pedig az energia-, a szén-dioxid- és a vízfelhasználás csökkentésének támogatása.

A biztonsági oldalon a Microsoft, a Marvell és az Oracle bemutatta a Tessera Integrated HSM nyílt forráskódú kezdeményezést. A projekt az Azure Integrated HSM-ben használt, közvetlenül a munkaterheléshez kapcsolódó HSM-architektúrára épül, és nyílttá teszi az architektúrát, a specifikációkat, a protokollokat, az illesztőprogramokat, a szoftvert, a firmware-t és a szilíciumot.

A Microsoft szerint az Azure Integrated HSM a kriptográfiai műveleteket közelebb viszi a munkaterheléshez, miközben a kulcsokat a hardveres biztonsági határon belül tartja, így azok nem kerülnek az alkalmazás memóriájába. A vállalat a biztonsági együttműködés részeként a Caliptra nyílt forráskódú szilíciumalapú bizalmi gyökerén és az OCP S.A.F.E. megfelelőségi keretrendszerén is dolgozik.

Mit jelent mindez az AI-szolgáltatások számára?

A Microsoft bejelentése azt mutatja, hogy az AI-rendszerek teljesítményét a vállalat a teljes infrastruktúra összehangolásával akarja javítani. A gyorsítók és processzorok mellett a hálózati kapcsolat, az energiaátalakítás, a hűtés, a biztonság és a hibakezelés is közvetlenül befolyásolja, hogy az AI-szolgáltatások milyen késleltetéssel, költséggel és megbízhatósággal működhetnek.

A vállalat az Open Compute Project Foundation keretében közös specifikációkkal és nyílt kezdeményezésekkel igyekszik szélesebb iparági részvételt ösztönözni. A Microsoft szerint az AI-infrastruktúra bővülésével a flották megbízhatósága is alapvetővé válik. A cég közös RAS-, hibakeresési, távfelügyeleti és diagnosztikai specifikációkhoz járult hozzá, valamint többek között hardveres hibakezelési, CPU- és GPU-kezelési munkán dolgozik.

A Microsoft több évnyi flottaszintű adatot és AI-t használ a vállalati állítás szerint a hibák megelőzésére, a problémák beazonosítására és a helyreállítás önállóbbá tételére. Ez a megközelítés a felhasználók számára a szolgáltatások megbízhatóságának javulását célozza, miközben az iparági együttműködés a különböző gyártók infrastruktúrájának összehangolását segítheti.