A Microsoft bemutatta az Azure Maia 300 AI-gyorsító architektúráját

A teljes rendszert az inferenciára optimalizálták

A Microsoft közleménye szerint az Azure Maia harmadik generációja, a Maia 300 olyan feladatokra készült, mint a többlépcsős végrehajtás, a hosszú kontextus feldolgozása és az eszközhasználat. Ezek az ügynöki munkafolyamatok megváltoztatják az inferencia számítási igényeit, ezért a rendszernek megfelelő memóriakapacitást és memória-sávszélességet kell biztosítania, miközben csökkenti az adatok mozgatását.

A Maia 300 célja, hogy a Microsoft termékei és AI-portfóliója több hasznos tokent állítson elő wattonként és dolláronként. A vállalat a Microsoft Copilot, a GitHub Copilot és a Microsoft Foundry működését is olyan tapasztalatként említi, amely betekintést ad az iparágak AI-használatába és az ehhez szükséges infrastruktúrába.

Helyi memória, keskenyebb adatformátumok és nagyobb sávszélesség

A Maia 300 a Maia 200-ban bevezetett, szoftver által vezérelt, helyileg elérhető adatfolyam-architektúrát fejleszti tovább. A rendszerben a memória a rendszerlapkán belüli egységes elrendezés helyett chipletek között kialakított, helyfüggő NUMA-szervezést kapott. Így a szoftver a számítást végző egység közelébe helyezheti az adatokat.

Az architektúra új, keskeny pontosságú formátumokat, köztük továbbfejlesztett MXFP4-et és három bit alatti tárolási formátumokat is használ. A Microsoft szerint ezek csökkentik a memóriaigényt és az adatok mozgatását, így azonos energiaigény mellett nagyobb modellek, hosszabb kontextusok és több párhuzamos munkamenet támogatható.

A Maia 300 nyolc HBM4 memóriaköteget használ, összesen 288 GB kapacitással és gyorsítónként 18 TB/s sávszélességgel. A Maia 200-hoz képest ez 2,5-szer nagyobb memória-sávszélességet, 33 százalékkal nagyobb kapacitást és megközelítőleg kétszer nagyobb HBM-sávszélességet jelent wattonként. A chipletes kialakítás a Microsoft adatai szerint 36 százalékkal növeli a számítási FLOPS-értéket, 2,5-szeres HBM-sávszélességet és 14 százalékkal nagyobb skálázási sávszélességet biztosít.

Egy hálózati szövet 12 288 gyorsítóig

A Maia 300 hálózata a szoftver által vezérelt adatfolyam-architektúra része. A rendszer egy két szintből álló, Ethernet-alapú AI-hálózattal legfeljebb 12 288 gyorsítót kapcsolhat össze egy szuperpodban. Egy rackben 96 gyorsító található, a második hálózati szint pedig legfeljebb 128 racket kapcsolhat össze.

A gyorsítók közvetlenül kommunikálhatnak a szuperpod bármely másik gyorsítójával, a gazdagép vagy külön skálázási hálózati kártya közbeiktatása nélkül. A közvetlenül összekapcsolt párok alkotják a legalacsonyabb késleltetésű tartományt, a racken belüli kommunikáció egy kapcsolóugrást, a rackek közötti kapcsolat pedig három kapcsolóugrást igényel.

A rendszer támogatja, hogy a tenzorpárhuzamosság egy 96 gyorsítós racken belül maradjon, miközben a szélesebb szakértői és pipeline párhuzamosság rackek között működjön. A prefilling és a dekódolás dolgozói egymástól függetlenül méretezhetők és helyezhetők el, a KV-állapot pedig ugyanazon a hálózati szöveten továbbítható.

Nagyobb gyorsítósűrűség egy rackben

A Microsoft szerint a Maia 300 rackjét a teljesítmény, a hálózati topológia, a tápellátás és a hűtés összehangolásával tervezték. A rack 96 gyorsítót tartalmaz 24, egyenként négy gyorsítós tálcán, 167 kW teljesítménykereten belül. Ez a Maia 200-hoz képest kétszeres gyorsítósűrűséget és akár 2,5-szer nagyobb teljesítményt jelent wattonként.

Az architektúra a Microsoft AI-szolgáltatásainak és ügyfélalkalmazásainak üzemeltetéséhez kínál nagyobb számítási, memória- és hálózati kapacitást. A vállalat a tervezés középpontjába a hasznos tokenek számát, az energiahatékonyságot és az adatközponti teljesítménykeret jobb kihasználását helyezte.