Közel ezermilliárd paraméteres modellt futtatott több Mac Studio

Nagy modellek helyben, Mac gépeken

Az Apple október 15-én ismertette, hogyan használható az MLX nyílt forráskódú tömbkezelő keretrendszer nagy nyelvi modellek helyi futtatására és finomhangolására Apple chippel szerelt Mac gépeken. A vállalat szerint az Apple silicon egységesített memóriája lehetővé teszi, hogy kutatók és fejlesztők saját hardveren, privát környezetben kísérletezzenek új következtetési és mesterségesintelligencia-módszerekkel.

A bemutató középpontjában a Muse Spark Open áll, amely összesen 816 milliárd paramétert tartalmaz. A modell kevert szakértői architektúrát, vagyis MoE-t használ, ezért következtetés közben csak a szakértők és paraméterek egy része aktív. Az Apple a modellt NVFP4, 4 bites pontosságú formátumban értékelte.

Négy, M5 Ultra chippel szerelt Mac Studio összekapcsolásával a Muse Spark Open több mint 36 tokent generált másodpercenként, 8192 tokenes kontextusméret mellett. Az Apple három párhuzamosítási megoldást vizsgált: két gépen futó pipeline-párhuzamosítást, valamint két és négy gépen futó tensorpárhuzamosítást.

A kisebb modellek egyetlen gépen is elférnek

Az Apple három, nyílt súlyú modellt hasonlított össze MLX LM segítségével. A Muse Spark Open mellett a 128 milliárd paraméteres Mistral Medium 3.5 és a 27 milliárd paraméteres Qwen 3.8 szerepelt a mérésben. A Mistral Medium 3.5 sűrű architektúrát használ, és FP8 formátumban, a Qwen 3.8 pedig szintén sűrű modellként, BF16 formátumban szerepelt az értékelésben.

A Qwen 3.8 és a Mistral Medium 3.5 egyetlen, 512 GB memóriával rendelkező Mac Studión is elfér. A 65 536 tokenes kontextusméretű beállításban előbbi legfeljebb 68 GB, utóbbi legfeljebb 158 GB memóriát használt.

Az Apple az előző generációs M3 Ultra és az új M5 Ultra teljesítményét is összevetette. A vállalat szerint az M5 Ultra GPU Neural Accelerator egységei a számításigényes, első tokenig eltelt időnél jelentős előnyt adnak, a TTFT értéke pedig akár 4,6-szor gyorsabb lehet az M3 Ultrához képest. A tokenenkénti generálási sebességnél a memória-sávszélesség számít: az M5 Ultra 1,2 TB/s értéket kínál, szemben az M3 Ultra 819 GB/s értékével, és az Apple méréseiben 1,6-szor gyorsabb generálást produkált.

A Muse Spark Open több gépet igényel

A Muse Spark Open natív, BF16 pontosságú formátumban önmagában több mint 1,6 TB memóriát igényelne a modellparaméterekhez, ezért nem fér el egyetlen Mac Studión. NVFP4 formátumban a modell memóriaigénye körülbelül 493 GB-ra csökken, az inferencia közbeni köztes számítások memóriaszükségletével együtt azonban így sem illeszthető egy gépre.

Az MLX ezért több Mac Studio közötti párhuzamosítást tesz lehetővé. Pipeline-párhuzamosításnál a modell egyik fele az első gépen, a másik fele a második gépen fut. Az első számítógép végrehajtja a modell első rétegeit, majd az eredményt továbbítja a másodiknak. Az Apple szerint ehhez csak minimális kódmódosítás szükséges.

A több gép közötti kommunikációhoz a macOS 26.2 Thunderbolt 5 fölött működő, alacsony késleltetésű RDMA-illesztőprogramot vezetett be. Az MLX 0.30.1-es és újabb verziói erre építve biztosítják a különböző párhuzamosítási megoldásokhoz használható jaccl kommunikációs kollektívákat. Az Apple bemutatójában két Thunderbolt-kábellel kötötték össze a Mac Studiókat, hogy megduplázzák a kapcsolat sávszélességét.

A megoldás a helyi, nagy kontextusú ügynöki alkalmazások, köztük az ügynöki kódolási feladatok futtatásához kínál infrastruktúrát. Az Apple az energiafogyasztást is mérte: a csúcsteljesítmény körülbelül 200 watt volt az M3 Ultra, és 300 watt az M5 Ultra esetében, 65 536 tokenes kontextusméretnél.