A Meta Muse Spark Open modellje elérhető az AWS SageMakerben
Az AWS SageMaker JumpStartban elérhetővé vált a Meta Muse Spark Open nevű, kódolásra optimalizált nyílt súlyú modellje. A modell 1 millió tokenes kontextusablakot használ, és hosszú, több fájlt érintő fejlesztési feladatokra készült.
- A Muse Spark Open elérhető az AWS SageMaker JumpStartban.
- A modell 816 milliárd paraméteres, ebből tokenenként 42 milliárd aktív.
- A kontextusablak mérete 1 millió token.
- BF16 és NVFP4 változatban telepíthető.
- A végpont a felhasználó saját AWS-fiókjában fut.
Nagy kódbázisokra és hosszú feladatokra tervezték
Az AWS október 15-i közleménye szerint a Muse Spark Open a SageMaker JumpStartban, az Amazon SageMaker AI gépi tanulási központjában érhető el. A Meta modelljét valós fejlesztői munkafolyamatokon tanították, köztük kódgeneráláson, hibakeresésen, több fájlt érintő átalakításokon és hosszú ideig futó feladatokon.
A modell 1 millió tokenes kontextusablaka lehetővé teszi, hogy egy teljes projektet, annak függőségeit, örökölt kódját és akár több ezer fájlját is feldolgozza. Az AWS leírása szerint így a fejlesztési feladatokat nem szükséges kisebb részekre bontani a kontextuskorlát miatt.
A Meta a Muse Spark Opent eleve ügynöki kódolási munkafolyamatokra tervezte. A modell megtervezheti a feladatot, végrehajthatja a szükséges műveleteket, megfigyelheti az eredményt, majd hosszabb folyamatok során korrigálhatja a lépéseit. A vállalat szerint webes böngészésre, részfeladatok szétosztására és számítógépes környezetek, köztük asztali, mobil- és böngészőkörnyezetek kezelésére is betanították.
816 milliárd paraméter, kétféle változat
A Muse Spark Open kevert szakértői, vagyis mixture-of-experts, MoE architektúrát használó következtetési modell. Összesen 816 milliárd paraméterrel rendelkezik, egy token feldolgozásakor azonban 42 milliárd aktív. A modell szöveget, képet, dokumentumot, hangot és audiovizuális tartalmat fogad bemenetként, kimenetként pedig szöveget ad.
A SageMaker JumpStart két változatot kínál: a Muse-Spark-Open-816B-A42B nevű BF16-verziót, valamint a Muse-Spark-Open-816B-A42B-NVFP4 jelű, NVFP4-kvantált változatot. Az NVFP4 az NVIDIA 4 bites lebegőpontos formátumát használja, és az AWS szerint nagyjából a BF16-súlyok memóriájának negyedét igényli.
A két változathoz eltérő példánytípus tartozik. Az NVFP4 az ml.p5e.48xlarge, a BF16 pedig az ml.p6-b300.48xlarge példányon fut. Az AWS azt javasolja, hogy a felhasználók saját munkafolyamataikon ellenőrizzék, megfelel-e a minőség az adott felhasználási esetnek.
Saját AWS-fiókban telepíthető
A modellt a SageMaker Studio felületén vagy a SageMaker Python SDK v3 segítségével lehet telepíteni. Mindkét út valós idejű SageMaker AI-végpontot hoz létre a felhasználó AWS-fiókjában. A telepítéshez AWS-fiók, megfelelő SageMaker AI jogosultságokkal rendelkező IAM-végrehajtási szerepkör és a választott példánytípushoz szükséges szolgáltatási kvóta kell.
A modell végpontja a felhasználó által konfigurált infrastruktúrán működik. A forráskód és a felhasználói kérések így a saját AWS-fiókban futó környezetben dolgozhatók fel. A végpont saját Amazon VPC-hez kapcsolható, a tárolási kötet AWS KMS-kulccsal titkosítható, és a konténer hálózati elkülönítése is bekapcsolható. A felhasználó a példánytípust, a skálázási korlátokat és a modell verzióját is rögzítheti.
A Muse Spark Open jelenleg az AWS közlése szerint az USA keleti régiójának észak-virginiai, valamint ohiói régiójában érhető el a SageMaker JumpStartban. A telepítés jellemzően 15, 20 percet vesz igénybe. A több GPU-s példányon futó végpontért addig kell fizetni, amíg működik, akkor is, ha éppen nem szolgál ki kéréseket, ezért a használat befejezésekor az AWS a végpont törlését javasolja.
