Megjelent a Muse Spark Open, 816 milliárd paraméteres nyílt modell

Hosszú kontextus és többféle bemenet

A Muse Spark Open összesen 816 milliárd paramétert tartalmaz, ám következtetés közben 42,7 milliárd aktív. A modell egymillió tokenes kontextusablakkal dolgozik, és szöveg, kép, videó, valamint hang bemenetét is képes kezelni. Kimenetként szöveget ad.

A Baseten szerint a modellt a Muse Code-dal közösen tanították, ezért kifejezetten kódoló ügynökök munkafolyamataira szánták. A többféle bemenet olyan feladatokat is lehetővé tesz, amelyekhez a kizárólag szöveges modellek nem használhatók. Egy ügynök például egy képernyőképet összevethet egy tervrajzzal vagy hibajelentéshez mellékelt képpel, majd közvetlenül módosíthatja az elrendezés kódját. Egy rögzített hibajelenségből reprodukciós szkriptet vagy végponttól végpontig futó tesztet is készíthet, hanggal és gépeléssel pedig egyszerre lehet irányítani a programozási folyamatot.

Az ügynöki használatra szabott architektúra

A kódoló ügynökök ismétlődő ciklusokban olvassák a kontextust, következtetnek, kódot generálnak, majd újra beolvassák az eredményt. A Muse Spark Open ezért tömörített szakértői keveréket, vagyis MoE-architektúrát használ. Egy közös tömörítő az egyes szakértőkhöz továbbítás előtt kisebb reprezentációra alakítja a bemenetet, egy közös visszaalakító pedig az eredeti dimenzióra vetíti vissza az összesített kimenetet.

A Baseten leírása szerint ez megfelezi az egyes szakértők paraméterszámát, és a modellt nagyjából 800 milliárd paraméterrel kisebbre teszi egy tömörítés nélküli kialakításhoz képest. Emellett csökkenti a grafikus processzorok közötti adatforgalmat, és több memóriát hagy a kulcsérték-gyorsítótár, vagyis a KV cache, valamint a párhuzamos munkamenetek számára.

A modell 62 rétegéből 46 helyi figyelmi réteg 2048 tokenes csúszóablakot használ, 16 globális réteg pedig a teljes sorozatot látja. A Baseten szerint 128 ezer tokenes kontextusnál egy sorozat KV cache-ének mérete 31 GiB-ről 8,4 GiB-re csökkenhet, ami nagyjából 3,7-szeres megtakarítás.

Elérhetőség és teljesítmény-összehasonlítás

A Baseten NVFP4 formátumú ellenőrzőpontot szolgál ki. Ebben a szakértők súlyai 4 bitesek, míg a figyelmi súlyok, valamint az első és utolsó réteg szakértői teljes bf16 pontosságot használnak. A vállalat szerint így a súlyok mérete nagyjából 1,6 terabájtról 540 gigabájtra csökken. A teljes modell egyetlen, 4×GB300-as csomóponton elfér, így a súlyokhoz és a KV cache-hez sem szükséges több csomópont közötti kapcsolat.

A Muse Spark Open a Muse Code mellett olyan külső kódoló ügynökökkel is integrálható, mint az OpenCode, a Pi és a Deep Agents Code. A Meta által közölt benchmarkok alapján a modell versenyképes más vezető laborok modelljeivel az ügynöki kódolásban és tudásmunkában. A mérésekben minden modell a saját fejlesztője ügynökével szerepelt, ezért az eredmények az adott modellhez kialakított eszközkészlet teljesítményét is tükrözik. A Baseten szerint a mindennapos ügynöki ciklusokban a Muse Spark Open közel érezhető a zárt csúcsmodellekhez, nagy, többfájlos módosításoknál viszont több iránymutatást vagy újrapróbálkozást igényelhet.

A modell OpenAI-kompatibilis végponton érhető el a Baseten Model APIs szolgáltatásán, így a kódoló ügynök meglévő vezérlőrétege módosítás nélkül csatlakoztatható. Támogatott az eszközhívás, a következtetés kimenete és a teljes egymillió tokenes kontextusablak. Nagy léptékű ügynöki használathoz a Baseten fenntartott kapacitású Dedicated Inference telepítéseket is kínál.