A Microsoft bemutatta a 2,8 billió paraméteres MAI-Base-2 modellt
Elkészült a Microsoft AI új alapmodelljének, a MAI-Base-2-nek az előtanítása. A kevert szakértős, vagyis MoE modell 80 milliárd aktív és 2,8 billió teljes paraméterrel működik.
- Befejeződött a MAI-Base-2 előtanítása.
- A modell 80 milliárd aktív és 2,8 billió teljes paramétert használ.
- A Microsoft AI szerint a modell minden tesztelt nyílt súlyú modellnél jobb eredményt ért el belső értékelésein.
- Az előtanítás 4 és 12 alkalommal hatékonyabb volt a DeepSeek-V4-Pro-Base modellénél a cég szerint.
- A modellhez a forrás nem közöl hozzáférési vagy megjelenési információkat.
Nagyobb modellre fordították a hatékonysági előnyt
A Microsoft AI október 15-i Lab Notes bejegyzése szerint befejezték a MAI-Base-2 előtanítását. A modell egy általános célú alapmodell, amelyet MoE, vagyis kevert szakértős architektúraként írnak le.
A MAI-Base-2 összesen 2,8 billió paramétert tartalmaz, ezek közül 80 milliárd aktív. A Microsoft AI közlése szerint a modell a tesztelt nyílt súlyú modellek mindegyikénél jobb eredményt ért el a vállalat belső, visszatartott értékelésein.
A cég azt állítja, hogy a MAI-Base-2 előtanítása 4 és 12 alkalommal hatékonyabb lebegőpontos műveletek szempontjából, mint a legerősebb nyílt alapmodellként megnevezett DeepSeek-V4-Pro-Base. A Microsoft AI szerint az így elért megtakarítást egy nagyobb modell betanítására fordították.
Többféle előtanítási mérésben vizsgálták
A Microsoft AI egy olyan ábrát is közölt, amely a legalább 1 billió teljes paraméterrel rendelkező modellek teljesítményét hasonlítja össze több előtanítási értékelésben. Az ábra leírása szerint ezek között belső kódolási, kérdésválaszolási, matematikai és STEM, vagyis természettudományos, technológiai, mérnöki és matematikai tesztkészletek szerepelnek.
Az összehasonlításban az alacsonyabb érték számít jobbnak. A Microsoft AI bejegyzése a MAI-Base-2 mellett más modelleket is felsorol, köztük a DeepSeek-V4-Pro-Base modellt. A vállalat hangsúlyozza, hogy az eredmények a saját, visszatartott értékelésein születtek.
Ez a megfogalmazás a Microsoft AI saját mérési eredményeire vonatkozik. A bejegyzés nem közöl részletes pontszámokat, és nem ismertet külön külső ellenőrzést az állításokhoz.
A MAI modellek következő lépése
A MAI-Base-2 a Microsoft AI modellcsaládjának alapmodellje. A vállalat júniusban jelentette be a MAI-Thinking-1 modellt, amelyet a MAI-Base-1-re épülő, utólagosan tanított általános célú alapmodellként mutatott be, erős következtetési teljesítménnyel.
A mostani bejelentés az előtanítás lezárásáról szól. A forrás nem közöl felhasználói hozzáférési lehetőséget, megjelenési időpontot, licencfeltételeket vagy konkrét termékbe építést a MAI-Base-2-höz.
Felhasználói és piaci szempontból a hír azt mutatja, hogy a Microsoft AI saját, nagy méretű alapmodellek fejlesztését folytatja, miközben a hangsúlyt az előtanítás hatékonyságára és a nagyobb modellek betanítására helyezi. A nyílt súlyú modellekkel végzett összevetés alapján a vállalat a MAI-Base-2-t ebben a körben erős eredményű modellként pozicionálja.
Microsoft AI: Frontier Pre-training at Microsoft AI | Microsoft AI
