A Baseten platformjára érkezett a Reflection első nyílt súlyú modellje
A Baseten elérhetővé tette platformján a Reflection első nyílt súlyú modelljét, a Beamet. A főként angol nyelvű szöveggel dolgozó modell kódolási és ügynöki rendszerekhez készült, és akár egymillió tokenes kontextusablakot kezel.
- A Beam a Reflection első nyílt súlyú modellje.
- A modell 501 milliárd teljes és 23 milliárd aktív paramétert használ tokenenként.
- Kontextusablaka legfeljebb 1 millió tokenes.
- Kódolási és ügynöki feladatokra, valamint vállalati modellfuttatásra készült.
- A Baseten Model APIs és a Dedicated Inference szolgáltatásokon már elérhető.
Nagy modell, kevés aktív paraméter
A Baseten október 16-i bejelentése szerint a Beam már használható a Baseten Model APIs és a Dedicated Inference szolgáltatásokon keresztül. A vállalat day 0 támogatást biztosít a modellhez, vagyis az elérhetőségét a Beam bemutatásával egy időben kínálja a platformján.
A Beam autoregresszív transzformátormodell, amely szöveges bemeneteket fogad, és szöveges kimeneteket állít elő. A modell főként angol nyelven működik. Mixture-of-experts, vagyis MoE architektúrát használ, összesen 501 milliárd paraméterrel, amelyek közül tokenenként 23 milliárd aktív. A kontextusablak mérete legfeljebb 1 millió token lehet.
A Beam a Reflection új modellcsaládjának első tagja. A cég a jövőbeli kiadásokhoz többnyelvű és multimodális képességeket tervez, a Baseten közleménye azonban ezekhez nem közöl további részleteket.
Kódolásra és ügynöki feladatokra tanították
A modellt fejlesztőknek és kutatóknak szánják, különösen azoknak, akik kódolási és ügynöki rendszereket építenek. A Baseten szerint a Beam vállalati felhasználóknak is készült, ha saját modelleket szeretnének testre szabni és futtatni. A modell a közlemény szerint együttműködik a fejlesztők által már használt futtatókörnyezetekkel, keretrendszerekkel, kódolási tesztkörnyezetekkel és eszközökkel.
A Reflection a Beamet úgy tanította, hogy kódolási és ügynöki feladatokat kevesebb token felhasználásával oldjon meg sikeresen. A cél a vállalat szerint az ilyen munkafolyamatok költségének csökkentése. A tanítás fontos része volt a megerősítéses tanulás, amelyhez hosszabb lefutásokat használtak.
Ezek során a modell több lépésben gyakorolhatta a feladatok megoldását, eszközöket használhatott, és a visszajelzések alapján módosíthatta a megközelítését. A sikeres megoldásokat jutalmazták, a hosszúságot pedig büntették, hogy a Beam ne használjon szükségtelenül sok tokent.
A felhasználó szabályozhatja a gondolkodási erőfeszítést
A Beamhez tartozik egy állítható reasoning effort, vagyis gondolkodási erőfeszítést szabályozó paraméter. Alacsonyabb beállításnál a modell rövidebb válaszokat részesít előnyben, magasabb értéknél pedig több következtetést végezhet a nehezebb feladatok teljesítményének javításáért.
A Baseten a Reflection értékeléseire hivatkozva azt írja, hogy a Beam kódolási, ügynöki, következtetési és STEM-benchmarkokon is erős teljesítményt mutatott. A közlemény nem közöl konkrét pontszámokat, az értékelések részleteit a Reflection bemutatója ismerteti.
A fejlesztők a Beamet már elérhetik a Baseten Model APIs és a Dedicated Inference felületén. A forrás alapján ez közvetlen lehetőséget ad kódolási és ügynöki rendszerek építésére, miközben a gondolkodási erőfeszítés beállítása révén a válasz hossza és a komplexebb feladatokra fordított feldolgozás is szabályozható.
Baseten: Beam: Efficient reasoning for coding and agentic workloads
