Az AWS-en is elérhető a Reflection AI 501 milliárd paraméteres Beam modellje

Agentikus kódolásra készült a Beam

Az AWS 2026. október 16-i bejelentése szerint a Reflection AI Beam nevű modellje olyan feladatokat céloz, mint a kód karbantartása, módosítása, eszközök meghívása, az eredmények értelmezése és a több lépésből álló munkafolyamatok befejezése. A Beam ritka szakértőkeverékes, vagyis sparse mixture-of-experts modell.

A modell összesen 501 milliárd paramétert tartalmaz, egy token feldolgozásakor pedig 23 milliárd aktív paraméter vesz részt a számításban. A Reflection AI szerint a Beam effektív kontextusablaka 1 millió token. A vállalat a modell súlyait a Hugging Face-en, Apache 2.0 licenc alatt tette közzé.

A Beam 1.0 BF16, FP8 és NVFP4 ellenőrzőpont-változatokban érhető el. Ezek eltérő memóriaigényt és hardverkompatibilitást kínálnak. A modellt az AWS által kezelt JumpStart-konténerrel, illetve SGLang vagy vLLM futtatókörnyezettel is használhatják a fejlesztők.

Kétféle AWS-es telepítési útvonal

A legegyszerűbb lehetőség az Amazon SageMaker JumpStart valós idejű végpontja. Ez a modellt, a konténert és a végpontot kezelt telepítési folyamatba csomagolja, majd HTTPS-alapú meghívási felületet biztosít. A bejelentés szerint a Beam induláskor az Amazon SageMaker JumpStart katalógusában az Egyesült Államok keleti régiójának észak-virginiai, illetve ohiói régiójában érhető el.

Akik nagyobb irányítást szeretnének a megosztott GPU-infrastruktúra felett, az Amazon SageMaker HyperPod Inference szolgáltatást használhatják. Ez Amazon Elastic Kubernetes Service által vezérelt HyperPod-klaszteren fut, és lehetőséget ad a szolgáltatási kép, a futtatókörnyezeti argumentumok, a kvantálás és az elosztott végrehajtás szabályozására. A Beam SGLanggel, vLLM-mel vagy az AWS által kezelt JumpStart-konfigurációval telepíthető.

A HyperPod Inference Gateway OpenAI-kompatibilis interfészt biztosít, és a kéréseket több replikához irányítja. A rendszer kezelt, többszintű KV-gyorsítótárazást és intelligens útválasztást is támogat.

Jelentős GPU-kapacitásra van szükség

Az 501 milliárd teljes paraméter miatt a Beam több GPU-s telepítést igényel. A BF16 változatnak van a legnagyobb súlymemória-igénye, ezért több gépből álló konfigurációra lehet szükség, amelyben a súlyok és a futtatási többletterhelés számára is elegendő az összesített GPU-memória.

FP8 esetén az AWS az NVIDIA H100 GPU-kat használó ml.p5.48xlarge, illetve a H200 GPU-kat használó ml.p5e.48xlarge és ml.p5en.48xlarge példányokat sorolja fel. NVFP4-hez az NVIDIA B200 GPU-kkal felszerelt ml.p6-b200.48xlarge példányt jelöli meg. A kiválasztás előtt ellenőrizni kell, hogy az adott ellenőrzőpont, futtatókörnyezet és párhuzamosítási elrendezés támogatja-e a géptípust.

A telepítés megtervezésekor a súlyok, a KV-gyorsítótár, a kontextus hossza, a kötegelt feldolgozás és a futtatási többletterhelés memóriaigényét is számításba kell venni. Az AWS terhelési tesztet javasol az egy replikához szükséges erőforrás-becslés ellenőrzésére, továbbá fel kell mérni a GPU-kvótát és a kiválasztott példány elérhető kapacitását.

Mit kapnak a fejlesztők?

A Beam nyílt súlyú kiadása lehetővé teszi, hogy a fejlesztők és kutatók maguk válasszák meg a futtatási és telepítési környezetet, valamint a testreszabás módját. A modell beszerezhető a SageMaker JumpStartból, a Hugging Face Hubból vagy opcionális Amazon S3-tükörből.

A JumpStart valós idejű végpontja a rövidebb, kezelt telepítési utat kínálja. A HyperPod Inference akkor lehet megfelelő, ha a szervezeteknek Kubernetes-alapú irányításra, saját futtatókörnyezetre, gyorsítótárazásra, útválasztásra vagy skálázásra van szükségük. A telepítéshez AWS-fiók, megfelelő jogosultságok, Python 3.11 vagy újabb, elfogadott modellfeltételek, GPU-kvóta és támogatott kapacitás szükséges.