Az AWS Bedrockon elérhetővé vált a 753 milliárd paraméteres GLM 5.3

Nagyobb kódolási és ügynöki feladatokra készült

Az AWS október 5-i közleménye szerint a GLM 5.3 a Z.ai, vagyis a Zhipu AI 753 milliárd paraméteres, kevert szakértői rendszerű modellje. A modellt a Hugging Face Hubon közzétett változat alapján kódolásra és hosszú távú, ügynöki feladatokra optimalizálták.

A modell olyan munkafolyamatokra készült, mint egy több száz fájlból álló kódtár átalakítása, a kontextus megőrzése többórás ügynöki folyamatok során, illetve összetett rendszerproblémák megoldása eszközhasználattal. A GLM 5.3 a több lépésből álló következtetést, az eszközökkel kiegészített munkát és a nagy kódbázisokon fenntartott kontextust is támogatja.

A Z.ai állítása szerint a modell több kódolási teljesítménymérésben is versenyképes, köztük a DeepSWE, a Terminal Bench 3.0 és a FrontierSWE tesztjein. A vállalat saját kódolási mérésén a GLM 5.2-höz képest 50 százalékos javulásról számolt be. Közvetlen összehasonlítást a GLM 5-tel nem közöltek, mert a fejlesztések nagysága miatt a GLM 5.1 bejelentése óta a teszteket is frissítették.

Kiberbiztonsági feladatokra is használható

A Z.ai a modell kiberbiztonsági képességeit is kiemelte. A vállalat közlése szerint a GLM 5.3 a biztonsági feladatokon végzett méréseken is erős eredményeket ért el, a CyberGym benchmarkon pedig a megjelenésekor 84,5 pontot szerzett.

Az AWS a modellt egy engedélyezett biztonsági tesztelési munkafolyamatban is bemutatja a Strix használatával. A nyílt forráskódú, mesterséges intelligenciára épülő behatolástesztelő ügynök dinamikusan futtatja a kódot, sérülékenységeket keres, majd fogalmi bizonyító tesztekkel ellenőrzi a találatokat.

A bemutató célpontja az OWASP Juice Shop, egy szándékosan sérülékeny, helyben futtatott mintaalkalmazás. Az AWS külön hangsúlyozza, hogy csak saját alkalmazásokat vagy kifejezett írásos engedéllyel tesztelt rendszereket szabad vizsgálni.

API-k, gyorsítótár és régiók közötti következtetés

A GLM 5.3 az Amazon Bedrock teljesen felügyelt API-in keresztül érhető el a jogosult vállalati ügyfeleknek. A modell használható az OpenAI-kompatibilis Responses és Chat Completions API-val, valamint az Amazon Bedrock Invoke és Converse API-jával. Az új alkalmazásokhoz az AWS az OpenAI-kompatibilis API-kat ajánlja, mert ezek több funkciót támogatnak.

A szolgáltatás alapértelmezés szerint implicit promptgyorsítótárat használ. Ez az ismétlődő kéréseknél csökkentheti a válasz késleltetését és a bemeneti tokenek költségét, például akkor, ha egy ügynöki folyamat minden körben ugyanazokat a rendszerutasításokat, eszközleírásokat vagy kódtárfájlokat küldi el. Az explicit gyorsítótárazásnál a felhasználó jelölheti ki az újrahasznosítandó prompt-előtagokat. Egy gyorsítótárazási pontnak legalább 1024 tokent kell tartalmaznia.

A GLM 5.3 amerikai és globális régiók közötti következtetési profilon is elérhető. Az ügyfél a választott AWS-régióba küldi a kérést, az Amazon Bedrock pedig onnan továbbítja azt feldolgozásra. A szolgáltatási szintek között a költségre optimalizált Flex, a késleltetésre kihegyezett Priority és az alapértelmezett ár-sebesség egyensúlyt kínáló Standard található.

Mit jelent ez a felhasználóknak?

A Bedrock felhasználói a konzol Playground felületén kódírás nélkül is kipróbálhatják a GLM 5.3-at, vagy programból hívhatják a modellt Python és az OpenAI Python SDK segítségével. Az AWS példája rövid élettartamú hitelesítési tokeneket használ a hagyományos, hosszú élettartamú API-kulcsok helyett.

A hozzáférés vállalati ügyfelek számára, megfelelő Amazon Bedrock- és IAM-jogosultságok mellett érhető el. A fejlesztők így a Z.ai modelljét az AWS által kezelt infrastruktúrán használhatják, miközben a hosszú kódolási és biztonsági munkafolyamatoknál a promptgyorsítótár, a régiók közötti következtetés és a különböző szolgáltatási szintek is rendelkezésükre állnak.