Az AWS-en is elérhető a Grok 4.7, hosszú feladatokra hangolva
Elérhetővé vált a SpaceXAI Grok 4.7 modellje az Amazon Bedrockon. Az AWS bemutatója szerint a modell hosszabb, több lépésből álló feladatoknál képes ellenőrizni és finomítani a saját válaszait.
- A Grok 4.7 elérhető az Amazon Bedrockon.
- A modell négy érvelési szintet támogat: low, medium, high és xhigh.
- Az AWS tesztjén 72 futásból 67 adott helyes választ.
- Az xhigh szint mind a 18 tesztelt futásban helyes volt.
- A modell 500 ezer tokenes kontextusablakot támogat a SpaceXAI szerint.
Ügynökökön tesztelték a modellt
Az AWS egy eszközhasználatra képes ügynököt épített a Grok 4.7-re, majd három olyan feladaton vizsgálta, amelyekhez keresés és következtetés kellett. A feladatok egy két szolgáltatást érintő üzemzavar diagnosztizálása, karbantartás ütemezése egymással összefüggő korlátozások mellett, valamint migrációs célpontok kiválasztása adott költségkeretből.
Mindhárom feladatnak pontosan egy helyes megoldása volt, amelyet teljes felsorolással ellenőriztek. A tesztet minden érvelési szinten hatszor futtatták, így összesen 72 ügynöki futás eredményét értékelték. Az ügynök 67 alkalommal adott helyes választ. Az xhigh szinten mind a 18 futás sikeres volt, míg low szinten 18-ból 15 válasz bizonyult helyesnek, körülbelül a nyolcadannyi kimeneti token használata mellett.
Négy érvelési szint és hosszú kontextus
A Grok 4.7 az AWS leírása szerint négy érvelési szintet támogat: low, medium, high és xhigh. A beállítás azt szabályozza, mennyi mérlegelés történik egy válasz előtt. Az AWS szerint ez lehetőséget ad arra, hogy a felhasználó feladatonként hangolja az alaposság és a tokenfelhasználás közötti kompromisszumot.
A SpaceXAI állítása szerint a Grok 4.7 nagyobb alappmodellre épül, mint a Grok 4.6, és hosszabb megerősítéses tanulási folyamat során, nehezebb feladatokon tanították. A vállalat szerint a modell jobban ellenőrzi saját munkáját, és hosszabb kontextust is kezel. A SpaceXAI 500 ezer tokenes kontextusablakot ad meg, szöveges és képi bemenettel, valamint szöveges kimenettel.
A SpaceXAI által közzétett adatok szerint a Grok 4.7 a Grok 4.6-hoz képest több, tartós munkát mérő teszten is magasabb eredményt ért el. A Terminal-Bench értéke 20,3 százalékról 37,6 százalékra, az EEBench eredménye 53,0 százalékról 64,0 százalékra, a CursorBenché 40,4 százalékról 46,3 százalékra emelkedett. A HealthBench értéke 48,5 százalékról 56,7 százalékra, a Harvey Legal Agent Benchmark eredménye 15,8 százalékról 19,6 százalékra változott. Az AA Briefcase v1.1 pontszáma 1546-ról 1657-re nőtt.
Hogyan érhető el az Amazon Bedrockon?
A modell a bedrock-runtime végponton, kereszt-régiós következtetési profilon keresztül használható. Az Egyesült Államokon belüli használathoz az us.xai.grok-4.7, kereskedelmi AWS-régiókhoz a global.xai.grok-4.7 profil áll rendelkezésre. A kereszt-régiós útválasztás több AWS-régió között osztja el a kéréseket, ami az AWS szerint nagyobb áteresztőképességet tesz lehetővé régiónkénti kapacitáskezelés nélkül.
A Grok 4.7 támogatja az OpenAI-kompatibilis Chat Completions és Responses API-kat, valamint az Amazon Bedrock Converse API-t. A Converse használatakor az érvelés reasoningContent blokkban, a válasz szövege pedig külön szövegblokkban jelenik meg. A modellhez eszközhívás és strukturált kimenet is használható.
A használathoz AWS-fiók, engedélyezett Grok 4.7-modellhozzáférés, Python 3.9 vagy újabb, továbbá az openai, a boto3 és az aws-bedrock-token-generator csomag szükséges. Az AWS éles használatra rövid élettartamú hitelesítési tokent javasol a meglévő AWS-jogosultságokból, így nem kell hosszú élettartamú titkot tárolni. A vállalat a tokenek számát közli a költségek méréséhez, mivel a tokenárak változhatnak.
A saját feladatokon is mérni kell
Az AWS szerint az ügynöki értékelés akkor informatív, ha a feladat valóban keresést és ellenőrzést igényel. A bemutatott tesztben 20 szolgáltatás, hét eszköz és három szintetikus feladat szerepelt. A karbantartási feladatnál 2520 lehetséges ütemezést vizsgáltak, amelyek közül egy volt érvényes. A migrációs feladatnál 53 megvalósítható halmaz közül kellett kiválasztani az optimálisat, miközben az előfeltételek is számítottak.
Az AWS négy gyakorlatot emel ki: minden, az értékeléshez szükséges szabályt rögzíteni kell, igazolni kell, hogy egyetlen helyes válasz létezik, a teljes válasz helyett egy előírt végső sort kell pontozni, és a modellt a saját munkaterheléshez hasonló feladatokon kell mérni. Ez alapján a Grok 4.7 Amazon Bedrockos elérhetősége elsősorban azoknak lehet fontos, akik hosszú, több lépésből álló, eszközöket használó munkafolyamatokat építenek, és az érvelési alaposságot tokenkerettel együtt szeretnék szabályozni.
