A LangChain szerint az open modellek elérték a használhatósági küszöböt

A költség és a késleltetés is fontos szempont

A LangChain április 2-án közzétett bejegyzése szerint az open weight, vagyis nyílt súlyú modellek az elmúlt hetekben futtatott Deep Agents tesztek alapján már életképesek zárt frontier modellek helyett vagy mellett. A vizsgált GLM-5 és MiniMax M2.7 hasonló eredményeket ért el olyan alapvető ügynöki feladatokban, mint a fájlok kezelése, az eszközök meghívása és az utasítások követése.

A vállalat szerint a fejlesztők számára a költség és a válaszidő korlátozza, hogy minden feladathoz a legnagyobb zárt modellt használják. A LangChain állítása alapján a zárt frontier modellek nagy terhelés mellett 8 és 10-szer drágábbak is lehetnek, és gyakran lassabbak az interaktív termékeknél elvárt válaszidőnél.

A forrásban szereplő tokenárak alapján a Claude Opus 4.6 bemeneti ára egymillió tokenenként 5, kimeneti ára 25 dollár. A GLM-5 esetében ugyanez 0,95 és 3,15 dollár, a MiniMax M2.7-nél pedig 0,30 és 1,20 dollár. A LangChain példája szerint napi 10 millió kimeneti token körülbelül 250 dollárba kerül Opus 4.6-tal, míg MiniMax M2.7-tel mintegy 12 dollárba.

A tesztekben közel kerültek a zárt modellekhez

A LangChain hét kategóriában értékelte a modelleket: fájlműveletek, eszközhasználat, információ-visszakeresés, beszélgetés, memória, összefoglalás és unit tesztek. A tesztek a helyességet, a megoldási arányt, a lépések arányát és az eszközhívások arányát mérték.

A GLM-5 138 esetből 94-et oldott meg helyesen, így a helyességi értéke 0,64, a megoldási aránya pedig 1,17 lett. A MiniMax M2.7 85 esetet teljesített, helyességi értéke 0,57, megoldási aránya 0,27 volt. Összehasonlításként a Claude Opus 4.6 100, a Gemini 3.1 Pro Preview 96, a GPT-5.4 pedig 91 tesztet teljesített helyesen.

A LangChain hangsúlyozza, hogy ezek korai eredmények, a tesztkészletet folyamatosan bővítik. Az értékelésekben minden modellnél a szolgáltató alapértelmezett gondolkodási szintjét használták.

A Deep Agents több szolgáltatón keresztül is használható

A fejlesztők a Deep Agents SDK-ban egyetlen modellparaméter módosításával válthatnak GLM-5-re vagy MiniMax M2.7-re. A GLM-5 a LangChain példája szerint elérhető Basetenen, Fireworksön és Ollamán keresztül is, ugyanaz a modell így eltérő infrastruktúrán futtatható.

A LangChain által ehhez a kiadáshoz tesztelt szolgáltatók között a Baseten, a Fireworks, a Groq, az OpenRouter és az Ollama Cloud szerepel. A Deep Agents kezeli a különböző kontextusablakokat, eszközhívási formátumokat és hibamódokat is. A rendszer a modell nevét, szolgáltatóját, kontextuskorlátját és támogatott modalitásait beilleszti a rendszerüzenetbe, a kontextuskezelés küszöbeit pedig az adott modellhez igazítja.

A fejlesztők saját környezetben is összehasonlíthatják a modelleket

A Deep Agents értékelési készlete helyben is futtatható, többek között Ollama vagy vLLM használatával. A LangChain CI-rendszere 52 modellt kezel csoportokba rendezve, és külön open modellcsoportot is fenntart. A fejlesztők ugyanazokon a feladatokon, azonos értékelési szempontok mellett vethetik össze a nyílt és zárt modelleket.

A Deep Agents CLI-ben modellváltásra is lehetőség van munkamenet közben, az új middleware és a /model parancs segítségével. A LangChain által bemutatott használati minta szerint egy frontier modell végezheti a tervezést, majd egy olcsóbb open modell a végrehajtást. Ez a felállás a forrás szerint lehetővé teszi, hogy a fejlesztők a feladat különböző szakaszaihoz eltérő költségű és infrastruktúrájú modelleket válasszanak.