A LangChain olcsóbb kontextuskezelést ígér a ScaleDown modelljeivel

A hosszú futású ügynökök egyik fő gondja a kontextus

A LangChain október 13-án közzétett bejegyzése szerint a hosszú ideig működő ügynökök fejlesztésének központi kérdése a kontextus kezelése. A rendszernek folyamatosan el kell döntenie, mely információkat tartsa meg a kontextusablakban, és mikor van szükség a régebbi előzmények összefoglalására, a nagy eszközeredmények tömörítésére vagy a hosszú bemenetekből származó adatok kinyerésére.

Ezeket a döntéseket korábban jellemzően általános célú nyelvi modellek hozták meg. A LangChain szerint ez nagy mennyiségű használat mellett lassú és költséges lehet. Erre kínál megoldást a langchain-scaledown integráció, valamint a ScaleDown támogatása a LangSmith LLM Gatewayben. A ScaleDown hívásai így nyomon követhetők, és beleszámítanak a felhasználó költési és sebességkorlátjaiba.

Egyetlen feladatra tanított modellek

A ScaleDown négy, egy-egy konkrét feladatra betanított modellt kínál. A Summarize hosszú szöveget foglal össze, a Compress egy kérdéshez releváns részekre szűkíti a kontextust, az Extract a megadott mezőket keresi ki a szövegből, a Classify pedig a felhasználó által meghatározott címkékhez rendel valószínűségeket.

A LangChain leírása szerint ezek úgynevezett korlátozott dekódolású modellek, amelyek csak az adott feladat által megengedett típusú választ adják vissza. A ScaleDown állítása alapján a modellek a szűk feladatokon akár 200-szor gyorsabbak és 467-szer olcsóbbak lehetnek a csúcskategóriás modelleknél. Mindegyik modell legfeljebb 1 millió tokenes bemenetet kezel, így egy teljes szerződés, hosszú szabályzat vagy egyórányi ügynökelőzmény is feldolgozható darabolás nélkül.

A Summarize, az Extract és a Classify képeket és beolvasott PDF-eket is fogad. A ScaleDown saját, nyilvános adatkészleteken végzett összehasonlítása szerint a Summarize 41-szer olcsóbb és 2,7-szer gyorsabb, a Compress pedig 138-szor olcsóbb és 1,8-szer gyorsabb volt a GPT-5.5, a GPT-5.4 Mini és a GPT-5.4 Nano átlagánál. A cég szerint mindkét modell magasabb pontosságot ért el.

Három middleware kezeli az ügynök körüli adatokat

A LangChain és a Deep Agents integrációja három köztes szoftverréteget tartalmaz. A ScaledownSummarizationMiddleware akkor lép működésbe, amikor az előzmények elérik a beállított küszöböt. A régebbi üzeneteket egyetlen összefoglalóra cseréli, miközben a legutóbbi üzeneteket változatlanul hagyja. Az összefoglaló alapértelmezés szerint a LangChain által használt részeket, a szándékot, az összefoglalót, a létrehozott elemeket és a következő lépéseket tartalmazza. Ha a ScaleDown hívása sikertelen, az előzmények megmaradnak, és az ügynök folytatja a működést.

A ScaledownToolCompressionMiddleware az eszközök nagy kimeneteit tömöríti. Az ügynök egy compression_query mezőben jelezheti, hogy a lekért eredmény mely részeire van szüksége. A LangChain egyik bemutatott nyomkövetésében egy hosszú dokumentációs oldal mérete csaknem 90 százalékkal csökkent, 18 402 karakterről 3 110 karakterre, mielőtt az eredmény eljutott volna a modellhez. A teljes oldal később újra lekérhető a tömörítési kérés nélkül. A megoldás MCP-eszközökkel is használható.

A ScaledownExtractionMiddleware a felhasználói üzenetekből másolja ki a következő lépésekhez szükséges értékeket. Ilyen lehet egy rendelési azonosító, egy pontos hibaüzenet vagy egy ügyfél e-mail-címe. A kinyert mezők az ügynök állapotában, a scaledown_extraction alatt jelennek meg. A ScaleDown a beszélgetésből címkék alapján ügytípust is meghatározhat, például számlázási, technikai vagy fiókkezelési kategóriát.

Mit jelent ez a fejlesztőknek?

A LangChain szerint a fejlesztők megtarthatják az általános célú ügynökmodellt a tervezéshez és a kódíráshoz, miközben a kontextus körüli ismétlődő feladatokat külön, célfeladatra optimalizált modellekre bízzák. Ez csökkentheti a modell által feldolgozott adatmennyiséget, és a cég által közölt mérési eredmények alapján a kontextuskezelés költségét és késleltetését is.

Az integráció a LangChain create_agent és a Deep Agents create_deep_agent megoldásaival is működik. A hívások LangSmithben követhetők, így a fejlesztők egy helyen láthatják a ScaleDown használatát és annak költségelszámolását.