A LangChain Jevvel építene gyorsabb és olcsóbb AI-ügynököket
A LangChain bemutatta, hogyan használható együtt a TypeSafe Jev döntési modellje és a LangGraph az AI-ügynökök megbízhatóbb működtetésére. A vállalat szerint Jev a szűk osztályozási és útválasztási feladatokban gyorsabb és olcsóbb lehet a vezető nagy nyelvi modelleknél.
- Jev strukturált döntéseket ad, szöveget nem generál.
- A LangChain szerint Jev egyes feladatokban akár 200-szor gyorsabb és 400-szor olcsóbb lehet.
- A LangGraph állapotkezeléssel, megszakításokkal és nyomkövetéssel szervezi a folyamatokat.
- Dokumentumvizsgálati tesztben Jev 5-6-szor gyorsabb volt Sonnetsnél a besorolásban.
Jev szöveggenerálás helyett döntéseket hoz
A TypeSafe által kiadott Jev olyan modell, amely nem szöveget generál, hanem közvetlenül a program által felhasználható döntéseket hoz. A megközelítés lényege, hogy a program kezeli a munkafolyamatot, az AI pedig szűk, strukturált döntéseket végez.
Jevnek állapotot és kérdéseket lehet megadni, válaszként pedig típusos eredményeket és valószínűségeket ad. Ez lehetővé teszi, hogy a kód kiszámítható módon továbbítsa a folyamatot a következő lépéshez. A LangChain által idézett TypeSafe-mérések szerint Jev bizonyos útválasztási és osztályozási feladatokban akár 200-szor gyorsabb és 400-szor olcsóbb lehet a vezető nagy nyelvi modelleknél.
A LangChain kiemeli, hogy Jev több kérdést is képes párhuzamosan megválaszolni ugyanarról az állapotról. A vállalat szerint a modell ismételt kiértékeléseknél stabil válaszokra törekszik, ami eltér a nagy nyelvi modellek futásonként változó eredményeitől.
A LangGraph a döntések köré szervezi a folyamatot
A Jev által meghozott döntéseket a LangChain szerint a LangGraph hangolja össze. Egy LangGraph-alkalmazás csomópontokból, állapotból és élekből épül fel. A csomópont lehet egyszerű kód, modellhívás, eszközhívás vagy akár egy teljes algráf. Az állapot tartalmazza az olvasott és frissített információkat, az élek pedig meghatározzák, melyik csomópont fusson következőként.
A LangChain szerint a folyamat eredményei lépésenként bekerülnek az állapotba, amely később a további döntések kontextusaként és az útvonal meghatározójaként szolgál. Így a működés logikája a gráf felépítésében jelenik meg, a döntést pedig a modell hozza meg.
A rendszer futtatási környezete tartós végrehajtást, emberi felülvizsgálatot és megfigyelhetőséget is kínál. A minden lépés után mentett állapot lehetővé teszi, hogy egy megszakadt folyamat a korábbi döntésekből folytatódjon. Az emberi beavatkozási pontoknál a folyamat szüneteltethető, jóváhagyható, majd folytatható. A LangSmith nyomkövetései megmutatják, milyen döntés született és miért.
Dokumentumvizsgálatban tesztelték a párost
A LangChain egy peres dokumentumvizsgálati példán keresztül szemléltette a működést. Jev minden oldalnál három kérdésre válaszol: releváns-e az oldal a megkeresés szempontjából, tartalmaz-e személyes adatot, illetve lehet-e rajta ügyvédi titoktartalom alá eső információ.
A nem releváns oldalakat félreteszik, a személyes adatokat tartalmazó dokumentumokat egy nagy nyelvi modell maszkolja, a lehetséges titoktartással érintett oldalakat pedig az attorney_review folyamat emberi ellenőrzésre küldi. A többi oldal átadhatóvá válik.
A LangChain szerint ugyanaz a gráf Jevvel a besorolási lépésben 5-6-szor gyorsabb volt, mint amikor Sonnet látta el a bírói szerepet. A vállalat a kísérletek nyomait LangSmithben követte, ahol az egyes oldalak útvonala és a döntések valószínűségei is megtekinthetők.
A példa azt mutatja, hogy a rendszer a gyakran ismétlődő, jól körülhatárolható döntéseket Jevre bízhatja, miközben a bonyolultabb feladatokat nagy nyelvi modellhez, a jogi felülvizsgálatot pedig emberhez továbbítja. A LangChain szerint ez az AI-képességek szétválasztásának irányába mutat, ahol minden részfeladatot az arra alkalmas modell végez.
LangChain: Building Production Agents with Jev and LangGraph
