A LangChain Jevvel építene gyorsabb és olcsóbb AI-ügynököket
A LangChain bemutatta, hogyan használható együtt a TypeSafe döntési modellje, a Jev és a LangGraph éles környezetbe szánt AI-ügynökökben. A megközelítésben a kód irányítja a munkafolyamatot, a modell pedig szűk, strukturált döntéseket hoz.
- A Jev strukturált döntéseket és valószínűségeket ad vissza, szöveget nem generál.
- A TypeSafe szerint a Jev bizonyos feladatokban akár 200-szor gyorsabb és 400-szor olcsóbb lehet vezető nyelvi modelleknél.
- A LangGraph csomópontokkal, állapottal és élekkel szervezi a munkafolyamatokat.
- A LangGraph támogatja a mentett állapotból való folytatást, az emberi ellenőrzést és a nyomkövetést.
- A LangChain dokumentumvizsgálati példájában a Jev osztályozása 5 és 6-szor gyorsabb volt a Sonnet használatánál.
A Jev nem szöveget generál, hanem döntéseket hoz
A TypeSafe által kiadott Jev eltér a hagyományos nagy nyelvi modellektől: nem szöveget állít elő, hanem olyan döntéseket hoz, amelyeket a program közvetlenül felhasználhat. A TypeSafe ezt AI-alapú szoftverként írja le, ahol a kód kezeli a munkafolyamatot, a mesterséges intelligencia pedig szűk és strukturált döntésekért felel.
A Jevnek állapotot és kérdések egy csoportját kell megadni, a modell pedig típusos válaszokat és valószínűségeket ad vissza. Ez lehetővé teszi, hogy a program kiszámítható módon reagáljon az eredményekre. A LangChain szerint több kérdés párhuzamosan is feltehető ugyanarról az állapotról, a döntések pedig elég olcsók lehetnek ahhoz, hogy egy futás során sokat lehessen belőlük végrehajtani.
A TypeSafe mérései alapján a Jev szűk döntési feladatokban, például útválasztásnál és osztályozásnál, akár 200-szor gyorsabb és 400-szor olcsóbb lehet vezető nyelvi modelleknél. Ezek a számok a TypeSafe benchmarkjaira vonatkoznak, ezért a LangChain a vállalat állításaként ismerteti őket.
A LangGraph a döntéseket ellenőrizhető folyamattá szervezi
A LangChain szerint a Jev olcsó döntései önmagukban nem oldják meg az ügynökök fejlesztésének problémáját. A különböző döntések egymásra épülnek, ezért szükség van egy rendszerre, amely meghatározza, milyen sorrendben fussanak le, milyen információt kapjanak, és mikor kell további feldolgozásra váltani. Ezt a szerepet tölti be a LangGraph.
Egy LangGraph-alkalmazás három alapvető elemből áll. A csomópontok munkát végeznek, ami lehet egyszerű kód, modellhívás, eszközhívás vagy egy teljes algráf. Az állapot tárolja az információt, amelyet a csomópontok olvasnak és frissítenek. Az élek határozzák meg, melyik csomópont fusson következőként, rögzített útvonalon vagy az aktuális állapot alapján.
A LangChain közlése szerint a LangGraphot havonta több mint 60 millió alkalommal töltik le, és számos Fortune 50 vállalat használja AI-rendszerek építésére. A rendszerben az egyes lépések eredményei folyamatosan bekerülnek az állapotba. Így a későbbi lépések az összegyűjtött állapotból dolgoznak, a munkafolyamat szabályai pedig a gráf szerkezetében maradnak, nem kizárólag a promptokban.
Hibatűrés, emberi ellenőrzés és dokumentumvizsgálat
A LangGraph futtatási környezete több, éles rendszereknél fontos funkciót biztosít. Az állapot minden lépésnél menthető, így egy sikertelen futás folytatható a korábban meghozott döntésekkel. Az ember a folyamatba is bevonható: a rendszer egy lépésnél megállhat, jóváhagyást kérhet, majd később folytathatja a munkát. A LangSmith nyomkövetései megmutatják, milyen döntés született és miért.
A LangChain egy peres ügyekhez kapcsolódó dokumentumvizsgálatot hoz példaként. Ilyenkor minden oldalt át kell nézni, egy ügy pedig több százezer oldalt is tartalmazhat. A Jev minden oldalnál három kérdésre válaszol: kapcsolódik-e a megkereséshez, tartalmaz-e személyes adatot, illetve lehet-e jogilag védett tartalom benne.
A válaszok alapján az oldal különböző útvonalakra kerül. A nem releváns oldalakat félreteszik, a személyes adatokat tartalmazókat egy nyelvi modell anonimizálhatja, a kiváltságosnak tűnő tartalmakat pedig ügyvédi ellenőrzésre küldik. A LangChain szerint a Jevvel végzett osztályozás a Sonnet bíróként való használatához képest 5 és 6-szor gyorsabb volt a vizsgált futásokban. A vállalat közlése szerint a döntésekhez tartozó útvonal és valószínűségek a LangSmithben megtekinthetők.
Az intelligencia képességeinek szétválasztása
A LangChain ezt a modellszerepek szétválasztásának részeként mutatja be. Ahelyett, hogy minden feladatot egyetlen, általános célú frontier nyelvi modell végezne, az egyes képességek külön modellekhez kerülhetnek. A Jev a megítélést és az osztályozást kezeli strukturált válaszokkal, a LangGraph pedig összeköti a döntéseket, meghatározza az útvonalakat, és szükség esetén nagyobb modellekhez vagy emberhez továbbítja a feladatot.
A LangChain szerint ez olyan feladatoknál lehet fontos, ahol a rendszernek sok ismétlődő döntést kell meghoznia, miközben csak az összetettebb vagy bizonytalan esetek igényelnek nyelvi modellt és emberi beavatkozást. A Jev és a LangGraph együtt így a kód által ellenőrizhető folyamatokat kapcsolja össze a modellalapú ítéletalkotással.
LangChain: Building Production Agents with Jev and LangGraph
