Jev: gyors, strukturált döntéseket hozó modell érkezett az ügynökökhöz

A Jev nem hagyományos nyelvi modell

A LangChain szeptember 17-én közzétett bemutatója szerint az AI-ügynökök jellemzően ismétlődő ciklusban dolgoznak. Egy nyelvi modell eldönti, mi legyen a következő lépés, egy eszköz végrehajtja azt, a modell pedig kiértékeli az eredményt, majd folytatja a folyamatot. Minden döntés újabb modellhívást igényel, ami lassíthatja és drágíthatja az ügynök működését.

A Jev erre a problémára kínál másfajta megközelítést. A TypeSafe AI modellje nem szöveget generál, hanem a cég által System One modellnek nevezett kategóriába tartozik. Egy ilyen modell egy állapotot értékel ki, majd típusos válaszokat és valószínűségeket ad vissza. A TypeSafe AI szerint a Jevet megerősítéses tanulással, kalibrált döntésekre képezték.

Az alkalmazás egy állapotot, például egy ügyfélszolgálati üzenetet, valamint az ahhoz kapcsolódó kérdéseket küldi el. A kérdések lehetnek választási feladatok, rendezett szintek közötti pontozások vagy igen-nem típusú, úgynevezett noul kérdések. Egy Stripe-kapcsolati hibáról szóló példában a Jev 0,999 valószínűséget adott arra, hogy az ügy sürgős, így a rendszer előrébb sorolhatja a jegyet.

Több kérdés, párhuzamos kiértékeléssel

A LangChain ismertetése szerint ugyanarra az állapotra egyetlen kérésben több kérdés is feltehető. A System One modellek ezeket párhuzamosan értékelik, ezért az újabb kérdések hozzáadása alig növeli a válaszidőt. A többletköltséget az extra kérdésekhez szükséges tokenek jelentik, amelyek a bejegyzés szerint olcsók.

A Jev három kérdéstípust támogat. A Choice több lehetőség közül választ, és minden opcióhoz valószínűséget, valamint összesített magabiztossági értéket ad. A Score rendezett szintek, például az alacsony, közepes és magas kategória alapján értékel, folyamatos pontszámmal, eloszlással és magabiztossági értékkel. A Noul egy állítás igazságának valószínűségét adja meg.

A LangChain integrációja a Jevet a TypeSafeClassifier felületen teszi elérhetővé. A fejlesztőknek telepíteniük kell a langchain-typesafe csomagot, és be kell állítaniuk a TYPESAFE_API_KEY környezeti változót. Az állapot lehet szöveg, strukturált adat vagy LangChain-üzenet, így a modell az ügynök meglévő kontextusával is meghívható.

Modellválasztás és veszélyes eszközhívások ellenőrzése

A LangChain két felhasználási módot emel ki. A modellútválasztásnál a Jev a kérés alapján dönthet arról, hogy egy gyorsabb, olcsóbb vagy egy nagyobb képességű modell fusson. Egyszerű lekérdezésekhez és adatkinyeréshez az előbbi lehet megfelelő, míg összetett hibakereséshez vagy nagy tétű döntésekhez másik modell választható. A valószínűségek és a magabiztossági értékek az ügynök állapotában is elérhetők maradnak.

A másik példa az Auto Mode. A LangChain szerint az ügynökök hibás utasításokat kaphatnak, akár támadóktól is, és emiatt nem kívánt műveleteket hajthatnak végre. Az AutoModeMiddleware a Jev segítségével ellenőrzi az eszközhívásokat, és a kockázatosnak ítélt műveleteket még az eszköz végrehajtása előtt blokkolhatja. A bemutatott példában a middleware a bash eszköz hívásait figyeli.

A Jev így nem váltja ki a nyílt végű gondolkodásra és szöveggenerálásra használt nyelvi modelleket. A LangChain olyan kiegészítőként mutatja be, amely az ügynök döntési pontjain gyorsabb, strukturáltabb és a megadott állításokhoz valószínűségeket rendelő kiértékelést adhat. A bejegyzés szerint már böngészőhasználatra épülő ügynökökben, élő kereskedési ügynökben és nagy léptékű e-mail-feldolgozásban is alkalmazzák.