A Jev gyorsabb döntéseket adhat az AI-ügynököknek
A LangChain szerint a TypeSafe AI Jev modellje felgyorsíthatja az AI-ügynökök döntési ciklusait. A Jev nem szöveget generál, hanem strukturált válaszokat és valószínűségeket ad az ügynök következő lépéseihez.
- A Jev System One modell, amely strukturált döntéseket és valószínűségeket ad.
- A TypeSafe AI szerint osztályozásban akár 200-szor gyorsabb és 400-szor olcsóbb lehet.
- A modell Choice, Score és Noul típusú kérdéseket támogat.
- A LangChain modellútválasztásra és kockázatos eszközhívások blokkolására is használja.
- A Jev nem szöveget generál, ezért a nyelvi modellek kiegészítője lehet.
A Jev nem hagyományos nyelvi modell
Az AI-ügynökök általában ismétlődő ciklusban működnek: egy nyelvi modell eldönti, mit kell tenni, egy eszköz végrehajtja a műveletet, a modell pedig kiértékeli az eredményt. Ez a folyamat minden döntésnél újabb modellhívást igényelhet, ami növeli a késleltetést és a költségeket.
A TypeSafe AI Jev nevű modellje erre a döntési részre kínál külön megoldást. A LangChain beszámolója szerint a Jev úgynevezett System One modell, amely nem szöveget ír, hanem egy állapotot értékel, majd típusos válaszokat és valószínűségeket ad. A modellt megerősítéses tanulással, kalibrált döntésekre képezték.
A TypeSafe AI állítása szerint a Jev az összehasonlítható nyelvi modelleknél akár 200-szor gyorsabb következtetést és 400-szor alacsonyabb költséget érhet el osztályozási feladatokban. Ezek a számok a vállalat közlései.
Háromféle kérdés, párhuzamos kiértékeléssel
A Jevnek egy állapotot, például egy ügyfélszolgálati üzenetet, valamint az ahhoz kapcsolódó kérdéseket kell elküldeni. A támogatott kérdéstípusok között van a Choice, amely több lehetőség közül választ, a Score, amely rendezett szintek alapján értékel, valamint a Noul, amely egy igen vagy nem jellegű állítás igazságának valószínűségét adja meg.
A LangChain példájában egy Stripe-fiók csatlakozási hibájáról szóló, sürgős segítséget kérő üzenetet vizsgálnak. A Jev erre 0,999-es értéket ad az sürgősségre, vagyis az alkalmazás 99,9 százalékos valószínűségként használhatja fel az eredményt a jegy előresorolásához.
Egyetlen kérésben több kérdés is feltehető ugyanarról az állapotról. A LangChain szerint a System One modellek ezeket párhuzamosan értékelik ki, ezért további kérdések hozzáadása alig módosítja a válaszidőt. A plusz kérdések költsége a hozzájuk tartozó tokenekből adódik.
LangChain-integráció és gyakorlati felhasználás
A LangChain a Jevet a TypeSafeClassifier integráción keresztül teszi elérhetővé. A fejlesztőknek telepíteniük kell a langchain-typesafe csomagot, be kell állítaniuk a TYPESAFE_API_KEY környezeti változót, majd az invoke() hívással küldhetik el az állapotot és a kérdéseket. Az állapot lehet szöveg, strukturált adat vagy LangChain-üzenet.
A Jev egyik lehetséges feladata a modellútválasztás. A rendszer a kérés alapján kiválaszthatja, hogy egy egyszerű feladathoz gyorsabb modellt, összetett hibakereséshez vagy nagyobb kockázatú döntéshez pedig erősebb modellt használjon. A döntés valószínűségei és a hozzájuk tartozó megbízhatóság az ügynök állapotában is elérhetők.
A LangChain AutoModeMiddleware megoldása a Jev segítségével ellenőrzi az eszközhívásokat, és a kockázatosnak ítélt műveleteket még az eszköz végrehajtása előtt blokkolhatja. A LangChain szerint ez a megközelítés a kódolási eszközökben már használt veszélyes műveletellenőrzést más ügynökökre is kiterjesztheti.
A Jev így nem a nyílt végű gondolkodást vagy a szöveggenerálást váltja ki. A LangChain által bemutatott felosztásban a nyelvi modell végzi a generálást és az összetett érvelést, a Jev pedig a köztes, gyors és strukturált döntéseket támogatja.
LangChain: What Is Jev? A Guide to TypeSafe AI’s System One Model
