A Vercel AI Gateway már HTTP API-n keresztül is eléri a Jevet
A Vercel AI Gateway mostantól TypeSafe kliensen és HTTP API-n keresztül is használható a Jev probabilisztikus döntési modellhez. Az integráció az AI SDK mellett háromféle hozzáférési módot kínál, a kérések pedig az AI Gateway használatában és megfigyelési adataiban jelennek meg.
- A Jev TypeSafe kliensen, HTTP API-n és AI SDK-n keresztül is elérhető az AI Gateway-ben.
- A modell állapotból típusos válaszokat és valószínűségeket állít elő.
- Három kérdéstípus használható: boolean, choice és score.
- A Jev-hívások megjelennek az AI Gateway használati és megfigyelési adatai között.
- Az eve a Jevet alapértelmezett értékelési modellként használja.
Háromféle hozzáférés a Jevhez
A Vercel szeptember 21-én jelentette be, hogy a Jev elérhetővé vált a TypeSafe AI-n keresztül az AI Gateway használatával. A fejlesztők egy meglévő TypeSafe klienssel, közvetlen HTTP API-hívással vagy az AI SDK-val indíthatnak értékeléseket.
A TypeSafe kliens esetében elegendő az AI Gateway alap URL-jét és API-kulcsát megadni. A Vercel szerint a rendszerhívások, a kérdések és a válaszok formátuma változatlan marad, így a meglévő értékelési hívásokat nem kell átírni.
A HTTP API bármilyen programozási nyelvből vagy keretrendszerből elérhető. Az AI SDK azoknak a fejlesztőknek szól, akik TypeScript-alkalmazásból szeretnék futtatni ugyanazokat az értékeléseket.
Typed válaszok szöveggenerálás nélkül
A Jev a szoftverekhez készült probabilisztikus döntési modell. Bemenetként egy állapotot kap, majd típusos válaszokat ad vissza, hozzájuk tartozó valószínűségekkel. A Vercel leírása szerint így nincs szükség generált szöveg feldolgozására.
Az új integrációkban a modell neve typesafe-ai/jev. Három kérdéstípus használható: a boolean 0 és 1 közötti valószínűséget ad, a choice a megadott lehetőségek közül választ, a score pedig egy fejlesztő által meghatározott skálán értékel.
A Vercel példája egy olyan ügynök állapotát vizsgálja, amely kijavított egy pénztárfolyamattal kapcsolatos hibát, és minden tesztje sikeres lett. A kérdés arra vonatkozik, hogy az ügynöknek kell-e újabb lépést tennie. A kapott értékelés alapján a fejlesztő akkor engedélyezheti a folytatást, ha a valószínűség legalább 0,8.
A használat az AI Gateway-ben követhető
A Jevhez küldött kéréseket mindhárom hozzáférési útvonalon az AI Gateway számlázza. Ezek a használati és megfigyelési adatokban a többi modellhívás mellett jelennek meg.
A Vercel szerint a Jev használható az eve keretrendszerrel is, amely sandboxolt számítási környezetben futó ügynökök fejlesztésére és telepítésére szolgál, emberi jóváhagyásokkal és beépített értékelésekkel. Az eve a Jevet alapértelmezett értékelési modellként használja az automatikus modellválasztáshoz, a típusos értékelésekhez és az automatizált eszközjóváhagyásokhoz.
A meglévő TypeSafe-integrációkhoz a kompatibilis API-útmutató, új HTTP API-s vagy AI SDK-s kapcsolatokhoz pedig az értékelési útmutatók adnak további segítséget. A fejlesztők így a használt nyelvhez és keretrendszerhez igazíthatják a Jev bekötését, miközben a kérések kezelése az AI Gateway-en belül marad.
