A Pydantic AI Gatewayen is elérhető a TypeSafe Jev modellje

A Jev szöveget osztályoz kérdések alapján

A Jev nem csevegőmodell. Egy szövegrészletet és típusosan meghatározott kérdések halmazát kapja meg, majd minden kérdéshez választ és valószínűséget ad vissza. A Pydantic szerint David Montague már bemutatta, hogyan használható a modell bíróként a Pydantic Evals rendszerben, a szolgáltatás díja pedig 0,042 dollár egymillió bemeneti tokenenként.

Ez a működés olyan feladatokra alkalmas, ahol egy alkalmazásnak előre megadott szempontok szerint kell értékelnie egy szöveget. A forrás példája egy olyan kérdést használ, amely azt vizsgálja, sürgősnek tekinthető-e egy üzenet a kifizetések többnapos hibájáról.

Saját TypeSafe-kulccsal kapcsolható be

A TypeSafe a Pydantic AI Gatewayben saját kulcs használatát támogató szolgáltatóként jelenik meg. A beállítást a Pydantic Logfire Gateway, majd Providers részében lehet elindítani. A felhasználónak a TypeSafe AI szolgáltatót kell kiválasztania, be kell illesztenie a TypeSafe API-kulcsát, majd tesztelnie kell a kapcsolatot.

A Gateway a megadott kulccsal lekéri a TypeSafe modelljeit, így egy hibás kulcs már a beállítás során kiderülhet, nem az első éles kérésnél. A szolgáltató elnevezése után a Connect párbeszédablak alapértelmezésként a jev-latest modellt kínálja fel, és egy, a Gateway-kulcsot használó kódrészletet ad.

A Jev a TypeSafe System One API-ját használja, nem az OpenAI chat formátumát. A Pydantic AI Gateway ezért natívan továbbítja a kéréseket a TypeSafe rendszerébe. A TypeSafe Python SDK-val szintén használható, ehhez a typesafe-sdk csomagot kell telepíteni, majd a kliens alap URL-jét a Gateway megfelelő proxyútvonalára kell állítani.

Közös költségfigyelés és védelmi szabályok

A Pydantic közlése szerint a Gateway nem módosítja a Jev árát vagy válaszidejét. A szolgáltatás a többi szolgáltatónál megszokott kezelési lehetőségeket adja hozzá: minden kérést mér, így a Jev használata megjelenik ugyanabban a költségnézetben és ugyanazok között a limitek között, mint a nyelvi modelleké.

A bemeneti védelmi szabályok a szövegre, az utasításokra és a kritériumokra is lefutnak, mielőtt a kérés eljutna a TypeSafe-hoz. Az alkalmazásnak közben csak a Gateway-kulcsot kell kezelnie, a TypeSafe-kulcsot nem.

A Pydantic AI felhasználói a Jevet a TypeSafeModel segítségével ügynökökben is alkalmazhatják. Ilyenkor a kimeneti típus minden mezője egy kérdéssé válik. A Pydantic példája egy támogatási jegyet sürgősség és felelős terület szerint osztályoz, például a számlázási problémákat a billing kategóriába sorolja. A funkcióhoz a Pydantic AI typesafe kiegészítőjét kell telepíteni, a szolgáltatónál pedig a Gateway-kulcsot és a proxy URL-jét kell megadni.