A Pydantic AI már Jevvel is osztályozza az ügynökök döntéseit

A Jev előre meghatározott válaszokat választ ki

A Pydantic szerint számos éles környezetben működő ügynök feladata nem szöveg írása, hanem egy döntés meghozatala. Ilyen lehet egy támogatási jegy felelős csapathoz rendelése, egy shell-parancs biztonságosságának vizsgálata vagy egy pontszám kiszámítása. Ezekhez a feladatokhoz eddig is nyelvi modellt lehetett használni, még akkor is, ha a kimenet végül csak egy logikai érték, egy felsorolt lehetőség vagy egy pontszám volt.

A TypeSafe Jev erre a döntési feladatra készült. A rendszernek átadható a vizsgálandó szöveg és több, típusosan meghatározott kérdés, majd minden kérdéshez választ és valószínűséget ad. A megoldás nem generál szöveget, amelyet később értelmezni kellene.

A Pydantic AI 2.50.0-ban a TypeSafeModel használható erre. Az ügynök kimeneti típusának minden mezője egy kérdéssé válik, a mező leírása pedig a kérdés szövege lesz. Az összes mező egyetlen kérésben kerül elküldésre.

A kimeneti típus határozza meg a döntést

A Pydantic bemutatója egy támogatási jegyet használ példaként. A modellnek azt kell eldöntenie, hogy sürgős-e a bejelentés, illetve melyik csapat felel érte. A Jev válasza ebben az esetben urgent=True és area='billing', mivel az ügyfél kétszeres terhelésről és túlhúzott számláról ír.

A bool igen vagy nem típusú kérdésnek felel meg, a Literal vagy az Enum egyetlen lehetőség kiválasztására alkalmas. A 0 és 1 közé korlátozott lebegőpontos mező maga lehet a valószínűség. Az IntEnum docstringekkel kiegészítve értékelési skálaként használható. Unió esetén Jev először kiválasztja, melyik kimenettípus illik a szöveghez, majd kitölti annak mezőit.

Ha a típus szabad formájú szöveget kér, amelyre Jev nem tud válaszolni, a rendszer még a kérés elküldése előtt UserError hibát jelez. Unió egyik tagjaként azonban egy ilyen mező is szerepelhet. Ha Jev ezt a tagot választja, a FallbackModel a megfelelő lépést nyelvi modellnek adja át.

A Logfire már a döntés menetét is rögzíti

A Pydantic közlése szerint korábban a beszélgetési nyomvonal csak a végső kimenetet tartalmazta. Így egy hibás osztályozásnál nem lehetett látni, mennyire volt biztos a modell a válaszában, milyen más lehetőségeket mérlegelt, vagy melyik útvonalat töltötte ki.

A Pydantic AI 2.50.0 két módosítást tartalmaz erre. A DecisionModel közös alaposztály minden olyan modellhez, amely ugyanazt a Decisions protokollt használja, a TypeSafeModel pedig erre épülő adapter. Emellett minden DecisionModel által küldött kéréshez egy decide span kerül a chat span alá.

Ez rögzíti a kérdéseket, a válaszokat és azok valószínűségeit, az alkalmazott küszöbértékeket, valamint azt, hogy éppen melyik útvonalat töltötte ki a rendszer. A tartalom megjelenítését az összes többi Pydantic AI spanhez hasonlóan az include_content beállítás vezérli. Kikapcsolt tartalom mellett a kérdéstípusok és az útvonalak láthatók maradnak, a kérdések szövege és a válaszok viszont nem.

A Live view a valószínűségeket is megmutatja

A Logfire Live view felületén egy ügynökfutás, modellfutás vagy decide span kiválasztása után az Agent Run nézetben megjelenik a Classifier output panel. A Pydantic példája egy támogatási ügynököt mutat, amely 15 kérdést tesz fel egy fiktív jegyről, ezek közül az első öt látható.

Az igen vagy nem típusú válaszoknál megjelenik a valószínűség. Az egyetlen lehetőséget kiválasztó kérdéseknél a felület megmutatja a választott opciót, és lenyitva az alternatívákat is. A súlyossági skála minden szintjének valószínűsége megtekinthető. A bemutatott 1,6-os pontszám mögött 65 százalékban a „nem tudja elvégezni a munkáját”, 30 százalékban a „rosszul dolgozik”, 5 százalékban pedig a „zavaró” szint szerepelt.

Uniót használó kimenetnél a panel mindkét lépést ugyanahhoz a bemenethez kapcsolva mutatja. A View decision span az egyes lépések mögötti döntési nyomvonalhoz vezet, a Raw Data nézet pedig minden rögzített attribútumot megőriz.

Jev értékelésekhez és más háttérrendszerekhez is használható

A Pydantic szerint Jev már bíróként is használható a Pydantic Evals rendszerben, például nagy mennyiségű értékeléshez. A szolgáltatás a Pydantic AI Gatewayen keresztül is elérhető saját TypeSafe-kulccsal.

A DecisionModel révén más döntési háttérrendszerek bekötése is lehetséges a szállítási réteg lefordításával. Ilyenkor a döntési nyomvonalak és a Live view osztályozási panelje is használható. A felhasználók ugyanazt az ügynököt futtathatják Jevvel és nyelvi modellel, majd saját adataikon összehasonlíthatják az eredményeket a kód átírása nélkül.