Olvasható munkamenetekkel segíti az ügynökök hibakeresését a LangSmith
A LangSmith új Trajectories funkciója időrendi, párbeszédszerű nézetben mutatja meg, hogyan zajlott le egy AI-ügynök munkamenete. A fejlesztők így gyorsabban azonosíthatják a hibás viselkedéshez vezető lépést, majd a részletes nyomkövetésben vizsgálhatják az okokat.
- A Trajectories időrendi, olvasható nézetben mutatja az ügynöki munkameneteket.
- A fejlesztők a viselkedés fontos lépésétől ugorhatnak a részletes trace-hez.
- A trajectory-k szakértői értékelési sorokba és adatkészletekbe küldhetők.
- Az online értékelők a teljes ügynöki útvonalat pontozhatják.
- A funkció minden csomagban elérhető az Egyesült Államokban.
A teljes nyomkövetés helyett először a viselkedés látható
A LangChain szeptember 24-i bejelentése szerint a Trajectories a LangSmithben rögzített ügynöki munkamenetek új, kronologikus nézete. Egy trajectory összegyűjti a fő ügynök és az esetleges alügynökök emberi, AI- és eszközöktől származó üzeneteit, majd abban a sorrendben jeleníti meg őket, ahogyan először megjelentek.
A LangSmithben az ügynök által végzett minden munkafolyamat egy futtatásként, az egy művelethez tartozó futtatások pedig trace-ként jelennek meg. Többfordulós munkamenet esetén ezek a trace-ek egy szálhoz kapcsolódnak. A teljes nyomkövetés megőrzi a beágyazott futtatásokat, az időzítést, az újrapróbálkozásokat, a bemeneteket, a kimeneteket és a metaadatokat. A Trajectories ezzel szemben elhagyja a beágyazott struktúrát, és az ügynök viselkedését magyarázó üzenetekre és műveletekre összpontosít.
Gyorsabb hibakeresés hosszú munkamenetekben
Hosszú ideig futó ügynököknél egyetlen munkamenet számos felhasználói fordulót, eszközhívást, újrapróbálkozást és alügynöki átadást tartalmazhat. Ilyenkor a teljes trace-ben nehéz lehet megtalálni azt a lépést, ahol az ügynök eltért a várt működéstől.
A LangChain példája szerint egy támogatási ügynök kilenc forduló és hatvan üzenet után hibás választ ad. A trajectory nézetben a fejlesztő időrendben átnézheti a beszélgetést, az eszközhívásokat és az ügynök műveleteit, majd megállapíthatja, hogy az ügynök egy régi eszközeredményt használt az aktuális adatok lekérése helyett. Innen megnyitható az alapul szolgáló trace, amely a pontos eszközbemenetet, kimenetet, időzítést, újrapróbálkozásokat és a beágyazott futtatási struktúrát is tartalmazza.
A funkció a LangChainből, LangGraphból és Deep Agentsből küldött trace-ekkel, továbbá olyan ügynöki SDK-kkal működik, mint az OpenAI és a Claude. A kódoló ügynökök közül a Codex, a Claude Code és a Cursor is szerepel a támogatott megoldások között.
Szakértői értékelés és tanítási adatok
A Trajectories azokat a felülvizsgálati folyamatokat is támogatja, amelyekben a termék szakértői nem vettek részt az ügynök fejlesztésében. Egy egészségügyi szakértő például azt ellenőrizheti, hogy egy klinikai adatfelvevő ügynök feltette-e a megfelelő kérdést, egy támogatási vezető pedig azt, hogy az eszkalációs folyamat megfelelt-e az irányelveknek. A trajectory-k értékelési sorokba továbbíthatók, ahol a szakértők pontozhatják a viselkedést, jelezhetik a problémákat és visszajelzést adhatnak.
A LangSmith online értékelői már trajectory-ket is pontozhatnak. A rendszer így a teljes munkamenet útvonalát vizsgálhatja, miközben minden üzenet csak egyszer szerepel. A csapatok kiszűrhetik az alacsony pontszámú munkameneteket, emberi ellenőrzésre küldhetik őket, vagy adatkészletekbe menthetik a példákat.
A jó minőségű trajectory-k felhasználhatók utólagos modelltréninghez is. Tartalmazhatják a rendszerüzeneteket, a felhasználói üzeneteket, az asszisztens válaszait, az eszközhívásokat és az eszközök kimeneteit. Ez lehetővé teszi, hogy a csapatok ne csak a végső választ, hanem a tisztázó kérdéseket, a használt eszközöket és a munkamenet közbeni alkalmazkodást is példaként mentsék el felügyelt finomhangolási folyamatokhoz.
A Trajectories a LangChain szerint minden csomagban elérhető az Egyesült Államokban. A felhasználók bejelentkezés vagy regisztráció után próbálhatják ki a funkciót.
