A LangSmith Engine több mint kétszer jobban találja meg az ügynökhibákat

A termelési nyomokból keres hibákat

A LangSmith Engine a LangChain platformjába épített ügynök, amely a termelési környezetben keletkező nyomokat elemzi. Az eszköz azonosítja és csoportosítja a kapcsolódó problémákat, feltárja a kiváltó okokat, javításokat javasol, majd figyeli, hogy a hiba visszatér-e.

A LangChain szerint a termelési ügynökök akár több millió nyomot is létrehozhatnak. Ezek egyenkénti átvizsgálása, a hibák gyökerének megtalálása és a javítások elkészítése ilyen léptékben nem praktikus. Az Engine ezt a folyamatot támogatja az ügynökfejlesztési életciklus több pontján.

Az eszköz a problémához kapcsolódó futásokat, bizonyítékokat, eseményidővonalat és kiváltó okot is megjelenít. Emellett prompt- vagy kódmódosítást, valamint áttekintésre kész, telepíthető pull requestet javasol. A hibás futások adatkészletpéldákként is elérhetők, így a javítás a bevezetés előtt, offline ellenőrizhető.

Jelentősen javultak a mérési eredmények

A LangChain 2026. augusztus 25-i közlése szerint az Engine a májusi indulása óta több mint 60 millió nyomot vizsgált át, és az ügyfelek ügynökeinél több mint 20 ezer problémát talált. A vállalat állítása szerint ez több tízezer mérnöki munkaórát takarított meg.

A frissített Engine a LangChain belső IssueBench mérésén több mint kétszer jobb eredményt ér el. Ez a teszt azt vizsgálja, mennyire hatékonyan azonosítja és csoportosítja az eszköz a nyomokban megjelenő problémákat. A javításokat értékelő nyilvános mércéken, például a Terminal-Benchen, 25 százalékkal jobb eredményt ért el.

A vállalat szerint ennek hatására az Engine nagyobb jelértékű problémákat emel ki, több hibát talál meg az ügynökfutások között, és hatékonyabb javításokat javasol. A LangChain célja, hogy a fejlesztők a legfontosabb problémákra összpontosíthassanak, és gyorsabban jussanak el a felismeréstől a javításig.

Slack, Linear és saját üzemeltetésű telepítés

Az Engine mostantól saját üzemeltetésű LangSmith-telepítésekben is használható. Ilyenkor a vezérlés a felhasználó virtuális privát felhőjében fut, a kezelt következtetéshez pedig a LangSmith Intelligence szolgáltatás küld kéréseket. A LangChain ezt felügyelt, nulla adatmegőrzésű szolgáltatásként írja le.

Az eszköz Slack-értesítéseket küldhet az újonnan észlelt problémákról, a hibákból pedig automatikusan Linear-feladatokat nyithat. Így az Engine által talált gondok bekerülhetnek a fejlesztőcsapatok meglévő hibakezelési és prioritáskezelési folyamatába.

A Reduced Analysis mód kevesebb nyom átvizsgálását teszi lehetővé, ami a költségérzékeny csapatoknak ad nagyobb kontrollt. Az Engine emellett automatikusan lezárja azokat az elavult problémákat, amelyek már nem jelennek meg az ügynök nyomaiban. A LangSmith nyomkövetésével való szorosabb integráció konkrétan megmutatja, hol történt az adott hiba.

A következő lépés a javítások automatikus ellenőrzése

A LangChain a következő fejlesztési irányként az automatikus ellenőrzést jelölte meg. A tervek szerint az Engine a javasolt javításokat a felhasználó adatkészletein futtatja majd, és az eredményeket az érintett problémák mellett jeleníti meg. Így a csapatok a szállítás előtt láthatják, hogy működik-e a változtatás.

A vállalat szerint az Engine az ügynökök nyomaiból és promptjaiból értékelési adatkészleteket is létrehoz majd. A funkció olyan ügynököknél is támogatja az adatkészlet-készítést, amelyekhez még nem állnak rendelkezésre meglévő nyomok.

A LangSmith Engine a közlemény szerint SaaS- és saját üzemeltetésű telepítésekben, minden LangSmith Plus és Enterprise csomagban elérhető. Plus előfizetésnél néhány kattintással bekapcsolható, Enterprise ügyfelek pedig a fiókcsapatukon keresztül kezdhetik el használni.