A LangChain ügynököt épített, amely más ügynökök hibáit keresi
A LangSmith Engine a LangChain új ügynöke, amely más ügynökök működési nyomaiból keresi a visszatérő hibákat. A rendszer a problémákat feladatokká alakítja, majd értékelőket, tesztadatokat és lehetséges kód- vagy promptmódosításokat javasol.
- A LangSmith Engine visszatérő hibamintákat keres ügynökök nyomkövetési adataiban.
- A problémákat az Issue Board felületén, bizonyítékokkal és súlyossági szinttel jeleníti meg.
- Értékelőket, regressziós tesztpéldákat és kód- vagy promptjavításokat javasol.
- Az Agent Overview projektmemóriaként is működik, és a futások során frissül.
- A rendszer nagy mennyiségű nyom feldolgozásához tömör összefoglalókat és alügynököket használ.
A gyártási hibákból követhető feladatok lesznek
A LangChain szerint az ügynökök fejlesztési ciklusának négy pillére a létrehozás, a tesztelés, a bevezetés és a megfigyelés. Ahogy nő a bevezetett ügynökök száma, úgy egyre több nyomkövetési adat keletkezik, ezért a fejlesztőknek több időt kell a hibák felderítésével tölteniük.
A LangSmith Engine olyan problémákat is keres, amelyek nem feltétlenül láthatók egyetlen áttekintő nézetből. Ilyen lehet, ha egy ügynök ismételten ugyanazokat az eszközhívásokat végzi, hibás argumentumokat használ, kihagy egy szükséges eszközt, vagy különböző futásokban újra és újra ugyanarra a kéréstípusra ad rossz választ.
A rendszer ezeket visszatérő hibamintákká rendezi. Az Issue Board nevű felületen minden probléma címet, leírást, kategóriát és alacsony, közepes vagy magas súlyossági szintet kap. A bejegyzésekhez bizonyítékként kapcsolódó nyomok és javasolt következő lépések tartoznak.
Nyomok, kód és tartós projektmemória
Az Engine négy fő bemenetre támaszkodik. Az első az Agent Overview, amely az ügynök működését, a nyomok felépítését, a figyelendő hibákat és a csapat beállításait írja le. A rendszer ezt az első futás során a betanítási válaszokból és a projekt környezetéből kezdi felépíteni, később pedig olvassa és frissíti.
A második bemenet a LangSmith nyomkövetési projektjeiből származó adat. A rendszer teljes futási adatok helyett gyakran tömör pályaösszefoglalókkal kezdi a vizsgálatot, és csak akkor tölti be a teljes nyomot, amikor mélyebb elemzésre van szükség. Emellett lekéri a már meglévő, nyitott és lezárt problémákat is, így elkerülheti az ismert hibák megkettőzését.
Opcionálisan egy kódtár is csatlakoztatható az Engine-höz. Ilyenkor a rendszer egy homokozóban telepíti a repozitóriumot, és a felhasználó megadhatja a használni kívánt ágat vagy alkönyvtárat. Ez pontosabb hibadiagnózist és külön javítóügynök bevonását teszi lehetővé.
Értékelők és regressziós példák a javításokhoz
A LangChain leírása szerint az Engine Deep Agentsre épül, és egy homokozóban dolgozik. Ebben fájlokat írhat, nyomokat vizsgálhat, kódot futtathat, valamint a csatlakoztatott repozitóriummal is dolgozhat. A LangSmith CLI szolgál a fő kapcsolódási felületként, ezen keresztül a rendszer nyomokat kérhet le, problémákat hozhat létre és frissíthet, illetve eredményeket küldhet vissza.
A nagy mennyiségű nyom feldolgozását alügynökök segítik. Ezek előszűrik az adatokat és kivizsgálják a valószínű problémákat, így a fő ügynöknek nem kell egyszerre minden teljes nyomot a kontextusában tartania.
Az Engine egy probléma felismerésén túl javasolhat online értékelőt, amely a jövőbeli futásokban jelzi ugyanazt a hibamintát. Bizonyítékként használt futásokból offline tesztadatpéldákat is készíthet, továbbá prompt- vagy kódmódosítást ajánlhat. A LangChain célja ezzel az, hogy a gyártásban észlelt hiba később tesztelhető és megelőzhető legyen.
LangChain: LangSmith Engine: How We Built an Agent for Improving Agents
