Red teaminggel és automatikus teszteléssel bővül a LangSmith Engine

A rendszer már éles használat előtt keresheti a hibákat

A LangSmith Engine egy platformon belüli ügynök, amely az ügynökfejlesztési életciklus egyes lépéseinek automatizálására szolgál. A LangChain szerint a májusi indulás óta több mint 70 millió nyomkövetési adatot, úgynevezett trace-t elemzett, és több tízezer problémát diagnosztizált.

A szeptember 24-én bejelentett v2 új funkciója a Red Teaming, egy proaktív hibakereső eszköz. Ez az ügynök éles működésből származó trace-eit és a kódtárakat elemzi, hogy megértse az alkalmazás célját és viselkedését. Ezután gyenge pontokat keres, például hallucinációkat vagy a rendszerutasítások megsértését, akkor is, ha ezek még nem jelentek meg az éles használatban.

A LangChain közlése szerint a felhasználók ellenőrzött, releváns problémalistát kapnak, amely a későbbi hibák megelőzésében segíthet. A Red Teaming jelenleg privát bétában érhető el a LangSmith Deployment meglévő felhasználóinak.

Az ineffektív működést és a teljesítmény romlását is figyeli

Az Engine v2 olyan problémákat is keres, amelyek egy egyszerű emberi felülvizsgálat során könnyen rejtve maradhatnak. Ilyen lehet az ügynök ineffektív működése, amikor például hibás vagy ismétlődő eszközhívást indít, és emiatt kerülő úton old meg egy feladatot. A rendszer ilyenkor hatékonyabb alternatívát javasol.

A teljesítménytrendek követése szintén az új képességek része. Az Engine a hibaarány, a késleltetés és a költség alakulását vizsgálja, így a fejlesztők olyan romlást is észlelhetnek, amely csak később okozna felhasználói problémát vagy növelné a nyelvi modellek használati költségét. A LangChain szerint minden probléma ugyanabba a feladatlistába kerül, így egy helyen lehet követni és kezelni az ügynök hibáit.

Az Engine a feltárt problémákat osztályozza, az összetartozó trace-eket egyetlen ügybe csoportosítja, és a javításhoz szükséges információkat is megadja. Ezek között szerepel a kiváltó ok, a javasolt módosítás, valamint az értékelési adatkészletekhez használható igazságpéldák és a folyamatos figyelés.

A javításokat is ellenőrzi a rendszer

A LangSmith Engine korábban is javasolt javításokat a felismert hibákra, de a fejlesztőknek a bevezetés előtt maguknak kellett tesztelniük ezeket, vagy éles forgalmon kellett figyelniük a hatásukat. Az Engine v2 a LangSmith Deploymentet használó ügynököknél automatikusan ellenőrzi a javításokat, mielőtt azok a felülvizsgálati listára kerülnének.

A folyamat során a rendszer először reprodukálja a hibát az érintett bemenetekkel. Ezután módosítást javasol, ugyanazokon a bemeneteken teszteli, értékeli az eredményt, majd szükség esetén tovább alakítja a javítást. Miután megerősítette, hogy a módosítás megoldja a problémát, a javítást átadja a felhasználónak a LangSmithben. Innen egyetlen kattintással pull request nyitható a gyorsabb bevezetéshez.

Ez a képesség szintén privát bétában érhető el a meglévő LangSmith Deployment-felhasználóknak. Az Engine v2 SaaS-környezetben minden LangSmith Plus és Enterprise csomagban elérhető. A Self-Hosted csomagok támogatása a LangChain szerint hamarosan érkezik.

A LangChain további fejlesztéseket ígér

A vállalat folyamatosan módosítja az Engine működési keretrendszerét, promptjait és az alapul szolgáló modelleket. A LangChain augusztusi mérései szerint az Engine az IssueBench alapján több mint kétszer jobb lett a problémák felismerésében, a Terminal-Bench alapján pedig 25 százalékkal hatékonyabb javításokat ad.

A következő önálló üzemeltetési kiadásban a szigorú adatkezelési szabályokkal dolgozó csapatok számára érkezik a saját kulcs használata, vagyis a BYOK támogatás. Ez lehetővé teszi, hogy a vállalatok saját modell-API-kulcsukkal működtessék az Engine következtetését, miközben a trace-adatok a saját virtuális privát felhőjükben maradnak.