LangSmith Engine v2 és finomhangolás érkezett az ügynökökhöz
A LangChain több új LangSmith-funkciót jelentett be az AI-ügynökök fejlesztéséhez és üzemeltetéséhez. Az Engine v2 hibák felderítését és a javítások tesztelését automatizálja, miközben a Managed Deep Agents új memóriát, hitelesítést és beépített webes keresést kapott.
- A LangSmith Engine v2 red teaminggel és automatikus javítás-ellenőrzéssel bővült.
- A Managed Deep Agents 0.8 felhasználói memóriát, új csatornákat és beépített webes keresést kapott.
- A Trajectories időrendi, beszélgetésszerű nézetet ad az ügynöki munkamenetekhez.
- A LangSmith Fine-Tuning Trajectories adataiból segít nyílt modelleket finomhangolni.
- A Custom Apps egyedi LangSmith-felületek közzétételét teszi lehetővé.
Az Engine v2 már a gyártási hibák előtt keres problémákat
A LangChain szeptember 25-i bejelentése szerint a LangSmith Engine v2 az ügynökfejlesztési folyamat több lépését automatizálja, a problémák felismerésétől a javítások ellenőrzéséig. A rendszer májusi indulása óta több mint 60 millió nyomkövetést elemzett, és több tízezer probléma diagnosztizálásában segített a mérnököknek.
Az új red teaming funkciók a gyártási környezetben még meg nem jelent hibák felderítését célozzák. Az Engine a gyártási nyomkövetések és a kódforrások alapján hipotéziseket készít, ezeket teszteli, majd felülvizsgálatra jelzi a megerősített hibákat.
A rendszer az eddigieknél több problématípust ismer fel. Az elvétett felhasználói kérések és a hibák mellett képes teljesítménytrendeket keresni a hibaarány, a késleltetés és a költség alapján. Az olyan nem hatékony működést is azonosíthatja, mint az ismétlődő eszközhívások vagy a szükségtelenül hosszú munkamenetek.
A LangSmith Deploymentben futó ügynököknél az Engine v2 a javasolt javításokat emberi jóváhagyás és élesítés előtt is ellenőrzi. Először a problémás bemeneteken futtatja le az ügynököt, majd egy szélesebb értékelési adathalmazon teszteli a lehetséges javításokat. A megfelelőnek ítélt változtatásból a felhasználó egy kattintással pull requestet nyithat. A LangSmith következő önállóan üzemeltethető kiadása támogatja majd a saját kulcs használatát az Engine-hez.
Felhasználónként elkülönített memória és beépített keresés
A Managed Deep Agents 0.8 a Deep Agents keretrendszert kezelt infrastruktúrával kapcsolja össze. Az újdonságok négy, éles környezetben gyakori területet érintenek: a memóriát, a hitelesítést, a csatornákat és az eszközök kezelését.
Az ügynökök már felhasználói szintű memóriát is használhatnak. Ez lehetővé teszi, hogy az adott, hitelesített felhasználóhoz tartozó kontextust az ügynök elkülönítse a közös, ügynökszintű memóriától. A futtatási környezet nem másolja át a tartalmat a két réteg között, és mindkét szinten külön hozzáférési szabályok határozhatók meg.
A rendszer mostantól az ügynökhöz és a felhasználóhoz tartozó hitelesítő adatokat is kezeli külső kapcsolatoknál, például GitHub- és Notion-integrációknál. A Slack-támogatás fájlküldéssel bővült, így a felhasználók naplókat, táblázatokat, szerződéseket és képernyőképeket is küldhetnek az ügynöknek. Az új HTTP-csatornával bármely JSON-webhookot küldeni képes szolgáltatás csatlakoztatható.
A Managed Deep Agents 0.8 beépített webes keresést is kapott. A Parallel által működtetett eszköz aktuális információk elérését teszi lehetővé külön szolgáltatói fiók, API-kulcs vagy egyedi eszköz beállítása nélkül.
A munkamenetekből értékelési és tanítási adat lehet
A LangSmith Trajectories az ügynöki munkamenetek áttekintését egyszerűsíti. A nézet az emberi, AI- és eszközüzeneteket a főügynökből és az alügynökökből is összegyűjti, majd időrendi sorrendben jeleníti meg. Ez a LangChain szerint gyorsabb hibakeresést tesz lehetővé, mivel a csapatok könnyebben megtalálhatják, hol változott meg vagy romlott el a működés.
A Trajectories a szakértői felülvizsgálatot is támogatja. A felülvizsgálók pontozhatják, megjelölhetik és megjegyzésekkel láthatják el a munkameneteket anélkül, hogy végre kellene nézniük a végrehajtási metaadatokat. A LangSmith online értékelői ezeket a munkameneteket is pontozhatják.
A LangSmith Fine-Tuning a Trajectories adatainak felhasználásával segít nyílt forráskódú modellek felügyelt finomhangolásában. A smithtune parancssori eszköz adatkészleteket készít, a Baseten vagy a Fireworks segítségével betanítja a modellt, LangSmithben kiértékeli az eredményt, majd támogatja a finomhangolt modellek kiszolgálását és alkalmazásokhoz kapcsolását.
A Custom Apps funkcióval a csapatok egyedi felületeket építhetnek, tehetnek közzé és futtathatnak a LangSmith adatai felett. Így saját kezelőfelület készíthető például annotációs feladatokhoz, kísérletek összehasonlításához vagy nyomkövetések áttekintéséhez, külön belső eszköz fenntartása nélkül.
