Természetes nyelvű keresést kapnak az agentnyomok a LangSmithben

Viselkedésre lehet keresni

A LangChain október 13-i bejelentése szerint az AI Search segítségével a felhasználók egyszerű nyelven írhatják le, milyen viselkedést keresnek az agentek munkameneteiben. Ilyen lehet például az, hogy a felhasználó frusztrálttá vált, az agent azt állította, hogy befejezett egy feladatot, miközben nem végezte el, vagy egy modellnek küldött kérés személyes adatokat tartalmazott.

A keresés termékfejlesztési célokra is használható. A csapatok megtalálhatják azokat a beszélgetéseket, amelyekben nem támogatott integrációt kértek, versenytársat említettek, vagy a felhasználók összezavarodtak a bevezetés során. Az AI Search a meglévő szűrőkkel együtt is működik, így például csak hibát jelző vagy egy adott címkével ellátott nyomokon futhat.

A rendszer a teljes munkamenetből dolgozik

A hagyományos vektorkeresés a lekérdezést és a nyomokat számvektorokká alakítja, ez azonban elveszítheti azokat a részleteket, amelyek egy hasonló témájú beszélgetés két eltérő kimenetelét megkülönböztetik. Az AI Search ezért döntési modellt használ, amely a nyom tényleges szövegét veti össze a keresési leírással.

A LangSmith háttérrendszere, a SmithDB a beérkező nyomokat úgynevezett trajektóriákká alakítja. Ezekben az üzenetek, eszközhívások és eszközválaszok munkamenetenként, egységes formában jelennek meg. Erre azért van szükség, mert a nyomok több forrásból érkezhetnek, köztük az OpenAI és az Anthropic SDK-jából, a LangChainből, a LangGraphból, a Vercel AI SDK-jából és az OpenTelemetryből.

A trajektóriák kiszűrik az ismétlődő üzeneteket is. Az agentek ugyanis gyakran minden modellhívásnál újraküldik a korábbi beszélgetési előzményeket. Így a keresés egy teljes munkamenetet lát, miközben kevesebb ismételt tartalmat kell feldolgoznia.

8 ezer tokenes keret és párhuzamos feldolgozás

A trajektóriák a tömörítés után is hosszúak lehetnek. A LangChain 150 véletlenszerű beszélgetést vizsgált az Open SWE nyílt forráskódú kódoló agentből, és néhány munkamenet meghaladta az egymillió tokent. A vállalat szerint a medián beszélgetés 72 ezer tokenjéből körülbelül 2 ezer származott a felhasználói üzenetekből és az agent válaszaiból, míg mintegy 85 százalékot az eszközök kimenetei, főként fájlolvasások és parancsértelmező-műveletek tettek ki.

Az AI Search kérdésenként 8 ezer tokenes keretet használ. Elsőként a felhasználói üzenetek és az agent felhasználónak adott válaszai kerülnek bele, majd a köztes mesterségesintelligencia-üzenetek, az eszközválaszok és a rendszerüzenetek. A strukturált szűrők előbb leszűkítik a jelölteket, a döntési modell pedig párhuzamosan ellenőrzi a megmaradt trajektóriákat. A találatok folyamatosan érkeznek, így nem kell megvárni a teljes vizsgálat végét.

Nyilvános bétában érhető el

Az AI Search nyilvános bétafunkcióként érhető el a LangSmith Cloudban a GCP US, EU és APAC régióiban, további költség nélkül. A szervezeti adminisztrátorok a beállításokban kapcsolhatják be, ezt követően a funkció megjelenik a nyomkövetési oldalon.

A LangChain szerint a fejlesztés következő iránya a nehezen megkülönböztethető esetek pontosabb felismerése lehet. Ilyen például annak eldöntése, hogy a felhasználó feladta a beszélgetést, vagy egyszerűen megkapta, amire szüksége volt. A vállalat olyan megoldásokat is vizsgál, amelyek a keresési kérdéshez igazítják a felhasznált kontextust, jelzik a modell bizonytalanságát, illetve a találatokat csoportosítják vagy összefoglalják.