A LangSmithben egyedi felületeket építhetnek az AI-csapatok
A LangChain elindította a LangSmith Custom Apps funkciót, amellyel a felhasználók egyedi felületeket készíthetnek és futtathatnak a LangSmithben tárolt ügynökadatokra építve. Az alkalmazások ismétlődő értékelési, kísérlet-összehasonlítási és nyomkövetési folyamatokhoz is használhatók.
- A LangSmith Custom Apps egyedi felületeket készít a LangSmith adataihoz.
- Az alkalmazások leírásból, a LangSmith Chat segítségével vagy kóddal is felépíthetők.
- A felületek annotációhoz, kísérletek összehasonlításához és nyomkövetések ellenőrzéséhez használhatók.
- A Plus csomag szervezetenként egy, az Enterprise csomag korlátlan számú Custom Appot tartalmaz.
- A Custom Apps a Macaw nyílt forráskódú dizájnrendszert használja alapértelmezésként.
Egyedi alkalmazások a LangSmith adatain
A LangSmith az AI-mérnöki csapatok által használt platform az ügynökök hibakeresésére, értékelésére és fejlesztésére. A szolgáltatás eddig is kínált alapértelmezett felületeket a gyakori munkafolyamatokhoz, például előre elkészített irányítópultokat a késleltetés, a költség és a hibaarányok követésére, valamint nézetet a kísérletek közötti visszaesések kiemelésére.
A LangChain szerint a csapatoknak gyakran olyan felületekre van szükségük, amelyek a saját minőségi szempontjaikhoz és ellenőrzési folyamataikhoz igazodnak. Eddig ehhez egyedi frontendeket építettek a LangSmith adatai köré, kódoló ügynököket, API-kat és belső eszközöket használva. Ezek karbantartása azonban tárhelyet, hitelesítést, jogosultságkezelést és megosztást is igényelt.
A Custom Apps lehetővé teszi, hogy az elkészített felületet a felhasználók közzétegyék a munkaterületükön, majd közvetlenül a LangSmithben futtassák és osszák meg.
Leírásból vagy kóddal is elkészíthető
A Plus és Enterprise csomagok felhasználói a LangSmith Chattel írhatják le, milyen adatokat szeretnének látni, és hogyan jelenjenek meg azok. A rendszer ebből működő alkalmazást készít. Aki inkább maga fejlesztene, sablonokból indulhat, és a LangSmith API-jára építhet a kódoló ügynökével.
A közzétett alkalmazás közös felületként jelenik meg a munkaterületen. Így a csapatok ugyanott használhatják, ahol a nyomkövetéseket, a kísérleteket, a megjegyzéseket és az értékelési eredményeket áttekintik. A LangChain szerint ez kiválthatja az adatok exportálását és az ismétlődő, egyszeri nézetek újbóli felépítését.
A funkciót elsősorban ismétlődő ellenőrzési folyamatokra szánják. Készíthető például annotációs felület, amely a különböző bírálóknak eltérő részletességű információkat mutat. Egy mérnöknek szüksége lehet a teljes nyomkövetésre, az eszközhívásokra és a köztes lépésekre, egy szakterületi szakértőnek pedig elegendő lehet a felhasználói kérés, a modell válasza, a kapcsolódó kontextus és az értékelési szempont.
Kísérletek és nyomkövetések célzottabb áttekintése
A Custom Apps segítségével a csapatok az alkalmazásuk számára fontos szempontok szerint hasonlíthatják össze a kísérleteket. Megjeleníthetik egymás mellett a válaszokat, kiemelhetik a releváns részhalmazokat és a jellemző példákat, illetve vizsgálhatják az eredményeket ügyfélszegmens, hibakategória, modell szolgáltatója vagy belső értékelési szabályzat alapján.
A nyomkövetések ellenőrzésére szintén készíthető célzott felület. Egy ügyfélszolgálati ügynöknél a hangnem és a probléma megoldása lehet a központi szempont, egy kutatási ügynöknél pedig a források vagy a szükséges eszközhívások száma. A felület arra is fókuszálhat, hol változott a viselkedés, melyik lépés okozott hibát, vagy követte-e az alkalmazás az elvárt folyamatot.
A Custom Apps alapértelmezés szerint a LangSmith Macaw nevű dizájnrendszerét használja, így az alkalmazások a szolgáltatás többi részéhez illeszkedő vizuális elemeket és ikonokat kapnak. A megjelenés chatben vagy kódoló ügynökkel módosítható. A LangChain a Macaw-t nyílt forráskódúvá is tette.
Csomagok és elérhetőség
A Custom Apps a Plus és Enterprise csomagokban érhető el. A Plus csomag szervezetenként egy Custom Appot és a chatfunkciót tartalmazza, az Enterprise csomag pedig korlátlan számú Custom Appot kínál a chatfunkcióval együtt. A LangChain közlése szerint a funkció kipróbálható LangSmith-fiók létrehozásával vagy a szolgáltatásba való bejelentkezéssel, a részletes útmutató pedig a dokumentációban található.
A felhasználóknak ez azt jelenti, hogy az ügynökök értékeléséhez és ellenőrzéséhez saját munkafolyamataikhoz igazított nézeteket készíthetnek, majd ezeket a csapaton belül ugyanazon a platformon használhatják újra.
