Új kezdőoldalt és Resource Tags funkciót kapott a LangSmith
Megújult a LangSmith termékkezdőoldala, és rugalmasabbá vált az erőforrások rendszerezése a munkaterületeken belül. A Resource Tags címkékkel a csapatok alkalmazások, projektek vagy környezetek szerint csoportosíthatják és szűrhetik a nyomkövetési projekteket, adathalmazokat, promptokat és annotációs sorokat.
- Megújult a LangSmith termékkezdőoldala.
- A felület a megfigyelhetőséget, az értékelést és a prompttervezést emeli ki.
- A Resource Tags címkékkel rugalmasabban csoportosíthatók az erőforrások.
- A címkék alkalmazások és környezetek szerinti szűrést is támogatnak.
- A LangChain később attribútumalapú hozzáférés-vezérlést tervez a címkékhez.
Három terület köré szervezik a LangSmith kezdőoldalát
A LangChain szerint a fejlesztőcsapatok az LLM-alkalmazások építésekor három fő területen dolgoznak: az alkalmazások működésének megfigyelésén, az értékelésen és a prompttervezésen. A megújult LangSmith-kezdőoldal ezért ezeket külön szekciókban mutatja be.
A megfigyelhetőség részben találhatók a Tracing Projects és a Dashboards. A Tracing Projects az alkalmazásból származó nyomokat gyűjti össze. A felhasználók kereshetnek és szűrhetnek közöttük, majd egy-egy nyom részletes adatait is megnyithatják. A Dashboards egyedi monitorozási diagramok létrehozását teszik lehetővé, például a költség, a késleltetés, a minőség, az ügynöki műveletek vagy a valós idejű értékelési eredmények követésére.
Adathalmazokkal és promptokkal is dolgozhatnak a fejlesztők
Az értékelési szekció a Datasets, Experiments és Annotation Queues funkciókat foglalja össze. A felhasználók meglévő adatokat importálhatnak, vagy a megfigyelhetőségi részben rögzített naplókból automatikusan új adatpontokat adhatnak az adathalmazokhoz. Ezeken kísérleteket futtathatnak, automatikus értékelőkkel pontozhatják az eredményeket, majd időben is követhetik a változásokat.
Az Annotation Queues az emberi ellenőrzést segíti. A fejlesztők rendszerezhetik és kezelhetik azokat az adatpontokat, amelyekhez manuális felülvizsgálat szükséges.
A prompttervezés területén a Prompts és a Playground kapott helyet. A LangSmith lehetővé teszi a promptok tárolását és verziózását. A Playgroundban a felhasználók egyedi adatpontokon vagy teljes adathalmazokon próbálhatják ki a promptokat, és egymás mellett hasonlíthatják össze a különböző prompt- és modellkombinációk teljesítményét.
Az új felhasználókat a kezdőoldal tetején onboarding útmutató segíti, amely végigvezeti őket a megfigyelhetőség, az értékelés és a prompttervezés alapvető területein.
A Resource Tags rugalmasabb csoportosítást kínál
A LangSmith Workspaces funkciója külön környezeteket biztosít a szervezetek csapatai vagy üzleti egységei számára. A LangChain szerint a munkaterületek növekedésével egyre fontosabbá vált az erőforrások munkaterületen belüli rendezése.
A Resource Tags segítségével a csapatok logikai csoportokba rendezhetik az erőforrásokat, majd ezek szerint szűrhetnek. A rendszer alapértelmezés szerint az „Application” címke alapján is kínál szűrést, de egyedi címkék is létrehozhatók. Így az erőforrások nemcsak alkalmazások vagy projektek szerint különíthetők el, hanem például fejlesztési, tesztelési és éles környezetek szerint is.
A LangChain közlése szerint korábban szigorúbb alkalmazásalapú rendszerezést vizsgáltak, a felhasználói kutatás azonban azt mutatta, hogy ez túl kötött lenne. A Resource Tags ezért több projektet vagy környezetet átfogó csoportosítást is támogat.
A vállalat később Attribute-Based Access Control, vagyis attribútumalapú hozzáférés-vezérlés bevezetését tervezi a címkékhez. Ez feltételes jogosultságok kiosztását teheti lehetővé a címkék egyes attribútumai alapján, így a csapatok szabályozottabban férhetnek hozzá a különböző projektek és környezetek erőforrásaihoz.
