A LangSmith Custom Apps egyedi felületeket épít az ügynökadatokra

Egyedi felületek a LangSmith adataihoz

A LangSmithben dolgozó csapatok mostantól személyre szabott alkalmazásokat építhetnek az ügynökök adataira. A Custom Apps felületei a LangSmithben futnak, így a készítőknek nem kell külön tárhelyet, hitelesítést, jogosultságkezelést és megosztási rendszert kialakítaniuk.

A LangSmith alapértelmezett felületeket kínál az ügynökök hibakereséséhez, értékeléséhez és fejlesztéséhez. Ezek között olyan előre elkészített irányítópultok vannak, amelyek a késleltetést, a költségeket és a hibaarányokat mutatják, valamint egy összehasonlító nézet, amely a kísérletek közötti visszaeséseket emeli ki. A LangChain szerint azonban a csapatoknak gyakran saját minőségi szempontjaikhoz és ellenőrzési folyamataikhoz igazított nézetekre van szükségük.

Prompttal, sablonokkal vagy kóddal is elindítható

A Custom Apps használata két irányból kezdhető el. A Plus és Enterprise csomagok előfizetői a LangSmith Chatben leírhatják, milyen adatokat szeretnének látni, és hogyan jelenjenek meg azok. A Chat ebből működő alkalmazást készít. Aki inkább maga fejlesztene, az elérhető sablonokra építhet, majd a LangSmith API-val és egy kódoló ügynökkel alakíthatja tovább az alkalmazást.

A közzétett app megosztott felületként jelenik meg a munkaterületen. A csapattagok ugyanott használhatják, ahol a nyomkövetéseket, kísérleteket, annotációkat és értékelési eredményeket vizsgálják. Így az ismétlődő munkafolyamatokhoz nem kell minden alkalommal adatokat exportálni vagy újra elkészíteni egy statikus nézetet.

A LangChain három tipikus felhasználást emel ki. A csapatok annotációs felületeket készíthetnek úgy, hogy az egyes értékelők csak a számukra szükséges környezetet lássák. Egy mérnöknek szüksége lehet a teljes nyomkövetésre, az eszközhívásokra, a metaadatokra és a köztes lépésekre, egy szakterületi szakértőnek pedig elég lehet a felhasználói kérés, a modell válasza, a releváns háttér és egy egyértelmű értékelési szempontsor.

Kísérletek és nyomkövetések célzott ellenőrzése

A Custom Apps kísérletek áttekintésére is használható. Egy csapat összevetheti a különböző promptverziók eredményeit, ellenőrizheti egy modellcsere hatását, vagy ügyfélszegmens, hibakategória, modellprovid­er és belső értékelési szempont szerint bonthatja fel az adatokat. A felület kiemelheti a fontos részhalmazokat, egymás mellett mutathatja a válaszokat, és a kiadási ellenőrzésekhez használt formátumban rendezheti az eredményeket.

A nyomkövetések vizsgálata szintén az adott ügynök működéséhez igazítható. Egy ügyfélszolgálati ügynöknél a hangnem és a probléma megoldása lehet a fő szempont, egy kutatási ügynöknél pedig a források és a szükséges eszközhívások száma. A készítők olyan kérdésekre építhetnek felületet, mint hogy hol változott a viselkedés, melyik lépés okozta a hibát, vagy követte-e az alkalmazás az elvárt folyamatot.

A Custom Apps alapértelmezés szerint a LangSmith Macaw nevű tervezési rendszerét használja, így az alkalmazások a szolgáltatás többi részéhez illeszkedő vizuális elemeket és ikonokat kapnak. A megjelenés kódolással vagy a chatben adott utasítással módosítható. A LangChain a Macaw-t nyílt forráskódúvá is tette.

Elérhetőség és csomagok

A Custom Apps a LangSmith Plus és Enterprise csomagjaiban érhető el. A Plus szervezetek egy Custom Appot és a chatfunkciót kapják, míg az Enterprise csomag korlátlan számú Custom Appot tartalmaz, szintén a chatfunkcióval.

A LangChain szerint a funkció kipróbálható LangSmith-fiók létrehozásával vagy a szolgáltatásba való bejelentkezéssel. A vállalat dokumentációt is biztosít a részletes használathoz. A bejelentés a fejlesztőcsapatok számára azt jelenti, hogy az ügynökök ellenőrzésére és értékelésére saját, ismételten használható munkafelületeket állíthatnak össze a LangSmith környezetén belül.