Playgrounddal és konfigurálható futtatásokkal bővül a LangServe

Egyszerű felület a láncok és ügynökök kipróbálásához

A LangChain október 19-i bejelentése szerint a LangServe használatakor a telepített láncokhoz automatikusan elérhetővé válik egy playground. A felületen különböző bemenetek próbálhatók ki, a válasz pedig valós időben, folyamatosan érkezik meg.

A playground streaming kimeneteket, a köztes lépések teljes naplóját és konfigurálható opciókat kínál. A LangChain szerint ez egyszerű kezelőfelületet biztosít a láncokhoz és az ügynökökhöz, így egy megosztott hivatkozással a kollégák is kapcsolatba léphetnek velük.

A vállalat elképzelése szerint a megoldás a mérnököknek abban is segíthet, hogy a nem technikai munkatársak számára hozzáférést adjanak a láncokhoz és ügynökökhöz anélkül, hogy külön frontendhez kellene kapcsolniuk azokat.

Modellek és keresők között lehet váltani

A WebLangChain példájában többféle modell és információkereső állítható be. A felsorolt modellek között Anthropic- és OpenAI-modellek szerepelnek, a keresők között pedig a Tavily, a You.com, a Google, a Kay SEC Retriever és a Kay Press Release Retriever.

Ez lehetővé teszi, hogy technikai és nem technikai felhasználók is kipróbálják, hogyan működik ugyanaz az alkalmazási architektúra eltérő komponensekkel. A LangChain ezt a kísérletezést és az együttműködést tekinti a playground egyik fő céljának.

A LangServe előző héten indult. A szolgáltatás egy láncból FastAPI-szervert hoz létre streaming- és kötegelt végpontokkal, valamint a köztes lépések továbbításának lehetőségével.

A konfiguráció URL-lel is megosztható

Az új funkció alapja a runnable elemek konfigurálhatósága. A LangChain olyan szintaxist vezetett be, amellyel bármely komponens, illetve egy komponens egyes részei konfigurálhatóvá tehetők. Ez a lehetőség a LangServe használatától függetlenül, a LangChain Expression Language részeként is elérhető.

A konfigurációkat a playgroundban és a WebLangChain alkalmazásban is használják. Egy adott beállítási változat URL-en keresztül menthető és osztható meg, így a felhasználók később ugyanazt a konfigurációt nyithatják meg a felületen. A LangChain szerint ez különösen belső alkalmazásoknál lehet hasznos, ahol a munkatársak több konfiguráció közül választhatnak.

A vállalat ugyanakkor jelezte, hogy a konfigurációs opciók jelenleg nem maradnak fenn tartósan. A LangChain egy olyan telepítési platformot alpha tesztel, amelyen a konfigurációk menthetők, akár több különböző felhasználó számára is.

A közös alkalmazási architektúrákra építenek

A LangChain szerint az LLM-alkalmazásoknál gyorsan terjednek az általánosítható, többféleképpen paraméterezhető architektúrák. Példaként a WebLangChain olyan, visszakereséssel támogatott generálásra épülő kognitív architektúráját említi, amelyben kiválasztható a válaszadáshoz használt LLM, a következő keresési lekérdezéshez és a válasz létrehozásához használt prompt, valamint a keresőkomponens.

A vállalat álláspontja szerint egy ilyen alkalmazás architektúrájának elkészítése sok mérnöki munkát igényel, a későbbi konfigurálás viszont grafikus felületen is hatékonyan elvégezhető. A LangServe új funkciói ezt a közös kísérletezést és a csapaton belüli megosztást támogatják.