Nyílt forráskódú pluginrendszert épít az LLM-alkalmazásokhoz a Connery
A Connery nyílt forráskódú plugin-infrastruktúrát kínál LLM-alapú alkalmazások és OpenGPT-k számára. A rendszer külső szolgáltatások integrációját, a kapcsolatok kezelését és a felhasználói jóváhagyást is támogatja.
- A Connery nyílt forráskódú plugin-infrastruktúra LLM-alkalmazásokhoz és OpenGPT-khez.
- A Runner kezeli a pluginok futtatását, a kapcsolatokat, a személyre szabást és a biztonsági funkciókat.
- A műveletekhez metaadatok, felhasználói jóváhagyás és auditnaplók kapcsolhatók.
- A pluginok GitHub-adattárakban elérhető TypeScript-kódra épülnek.
- Egy példa weboldal-összefoglalást küld el e-mailben két külön plugin műveleteivel.
Az LLM-ek és a külső szolgáltatások összekapcsolása
A Connery olyan nyílt forráskódú keretrendszer, amely integrációkat alakít pluginokká. Ezek a bővítmények több platformon is használhatók, köztük az LLM-alapú ügynökökben. A projektet a Connery társalapítói, Michael Liebmann és Volodymyr Machula mutatták be a LangChain blogján, 2024. február 7-én.
A fejlesztők szerint az LLM-alapú chatbotok és asszisztensek egyre hasznosabbak érvelési és generatív feladatokban, a valódi rendszerekben végrehajtott műveletekhez azonban további infrastruktúrára van szükség. Egy általános asszisztensnek például külső szolgáltatásokhoz kellhet hozzáférnie, míg a DevOps, HR-, pénzügyi vagy vásárlási feladatokra készült ügynökök akkor lehetnek hasznosabbak, ha műveleteket is végre tudnak hajtani.
Az LLM-alkalmazások kiszámíthatatlansága ugyanakkor kockázatokat okozhat. A hallucinációk és a hibás döntések miatt a fejlesztőknek a hagyományos alkalmazásokhoz képest további biztonsági intézkedéseket kell beépíteniük.
Kapcsolatkezelés, személyre szabás és biztonság
A Connery a futtatási környezetet is kezeli, és felhasználói felületet biztosít a kapcsolatok kezeléséhez, a személyre szabáshoz és a biztonsági beállításokhoz. A felhasználók például OAuth segítségével engedélyezhetik, hogy egy AI-alkalmazás hozzáférjen a Gmailhez. Az OAuthot nem támogató szolgáltatásoknál, például az AWS esetében, a hozzáférési kulcsok biztonságos tárolására van szükség.
A személyre szabás része lehet egy egyedi e-mail-aláírás megadása, az egyes műveletek metaadatainak beállítása, illetve olyan személyes információk, például név és e-mail-cím megadása, amelyeket az LLM további kontextusként használhat. A műveletekhez tartozó metaadatok leírhatják az adott feladat célját, a bemeneti paramétereket, az érvényesítési szabályokat és a művelet eredményét.
A rendszer támogatja a human-in-the-loop működést is. Ez azt jelenti, hogy kritikus folyamatoknál a felhasználóé maradhat a végső döntés, és a javasolt paramétereket is módosíthatja. Egy e-mail elküldése előtt például átnézheti és szerkesztheti az üzenetet. Az auditnaplók a követhetőséget, az átláthatóságot és a megfelelést szolgálják.
A Runner áll a plugin-infrastruktúra középpontjában
A Connery felépítésében a pluginok műveletek gyűjteményei. Egy művelet egy konkrét feladatot végez, meghatározott bemeneti és kimeneti paraméterekkel. A Gmail-plugin egyik művelete például az e-mail küldése lehet. A pluginok nyílt forráskódú GitHub-adattárakban található, meghatározott szerkezetű TypeScript-kódból állnak, és a használatuk előtt telepíteni kell őket a Runnerre.
A Runner a Connery nyílt forráskódú motorja, amely a GitHubról származó pluginokat integrálja. Saját, elkülönített Runner állítható be, egyedi plugin-készlettel és szabványosított API-val. A Connery kliensei biztosítják a felhasználói felületet, amelyen keresztül a végfelhasználók elindíthatják a műveleteket.
A LangChain OpenGPTs rendszere a Connery műveleteit eszközként használhatja. A felhasználó először a Runneren kapcsolhatja össze a személyes fiókjait, majd engedélyezheti, hogy az LLM-alkalmazás használja a személyre szabott Runnert.
Közösségi pluginök és gyakorlati példa
A Connery fejlesztői azt szeretnék, hogy a közösség saját pluginokat készítsen, megossza és testre szabja mások munkáját. A rendszerhez a fejlesztők meglévő közösségi pluginokat is használhatnak, vagy sajátokat hozhatnak létre. A Connery kliensei között az OpenGPTs, egy LangChain Toolkit és az API is szerepel.
A LangChain által bemutatott példa két műveletet kapcsol össze. Az első egy nyilvános weboldal összefoglalása, amely a megadott URL alapján rövid összefoglalót készít az OpenAI használatával. A második a Gmail-plugin e-mailküldési művelete, amely a címzettet, a tárgyat és az üzenet törzsét kapja bemenetként.
A felhasználó így egy weboldal rövid összefoglalását küldheti el egy kollégának e-mailben, miközben az alkalmazás a kapcsolódó szolgáltatások hozzáféréseit és a műveletek végrehajtását a Connery infrastruktúráján keresztül kezeli. A projekt jelentősége a LangChain szerint abban áll, hogy az integrációk egyedi, alkalmazásonként felépített infrastruktúrája helyett megosztható pluginmodellre épít.
