LangChain és Airbyte: gyártásra készül az adatbetöltés

A prototípustól a megbízható használatig

A LangChain szerint az elmúlt hónapok egyik fontos célja az volt, hogy a fejlesztőcsapatok gyorsan elkészített prototípusaikat megbízhatóan használható, éles környezetbe állítható alkalmazásokká alakítsák. A platform egyik fontos alkalmazási területe a visszakeresésre épülő megoldások fejlesztése, amelyek nagy nyelvi modelleket kapcsolnak össze a felhasználó saját adataival.

Ezeknél a rendszereknél több különálló feladatot kell megoldani. A LangSmith az úgynevezett megfigyelhetőséget támogatja, vagyis segít hibakeresni és nyomon követni, hogyan dolgozzák fel a nyelvi modellek a felhasználói kérdéseket és a visszakeresett dokumentumokat. A LangChain a lekérdezési algoritmusokon és a felhasználói élményen is dolgozik, többek között társalgási visszakereső ügynökökkel.

A vállalat szerint az adatbetöltési logika legalább ilyen fontos. Éles használatnál az alkalmazás által elért adatokat rendszeresen, megbízhatóan és hatékonyan kell frissíteni.

Az Airbyte az adatfolyamatok ütemezését adja

A LangChain korábbi Airbyte-integrációja lehetővé tette, hogy az Airbyte egyik forrását dokumentumbetöltőként használják a LangChainben. Az új együttműködés fordított irányba lép tovább: egy LangChain-célállomást ad az Airbyte-hoz.

A LangChain saját forrásokkal és célállomásokkal is rendelkezik. A szolgáltatás több száz dokumentumbetöltőt és több mint 50 vektortároló- vagy visszakereső-integrációt kínál. A vállalat hangsúlyozza, hogy az Airbyte és a LangChain eszközei nem egymás helyettesítői. Az integráció kölcsönösen előnyös lehet a közösség számára.

Az Airbyte több száz további adatforrást, robusztus folyamatvezérlést és új források létrehozását segítő eszközöket kínál. Ez különösen az ütemezés szempontjából fontos. Egy adatbázisra épülő chatbotnál ugyanis az indexet rendszeresen újra kell építeni, hogy az alkalmazás naprakész információkkal dolgozzon. A LangChain szerint az ilyen adatfolyamatok kezelése az Airbyte egyik erőssége.

A betöltés után a szöveget is elő kell készíteni

Az adat mozgatása önmagában nem elegendő a hatékony visszakereséshez. Az adatokon olyan átalakításokat kell végezni, amelyek segítik a releváns információk megtalálását. A LangChain két fontos lépést emel ki: a szöveg feldarabolását és a beágyazások létrehozását.

A szöveget olyan részekre kell bontani, amelyek önmagukban is értelmesek, amikor a rendszer később visszakeresi őket. Emiatt a folyamat összetettebb lehet annál, mint hogy a rendszer minden 1000 karakter után új darabot kezd. A LangChain több mint 15 különböző szövegfelosztási megoldást kínál, eltérő algoritmusokkal és szövegtípusokra optimalizálva. Külön megoldások használhatók például Markdownhoz és Python-kódhoz. A fejlesztők egy nyílt forrású, hosztolt próbafelületen is megvizsgálhatják az egyes felosztók működését.

A beágyazások teszik lehetővé a szövegrészek visszakeresését. A rendszer gyakran a felhasználói kérdés és a betöltött dokumentumok beágyazásait hasonlítja össze. A LangChain több mint 50 beágyazásszolgáltatóval és tárhelyplatformmal kínál integrációt.

Mit jelent ez a fejlesztőknek?

Az integráció az Airbyte folyamatvezérlését és ütemezését kapcsolja össze a LangChain szövegátalakítási megoldásaival és integrációival. Így a fejlesztők olyan adatbetöltési folyamatot építhetnek, amely az adatforrások frissítését, a szöveg feldarabolását, a beágyazások létrehozását és a vektortárolóba történő továbbítást egyetlen együttműködés keretében kezeli.

A LangChain szerint további funkciók és integrációk is szükségesek ahhoz, hogy az adatbetöltés teljes mértékben éles környezetre kész legyen. A vállalat ezekből a következő hetekben továbbiakat ígért. A mostani bejelentés azoknak a csapatoknak lehet fontos, amelyek saját adatokkal működő kereső- és chatbotalkalmazásokat fejlesztenek, és az egyszeri adatfeltöltés helyett rendszeres, automatizált frissítést szeretnének.