Az Airbyte adatforrásai közvetlenül használhatók a LangChainben

Hét szolgáltatás adatai tölthetők be

A LangChain és az Airbyte közös bejelentése szerint az integráció első körében hét forrás érhető el pip-csomagként: Gong, HubSpot, Salesforce, Shopify, Stripe, Typeform és Zendesk Support. Ezek az Airbyte-források a LangChain-alapú alkalmazásokban dokumentumbetöltőként használhatók.

A használathoz a fejlesztőnek telepítenie kell a kiválasztott forrást, például a Stripe esetében az airbyte-source-stripe csomagot. Ezután importálható az AirbyteStripeLoader, amelyhez konfiguráció és egy betöltendő adatfolyam neve adható meg. A forrás példája Stripe-számlák betöltését mutatja, a konfigurációban ügyfélkulccsal, fiókazonosítóval és a lekérdezés kezdő időpontjával.

Airbyte-példány nélkül is futtatható

Az Airbyte több mint 300 adatforrás elérését támogatja, és a szolgáltatás adatait adattárházba vagy vektoradatbázisba is továbbíthatja LLM-alapú alkalmazások számára. A hagyományos használathoz Airbyte Cloud vagy helyi Airbyte-példány, kapcsolatbeállítás és ütemezett vagy API-n keresztül indított futtatás szükséges.

A LangChain új lehetősége azoknak szól, akik helyben építik az alkalmazásukat, és nem szeretnének külön szolgáltatást futtatni. A Python-alapú Airbyte-források közvetlenül a LangChain alkalmazás futási környezetében indíthatók. Így nincs szükség az Airbyte felületének, ütemezési szolgáltatásának vagy skálázási képességeinek elindítására.

A két működési mód között később egyszerű lehet a váltás, mivel ugyanaz a kód fut a háttérben. A LangChain szerint a konfigurációs objektum és a rekordok formája teljes mértékben kompatibilis az Airbyte szolgáltatás megfelelő forrásával. A hosztolt Airbyte ütemezést, futási felületet és hibariasztást kínál, míg a LangChain-betöltők használatakor a fejlesztő közvetlenül irányíthatja a futtatás időzítését és folyamatát.

Testreszabás és csak a változások betöltése

A betöltő alapértelmezés szerint minden rekordból LangChain Document objektumot készít. A rekord mezői metaadatként kerülnek be, a dokumentum szöveges része pedig üres marad. A fejlesztő rekordkezelő függvénnyel szabhatja meg, hogyan jöjjön létre a szöveges tartalom. A forrás példája egy Gong-hívás címét használja a dokumentum szövegeként, miközben az eredeti rekord mezőit metaadatként őrzi meg.

Azoknál az adatfolyamoknál, amelyek támogatják a növekményes szinkronizálást, a betöltő last_state tulajdonsága segítségével csak a korábbi betöltés óta módosult dokumentumok kérhetők le. Ez lehetővé teszi egy már meglévő vektoradatbázis hatékony frissítését.

Egyedi Airbyte-források is beköthetők

A megoldás nem korlátozódik a felsorolt csomagokra. Saját Airbyte-források az AirbyteCDKLoader alaposztályon keresztül integrálhatók, amely az Airbyte CDK Source felületével működik. A fejlesztők az Airbyte fő kódtárából további forrásokat is telepíthetnek, majd ezeket LangChain-betöltőként használhatják.

Ez a felépítés lehetővé teszi, hogy egy helyi, beágyazott betöltési folyamat később önállóan futtatott Airbyte-telepítésre vagy Airbyte Cloudra költözzön. A LangChain és az Airbyte a fejlesztőket közösségi csatornáikon várja az új forrásokkal és a további funkciókkal kapcsolatos visszajelzésekkel.