Új adatkezelési és AI-funkciókat jelentett be a Fivetran

Adatfolyamok automatizálása Snowflake környezetben

A Fivetran szeptember 9-én közzétett termékfrissítése szerint béta állapotban elérhetővé vált a Quickstarts és a dbt-projektek automatikus futtatása Snowflake-ben, miután befejeződik egy Fivetran Managed Data Lake szinkronizálása. A funkció az új Snowflake Linked Destination lehetőségre épül.

A beállításhoz a felhasználónak létre kell hoznia egy új Snowflake-célt, meg kell adnia a hitelesítő adatokat és a végrehajtási alapértelmezéseket, majd táblatípusként a Lakehouse Tables lehetőséget kell választania. Ezt követően egy meglévő Managed Data Lake cél kapcsolható hozzá. A Fivetran közlése szerint minden szinkronizálás után ellenőrzi, hogy a Snowflake-táblák teljesen frissültek-e, és csak ezután indítja el az ütemezett projekteket.

Költöztethető kapcsolatok és strukturálatlan fájlok

Szintén béta szakaszban jelent meg a Move Connector API. Ezzel egy kapcsolat egyik célcsoportból egy másikba helyezhető át, ami a Fivetran Managed Data Lakes vagy más célok felé történő migrációt támogatja. A költöztetés során a felhasználó megtarthatja a meglévő szinkronizálási kurzort, így a kapcsolat onnan folytathatja az inkrementális szinkronizálást, ahol abbahagyta. Lehetőség van a kurzor alaphelyzetbe állítására és a korábbi adatok új célba történő visszatöltésére is.

A Connector SDK privát előnézetben már strukturálatlan fájlok szinkronizálását is támogatja. A Fivetran példaként PDF-fájlokat, képeket és Markdown-fájlokat említ, amelyeket kompatibilis célokba lehet továbbítani. A vállalat szerint így a strukturált és strukturálatlan adatok egyaránt elérhetővé válhatnak olyan AI-alkalmazások számára, amelyek vállalati adatokat használnak.

Új fejlesztői központ és csatlakozófrissítések

A Fivetran új Developer Resources hubot is indított. Az oldal egy helyen gyűjti össze a REST API-hoz, a Powered by Fivetranhoz és a Terraformhoz kapcsolódó fejlesztői dokumentációt. A Terraform dokumentációja közvetlenül a Fivetran dokumentációs oldalán is elérhető a Terraform Registry mellett, ami a vállalat szerint megkönnyíti a programozott kezeléshez és automatizáláshoz szükséges útmutatók megtalálását.

A standard csatlakozók között a Stripe most részletesebb számlázási, jóváírási és checkoutadatokat gyűjt. A frissítés kiterjed többek között a kreditekre, a használatalapú számlázásra, az előfizetési elemek kedvezményeire, a checkoutválaszokra és a Connected Accounts adataira. Az Email csatlakozó URL-ekből is képes fájlokat lekérni és betölteni az e-mail törzsében, a Zuora csatlakozó pedig három új Audit Trail táblát támogat a bejelentkezési tevékenység, a konfigurációs módosítások és az objektumszintű változások áttekintéséhez.

A SAP ECC on Oracle privát előnézetbe került, a SAP OData pedig általánosan elérhetővé vált. Az új Lite csatlakozók között privát előnézetben a Kyriba, a Pennylane, az Odoo és a Synconics szerepel.

Mit kapnak a felhasználók?

A frissítések a Fivetran adatmozgatási és fejlesztői eszközeinek több pontját érintik. A Managed Data Lake használói a szinkronizálás befejezéséhez köthetik Snowflake-beli projektjeik futását, a költöztetési API-val pedig megtarthatják az inkrementális feldolgozás állapotát vagy újraindíthatják a korábbi adatok betöltését.

A strukturálatlan fájlok támogatása olyan adatforrásokat is bevonhat a Connector SDK-n keresztül, amelyek eddig nem táblázatos formában álltak rendelkezésre. A Fivetran közlése szerint az új csatlakozók beállításakor ingyenes történeti szinkronizálás és 14 napos csatlakozópróba érhető el. A privát előnézetben lévő csatlakozók ebben a kiadási szakaszban teljesen ingyenesen használhatók.