Az Egeria új csatlakozói költöztetés nélkül térképezik fel az adatvagyont
Az Egeria nyílt metaadat- és adatirányítási projekt csatlakozói egyre több adatbázist, adatfolyamot és meglévő katalógust képesek felmérni anélkül, hogy a szervezeteknek át kellene költöztetniük rendszereiket. A megközelítés célja, hogy a modernizáció előtt láthatóvá váljon, milyen adatok léteznek, hogyan használják őket, és milyen függőségek kapcsolják össze a rendszereket.
- Az Egeria csatlakozói migráció nélkül mérik fel a meglévő adatforrásokat.
- A könyvtár PostgreSQL, SQL Server, Oracle, Db2, DuckDB és Kafka rendszereket is támogat.
- Az Apache Atlas és a Unity Catalog meglévő metaadatai is felhasználhatók.
- A csatlakozók szerkezeti, leszármazási és használati adatokat gyűjtenek.
- A felmérés segíthet eldönteni, mit érdemes áthelyezni, kivezetni vagy megtartani.
Egyre több rendszert ér el az Egeria
Az LF AI & Data Foundation szeptember 3-án közzétett bejegyzése szerint az Egeria projekt úgynevezett „leveraging your estate” megoldáscsomagja azoknak a szervezeteknek készült, amelyek már meglévő, összetett adatkezelési környezetet működtetnek. Ilyen környezetben előfordulhat PostgreSQL-fürt, Microsoft SQL Serveren futó pénzügyi rendszer, régebbi Oracle-adatbázis vagy egy már használt Apache Atlas- vagy Unity Catalog-katalógus.
A csatlakozókönyvtár jelenleg a PostgreSQL, a Microsoft SQL Server, az Oracle Database, a Db2 for Linux/UNIX/Windows, a DuckDB és az Apache Kafka rendszereit támogatja. Emellett az Apache Atlas, a Unity Catalog, valamint általános Open API-k és fájlalapú erőforrások is elérhetők rajta keresztül. A projekt szerint további csatlakozók is készülnek.
A felméréshez nincs szükség migrációra
Az Egeria csatlakozói nem a teljes infrastruktúra lecserélését vagy az adatok áthelyezését célozzák. A rendszer leírást kér az érintett adatforrásoktól, így a szervezetek felmérhetik és elemezhetik meglévő adatfolyamataikat és platformjaikat.
A csatlakozók begyűjtik a szerkezeti metaadatokat, például a sémákat, táblákat, oszlopokat és függvényeket. Az üzemeltetési információk között szerepelhet az adatok eredetének és útjának követése, vagyis a leszármazási információ, valamint a használati minták rögzítése. Így nemcsak az derül ki, mi található egy rendszerben, hanem az is, hogyan használják azt.
Ha egy szervezet már rendelkezik katalógussal, az Egeria az Apache Atlasban vagy a Unity Catalogban tárolt definíciókat is felhasználhatja és kiegészítheti. A csatlakozók időben változó jeleket is követnek, például egy elem létrehozását, utolsó elérését és használatának intenzitását. Az egyszeri felmérésből így folyamatosan frissülő kép alakulhat ki.
A modernizáció előtt válhatnak láthatóvá a függőségek
Az LF AI & Data Foundation szerint ez a megközelítés megváltoztatja a modernizációs programok felépítését. A csapatok a csatlakozókat már a kezdetektől a régi platformok mellett futtathatják, és több rendszeren átívelő képet építhetnek arról, hogyan kapcsolódnak egymáshoz az adatok és az adatfolyamatok.
Ez alapján később megalapozottabban dönthetnek arról, mit érdemes áthelyezni, mit kell kivezetni, és minek célszerű változatlanul a helyén maradnia. A Microsoft SQL Server és az Oracle Database a PostgreSQL-támogatás mellett a közelmúltban került be a könyvtárba. Az új csatlakozók ugyanazt a működési mintát követik: kapcsolódnak a rendszerhez, felmérik annak szerkezetét, rögzítik a leszármazási és használati adatokat, majd mindezt az Egeria nyílt metaadatmodelljébe továbbítják.
A projekt négyrészes sorozatának következő, egyben záró bejegyzése a Coco Pharmaceuticals nevű, fiktív példaszervezeten keresztül mutatja be az Egeria irányítási modelljének kibővített forgatókönyveit. A teljes csatlakozókatalógus az egeria-project.org/egeria-solutions/leveraging-your-estate oldalon érhető el.
LF AI & Data Foundation: You Don’t Need to Migrate Everything to Catalog It: Egeria’s Growing Connector Library
