Az EF Cortex Agenttel mérte fel a dbt-modellek költségét és értékét

A fogyasztásalapú működés láthatóvá tette a költségeket

Az EF Education First évente több ezer diákot küld külföldi utakra. A vállalat adatplatformcsapata olyan adatmesh-rendszert támogat, amelyben az egyes domaincsapatok maguk felelnek a martokért és az üzleti logikáért.

A költségkezelés akkor vált sürgetővé, amikor az EF a korábbi SQL Server-környezetből Snowflake-re költözött. A régi rendszerben a kiadás rögzített volt, a fő korlátot pedig az áteresztőképesség jelentette. A Snowflake fogyasztásalapú számítási modellje, valamint a domaincsapatonként elkülönített adattárházak nagyobb önállóságot adtak a csapatoknak, ugyanakkor minden dbt-modell futtatásának tényleges költsége lett.

A platformcsapat rövid idő alatt három problémát látott: folyamatosan emelkedő kiadásokat, alig használt adatfolyamokat és néhány drága, gazdátlan projektet.

Pontszám alapján sorolják be a modelleket

Adrien Ledoux, az EF adatplatformcsapatának vezetője a dbt Summit 2026 egyik szekciójában ismertette a megoldást. A csapat minden dbt-modellhez és teszthez pontszámot rendel az olyan adatok alapján, mint a futási idő, az elhasznált kreditek és a másodpercenként feldolgozott sorok száma.

A pontszámokat hasonló méretű modellekhez viszonyított percentilisértékként normalizálják. Így egy nagy ténytábla nem kerül automatikusan hátrányba egy kisebb modellel szemben. A modelleket három szintbe sorolják. A legjobb kategóriába kerülőket változatlanul hagyják, és sikertörténetként mutatják be a vállalaton belül. A középső csoportot időszakosan felülvizsgálják, a legalsó kategória pedig egyeztetést indít a modellért felelős domaincsapattal.

A rendszer a Snowflake-fiók használati adataira épül, amelyeket Kimball-stílusú megközelítéssel alakítottak át. Az adatokat egy egyedi folyamat egészíti ki a Power BI aktivitási naplóival. A dbt Labs szerint a Fivetran már natív Power BI-csatlakozót kínál, így ez az egyedi adatbetöltés később kiváltható.

A Cortex Agent önkiszolgáló hozzáférést ad az adatokhoz

Az adatforrások egy Snowflake-ben létrehozott, irányított szemantikai rétegbe kerülnek. Erre épül a Cortex Agent, amelyen keresztül a domaincsapatok kérdéseket tehetnek fel. Az ügynök a kérdező domainjéről, felhasználójáról és csapatáról is kap kontextust, így figyelembe tudja venni, hogy ki kérdez, és mely területért felel.

A megoldásnak a dbt Labs által közölt eredmények szerint már mérhető hatása volt. Az EF legnehezebb adatfolyamai közül néhány 40 százalékos hatékonyságjavulást ért el. Az egyik legnagyobb modell futási ideje 10 percről 2 percre csökkent. Egyes Power BI-munkaterületeken akár a jelentések 70 százalékát is törölték, miután láthatóvá vált, hogy alacsony a használatuk.

Ledoux ugyanakkor különbséget tett a használat és az érték között. Egy ezerszer megnyitott jelentés sem feltétlenül értékes, míg egy hetente egyszer, a megfelelő személy által ellenőrzött jelentés az lehet. A csapat ezért olyan visszacsatolási folyamaton dolgozik, amely a hasznosítható megállapításokat Salesforce-ba küldi, felelősöket rendel hozzájuk, majd visszatölti az eredményt.

A technikai megoldás önmagában nem garantálja az elfogadást

Az ügynök bevezetésének legnagyobb folyamatos kihívása az elfogadás. A projekt közben az adatmérnökök inkább analitikai mérnöki feladatokat végeztek, és saját CI/CD-folyamataik hiányosságaira is fény derült.

A következő lépések között szerepel a Confluence-dokumentáció bekötése a Fivetranon keresztül, valamint a Snowflake-munkafolyamatok összekapcsolása Jira-jegyek automatikus megnyitásával. A csapat rendszeres használati összefoglalókat is küldene a domaincsapatoknak, amelyek egyébként nem feltétlenül tudnának az eszközről.

Ledoux záró üzenete szerint egy jó technikai ötlet nem terjed el magától. A vezetőknek időt kell fordítaniuk a változás kezelésére is, hogy a költség- és értékadatokból valóban önkiszolgáló, használható eszköz legyen.