A Databricks szerint a lakehouse már a raktárház teljesítményét kínálja
A Databricks szerint a Lakehouse teljesítménye 77 százalékkal javult 2022 óta, ügyfelei pedig akár 90 százalékos lekérdezési gyorsulást és 30-80 százalékos költségcsökkenést mértek. A vállalat úgy érvel, hogy a lakehouse az adattárház SQL-képességei mellett az MI-t, a folyamatos adatfeldolgozást és a strukturálatlan adatokat is egy irányított platformon kezeli.
- A Databricks szerint a Lakehouse SQL-teljesítménye 77 százalékkal javult 2022 óta.
- A Lumen Technologies 90 százalékos lekérdezési gyorsulást mért 133 terabájtnyi adat migrációja után.
- Az ügyfélpéldákban 25-75 százalékos költségcsökkenések szerepelnek.
- A Lakehouse strukturált, strukturálatlan és streaming adatokat is egy irányított platformon kezel.
- A Databricks Migration Agent egyszerre akár 300 SQL-fájl fordítását támogatja.
A Databricks szerint felzárkózott az SQL-teljesítmény
A Databricks október 6-án közzétett elemzése szerint a vállalat éles SQL-munkaterhelése 2024 végén 77 százalékkal volt gyorsabb a 2022-es kiindulási értéknél. Ez a cég Performance Indexe alapján nagyjából négyszeres javulást jelent. Az index több milliárd, üzleti intelligencia-, ETL- és adatelemzési lekérdezésből származik, vagyis nem egyetlen mesterséges tesztből.
A javulást több technológia együttes fejlődésének tulajdonítják, köztük a Photon vektorizált végrehajtómotornak, a lekérdezéstervezésnek, a gyorsítótárazásnak, a prediktív optimalizálásnak, a join algoritmusoknak és a párhuzamosság kezelésének. Egy friss, öthónapos mérési időszakban az üzleti intelligencia terhelése körülbelül 14, az adatexploráció 13, az ETL pedig 9 százalékkal javult.
Ügyfélpéldák: gyorsabb lekérdezések és alacsonyabb költségek
A Databricks ügyfélmérésekkel is alátámasztja állításait. A Lumen Technologies 133 terabájtnyi, kritikus távközlési adatot költöztetett Cloudera és helyben működő rendszerekről a Databricks Lakehouse-ra. A vállalat 90 százalékos lekérdezési teljesítményjavulást mért, a korábban órákig futó lekérdezések pedig percek alatt készültek el. A számítási költség 30-40 százalékkal csökkent a Databricks Lakehouse Serverless használatával.
A Trek Bicycle 80-90 százalékkal gyorsabb kiskereskedelmi elemzésről számolt be, és a napi adatfrissítések száma egyről háromra nőtt. A költségoldalon az AXA Japan 60 százalékos adattárház-költségcsökkenést és 70 százalékkal alacsonyabb ETL-költséget mért. A Posti adatplatformjának költségei 30 százalékkal, a Nationwide teljes költségei 29 százalékkal csökkentek. A Vivriti Capital 25-30 százalékkal alacsonyabb teljes birtoklási költségről számolt be.
Egy platform az MI-hez, a streaminghez és többféle adathoz
A Databricks érvelése szerint a lakehouse előnye nem merül ki az SQL-lekérdezésekben. Ugyanazok az irányított táblák használhatók irányítópultokhoz, modellbetanításhoz, jellemzőmérnökséghez, visszakereséssel támogatott generáláshoz és MI-ügynökök eszközhasználatához. A Unity Gateway az MI-futtatási környezet irányítását is kiterjeszti, például a hívható modellek, a naplók, a sebességkorlátok, valamint az MCP-szerverek és eszközök kezelésére.
A platform strukturált táblákat, JSON-adatokat, dokumentumokat és vektoros beágyazásokat is kezelhet ugyanazon irányítási modell alatt. A vállalat szerint ez csökkenti az adatok másolásának szükségességét, mivel az SQL-lekérdezések, a Spark-átalakítások, a streaming-folyamatok, a Python-jegyzetfüzetek és az MI-betanítás ugyanazokról a Delta Lake vagy Apache Iceberg táblákról dolgozhatnak.
A folyamatos adatbevitel és a kötegelt feldolgozás szintén egy platformon futhat. A Databricks szerint így bizonyos adatok órák helyett másodpercek alatt lekérdezhetővé válhatnak, ami például csalásészlelési és működésfigyelési feladatoknál fontos.
A migrációk hetek vagy hónapok alatt is lezajolhatnak
A bemutatott példák alapján az IndusInd Bank 1,5 petabájtnyi adatot, 44 üzleti területen 15 hónap alatt költöztetett, szemben az eredetileg becsült 2,5 évvel. A Vivriti Capital Redshift-migrációja körülbelül 8 hétig tartott, a Lumen Technologies 133 terabájtos átállása pedig 9 hónap alatt, a tervezett költség- és időkereten belül zárult.
A Databricks szerint a Lakebridge automatizálja a felmérést, az átírást és az egyeztetést többek között Snowflake, Oracle, Teradata, Redshift, BigQuery és SQL Server környezetéből. A Databricks Migration Agent MI-ügynökökkel fordítja le az SQL-szkripteket különböző nyelvjárások között, egyszerre akár 300 fájlt is. A vállalat ugyanakkor jelzi, hogy emberi ellenőrzésre továbbra is szükség van.
A Databricks Lakehouse//RT nevű, szerver nélküli SQL-adattárházánál a cég akár 10 milliszekundumos késleltetést és másodpercenként legfeljebb 12 000 lekérdezést ad meg. A megoldás közvetlenül az irányított lakehouse-táblákat kérdezi le, így a Databricks szerint nincs szükség külön kiszolgáló-adatbázisra, változásadat-rögzítési folyamatra vagy szinkronizációs rétegre.
Databricks: The lakehouse is a better data warehouse: 2026 benchmarks and proof
