Általánosan elérhető a Databricks milliszekundumos valós idejű módja

Egy keret a kötegelt és valós idejű feldolgozáshoz

A Databricks október 29-i bejelentése szerint a Real-Time Mode, röviden RTM, mostantól általánosan elérhető a Spark Declarative Pipelinesben, vagyis az SDP-ben. A megoldást olyan feladatokra szánják, amelyeknél a beérkező adatokból milliszekundumok alatt kell döntést vagy frissítést előállítani.

A vállalat szerint az RTM megszüntetheti az igényt olyan különálló, specializált motorok használatára, mint az Apache Flink. Így a kötegelt feldolgozás, az ETL és az alacsony késleltetésű adatfolyamok egyetlen keretrendszerben kezelhetők. A Databricks állítása alapján ez csökkenti a párhuzamos kódbázisok, az eltérő irányítási modellek és az üzemeltetési többlet szükségességét.

A Databricks tavaly vezette be az RTM-et, amely a cég szerint a hagyományos mikrokötegelt architektúránál akár 100-szor gyorsabb streamfeldolgozást tett lehetővé. A vállalat ügyfél-munkaterheléseken végzett összehasonlításában az RTM akár 92 százalékkal gyorsabb volt az olyan specializált motoroknál, mint a Flink.

Folyamatos feldolgozás és közvetlen írás az operatív tárolókba

Az RTM a Spark Structured Streaming továbbfejlesztéseként működik. Folyamatosan továbbítja az adatokat, a lekérdezés szakaszait párhuzamosan futtatja, és amint egy szakasz előállítja az adatot, továbbadja a következőnek. A Databricks szerint ezzel milliszekundumos végponttól végpontig tartó késleltetés érhető el.

Az SDP az RTM használata mellett megtartja többek között a függőségek automatikus feloldását, az inkrementális feldolgozást, a folyamatok vezérlését, a hibákból való automatikus helyreállítást és az adatminőség kikényszerítését. A vállalat szerint a felhasználók így ugyanazt a keretet alkalmazhatják csalásészleléshez, valós idejű riasztásokhoz, élő személyre szabáshoz, ajánlórendszerekhez és gépi tanulási jellemzők kiszámításához.

Az RTM ForEach sinkeken keresztül közvetlenül is írhat egyedi célrendszerekbe. A Databricks példaként a Lakebase-t, a Redis-t és más OLTP-tárolókat említi. A jellemzők közvetlenül az előállításuk után kerülhetnek az operatív tárolóba, offline és online rendszerek közötti szinkronizálás nélkül.

A Feature Store 200 milliszekundumos p99 késleltetést ér el

A valós idejű jellemzőkiszámítás az egyik kiemelt alkalmazási terület. Egy csalásészlelő vagy személyre szabó modellnek friss jelekre lehet szüksége, például arra, hogy egy felhasználó mekkora összeget költött az elmúlt 10 percben. Az ilyen gördülő időablakos összesítéseknek rövid idő alatt el kell jutniuk egy lekérdezhető online tárolóba.

A Databricks közlése szerint a Databricks Feature Store ugyanezt az architektúrát használja, és az Apache Kafka adatfolyamától az online Feature Store-ig 200 milliszekundumos p99 késleltetést ér el. Ez a vállalat által közölt adat, amely a megoldás egyik konkrét teljesítménymutatója.

Az RTM-et használó SDP-folyamat bekapcsolásához a folyamatot folyamatos módra kell állítani, és engedélyezni kell a spark.databricks.streaming.realTimeMode.enabled beállítást. Ezután egy frissítési folyamatot kell definiálni, amelynek indítási módja RealTime, célja pedig egy sink.

Mit jelent ez a Databricks felhasználóinak?

A Databricks szerint az SDP-re épülő RTM egyetlen keretben egyesíti az ETL- és a streaming-feladatokat. Ez egy megfigyelhetőségi stacket, egy számlázási modellt és egységes API-környezetet jelenthet azoknak a csapatoknak, amelyek többféle adatfeldolgozási feladatot futtatnak.

Az SDP serverless használata mellett a cég szerint nem kell számítási kapacitást választani vagy fürtöt méretezni. A felhasználók szubmásodperces késleltetést kaphatnak összetett infrastruktúra-hangolás nélkül, és csak a lekérdezés által használt magokért fizetnek. Az RTM-folyamatokhoz verziófüggetlen frissítések és alacsony leállással járó karbantartás is kapcsolódik.

A Databricks a következő lépések között az RTM-folyamatok költségének csökkentését említi. Ennek része lehet több folyamat egyetlen pipeline-ba történő csomagolása, valamint a forrás- és keverési partíciók automatikus hangolása. A vállalat emellett natív Lakebase sinket tervez az SDP-hez, beépített kötegeléssel, automatikus újrapróbálkozással és Unity Catalog által kezelt hitelesítéssel.