A VAST szerint töredékére csökkenthető az eseményadatok felhős költsége

Egy rendszerben kezelné a streaminget és az elemzést

A VAST november 3-án közzétett bejegyzése szerint a valós idejű adatfolyamok infrastruktúrája jellemzően elkülönülő rendszerekből áll. Az eseményközvetítők, a streamfeldolgozó motorok és az adattavak külön működnek, ezért a költségek és az üzemeltetési összetettség a terhelés növekedésével együtt emelkedhet.

A vállalat erre kínál alternatívát a VAST on Clouddal, amely a VAST Event Brokert a VAST AI Operating Systembe építi, tárhelyre optimalizált virtuális gépeken, úgynevezett virtuális EBoxokon. A VAST Event Broker a Kafka protokollt használja, így a cég szerint együttműködik a meglévő klienskönyvtárakkal, API-kkal és eszközökkel.

Az üzenettémák natív táblákként jelennek meg a VAST DataBase-ben. A JSON-adatok érkezéskor lekérdezhető oszlopokká alakíthatók, a Trino, a Presto és az Apache Spark pedig natív VAST-csatlakozókkal közvetlenül lekérdezheti ezeket a táblákat. A megközelítés így a VAST szerint nem igényel külön ETL-folyamatot vagy az adatok másolását egy elkülönített elemzési adattóba.

Eltérő megközelítés a Kafka-partíciókhoz

A hagyományos Apache Kafka-fürtökben a brókerek kezelik a partícióvezetést, a klienskéréseket és a helyi naplóállapotot. A forrás szerint a háromszoros replikáció, a különböző rendelkezésre állási zónák közötti adatforgalom és a partíciók áthelyezése jelentős hálózati és üzemeltetési terhet okozhat. A Confluent Cloud Kora motorja automatizálja az aktív partíciók olvasását, írását és vezetését, de továbbra is a Kafka partícióközpontú modelljére épül.

A VAST on Cloud ezzel szemben megosztott, mindenhez hozzáférő architektúrát használ. Egy virtuális EBox egy CNode- és két DNode-konténert futtat. A CNode a metaadatokat és a kéréseket kezeli, a DNode-k pedig a virtuális gép helyi SSD-it teszik elérhetővé az NVMe-fabricen keresztül.

A VAST Event Broker az eseményeket nem külön brókeroldali naplómásolatokként tárolja, hanem a témához tartozó VAST DataBase-táblába illeszti. A Kafka-offset sorazonosítóként szolgál, miközben az üzenet kulcsa, értéke, fejlécei és időbélyege oszlopként megmarad. A VAST szerint új EBox virtuális gépek hozzáadásával növelhető a kapacitás anélkül, hogy a Kafka-fürtökre jellemző naplómigrációra vagy replikált témák újraosztására lenne szükség.

Kevesebb tárhelyigény az erasure coding miatt

A VAST elemzése szerint a Kafka-alapú szolgáltatások gyakran három példányban védik az eseményadatokat. Ez 200 százalékos kapacitástöbbletet jelent a háromszoros replikáció miatt. A VAST AI OS ehelyett erasure codingot alkalmaz, amely az adatokat a fürt EBoxai között osztja szét.

A vállalat közlése szerint az ehhez szükséges paritástöbblet a telepített virtuális gépek számától és a választott ellenállóképességi típustól függően 2,7 és 20 százalék között van. AWS- és Microsoft Azure-környezetben a Cloud-HA tartós felhős tárolási réteget is biztosít. A metaadatokat és az írási puffereket csatolható blokktárolóra menti, az új adatokat pedig folyamatosan objektumtárolóba továbbítja.

A VAST szerint egy teljes rendelkezésre állási zóna kiesésekor a blokkkötetek újonnan létrehozott virtuális gépekhez csatolhatók. Ez a fürt méretétől függően 3 és 15 percet vehet igénybe, miközben a metaadatok csaknem azonnal elérhetővé válnak, az adatok pedig fokozatosan töltődnek vissza az objektumtárolóból.

A VAST számítása szerint több mint négyszeres a különbség

A költségvizsgálat alapja havi 730 üzemóra, 4 GB/s tartós adatbevitel, 2,0-s fogyasztási arány, ötnapos, vagyis 120 órás megőrzés és 1 KB-os átlagos üzenetméret volt. Ez havonta 10 025,02 TB bevitt adatot, 20 050,05 TB kiolvasott adatot és 1 647,95 TB logikai eseményadatot jelentett a modellben. A forrás szerint az üzenetforgalom másodpercenként 4 096 000 rekordot, havonta pedig 10,764 billió rekordot eredményez.

A VAST közlése alapján a VAST on Cloud havi költsége ebben a példában 238 387 dollár, azaz a bevitt terabájtonként 23,78 dollár. A Confluent Cloud Enterprise becsült havi költsége 1 106 530 dollár, terabájtonként 110,38 dollár. A vizsgált Confluent-konfiguráció legalább három Enterprise-fürtöt igényel, mivel egy fürt legfeljebb 32 eCKU-t, illetve 1920 MB/s adatbevitelt kezelhet. A VAST szerint az elemzésben szereplő Confluent-érték ezért alsó becslés.

A felhasználók számára a bejelentés legfontosabb állítása az, hogy a streaming- és elemzési feladatok egy közös adatarchitektúrában kezelhetők, miközben a VAST számítása szerint csökkenhet a replikációból, a több fogyasztó általi adatkiolvasásból és a külön elemzési adattó fenntartásából eredő költség.