VAST 5.5: saját, kezelt számítási réteget kap a DataEngine

A számítás és az adatok egy kezelési rétegbe kerülnek

A VAST DataEngine szerver nélküli számítási keretrendszer, amely konténerizált feldolgozást futtat a VAST-ban tárolt adatokon. A funkciók automatikusan elindulhatnak új fájlok érkezésekor, események hatására vagy ütemezett munkafolyamatok részeként.

A VAST augusztus 6-i közleménye szerint a VAST 5.5 egyik újdonsága a VAST Native Compute. Ez a DataEngine-be közvetlenül beépített, kezelt számítási réteg, amelyben a számítás és az adatok ugyanazon kezelési réteg alatt működnek.

A vállalat szerint a hagyományos mesterségesintelligencia-folyamatokat lassíthatja, hogy az információk több, egymástól elkülönülő rendszer, például S3, Kafka, adattárházak, adatbázisok és vektortárolók között mozognak. Minden adatátvitel késleltetést, üzemeltetési többletet és újabb hibalehetőséget jelenthet. A DataEngine a fájlokat, táblákat, eseményfolyamokat és vektoradatokat közös végrehajtási környezetbe hozza.

Mire használható a DataEngine?

A DataEngine konténerizált funkciókat futtat közvetlenül a VAST-ban tárolt adatokon. A VAST szerint ehhez nincs szükség külön Kubernetes-infrastruktúrára vagy külön összehangoló eszközökre. A rendszer új adatok érkezésekor, események bekövetkeztekor vagy kötegelt feladatok lezárásakor automatikusan feldolgozhatja és kezelheti az adatokat.

A bemutatott felhasználási területek között szerepel a videók automatikus indexelése, kiemeléseinek és kereshető időbélyegeinek létrehozása, valamint képek és dokumentumok mesterséges intelligenciával végzett címkézése. A rendszer fájlok érzékeny adatait, például társadalombiztosítási azonosítókat és fizetési adatokat is vizsgálhatja.

A DataEngine használható továbbá vállalati adatokra épülő RAG-alapú chatbotokhoz, nyers adatok gépi tanulási modellekhez való előkészítéséhez, naplófájlok, Parquet- és CSV-fájlok rendszerezéséhez, orvosi képek elemzéséhez, valós idejű csalásfelderítéshez és több terabájtos biológiai adathalmazokon végzett genomikai RAG-feladatokhoz.

BYOC vagy VAST által kezelt számítás

A DataEngine éles környezetben kétféle számításkezelési megközelítést támogat. A Bring Your Own Compute, vagyis BYOC lehetővé teszi, hogy a szervezetek meglévő hardverüket használják, miközben a VAST vezérlési síkja kezeli az adatokat és a folyamatok összehangolását. Ebben a modellben a vállalatok megtartják az alapul szolgáló infrastruktúra feletti irányítást.

A VAST Native Compute ezzel szemben külön Kubernetes-fürt kiépítése és karbantartása nélkül kínál kezelt működést. A VAST szerint ez azoknak a szervezeteknek lehet megfelelő, amelyek kevesebb infrastruktúra-üzemeltetési feladatot szeretnének.

A vállalat a saját kezelésű Kubernetes-környezetek több nehézségét is kiemeli: az elkülönülő tárolási és számítási infrastruktúrákat, a számítási és adatkezelési sík közötti összetett hálózatot, valamint a Kuberneteshez értő szakemberek hiányát.

A VAST Native Compute az infrastruktúra életciklusát is kezeli

A VAST közleménye a Kubernetes-infrastruktúra úgynevezett Day 0, Day 1 és Day 2 szakaszait különíti el. A Day 0 a szabályozást és az infrastruktúrastratégiát, a Day 1 a kezdeti telepítést, a Day 2 pedig a hosszú távú üzemeltetést jelenti. Utóbbihoz tartozhat a Kubernetes frissítése, a tartós tárhely mentése, a külön rendszerekben végzett megfigyelés, a tanúsítványok cseréje és a hozzáférések kezelése.

A VAST Native Compute esetében a vezérlési síkot a VAST kezeli. A vállalat leírása szerint a megoldás automatizált gördülő frissítéseket biztosít a Kuberneteshez és az alapul szolgáló VAST operációs rendszer adatkezelési szolgáltatásaihoz. A katasztrófa utáni helyreállítás beépített mentési és helyreállítási képességekre támaszkodik.

A biztonsági funkciók között a VAST a STIG és CIS szabványokhoz igazított működést, automatizált tanúsítványcserét, folyamatos biztonsági javításokat, bérlőszintű elkülönítést és egységes auditnaplókat említ. A DataEngine vezérlési síkja több fürt életciklusát is kezelheti, így a fejlesztői és üzemeltetői csapatok a közlemény szerint inkább az adatfeldolgozási folyamatokra összpontosíthatnak.

Edge és központi adatközponti telepítések

A VAST Native Compute a VAST szerint a szélső peremhálózati helyszínektől a nagy központi adatközpontokig használható. Peremhálózati környezetben az adatfeldolgozás ott történhet, ahol az adatok létrejönnek, például IoT-központokban, távoli laborokban vagy elosztott létesítményekben. A VAST ezt az adat-visszaszállítás költségének csökkentésével és az időérzékeny feladatok késleltetésének mérséklésével kapcsolja össze.

A központi adatközpontokban a nagy léptékű összesítés és a nagy számításigényű feldolgozás kerülhet előtérbe. A több-bérlős működéshez a vállalat egyetlen, névterekkel elkülönített fürtöt, illetve több, fizikailag elkülönített fürtöt említ. Az első belső csapatok megosztott erőforrás-használatára, a második magas biztonsági igényű környezetekre vagy különálló külső bérlőkre szolgálhat.