A Cloudera és a VAST közös adatplatformra építené az AI-gyárakat
A Cloudera és a VAST Data olyan vállalati adatarchitektúrát mutatott be, amelyben az analitika, a streamelés, az AI és az inferencia ugyanazon adatokhoz férhet hozzá. A cél a másolatok, az adatmozgatás és a különálló adatpipelineszerű rendszerek okozta összetettség csökkentése.
- A Cloudera és a VAST egységes adatplatformot kínál a vállalati AI-hoz.
- A rendszer fájlokat, objektumokat, táblákat, vektorokat és eseményfolyamokat kezelhet.
- A DASE architektúra külön skálázhatóvá teszi a számítást és a tárolást.
- A közös adatplatform csökkentheti az adatmásolást és az ETL összetettségét.
- A megoldás az analitikát, az inferenciát és az ügynökalapú AI-t is támogatja.
Különálló rendszerek helyett egységes adatbázis
A VAST Data augusztus 24-én közzétett anyaga szerint a vállalati AI a kísérleti projekteken túl egyre inkább olyan éles rendszerek felé halad, amelyek folyamatosan fogadják, elemzik, keresik és értelmezik a vállalati adatokat. Ehhez a vállalatoknak a közlemény szerint nem elég nagy teljesítményű modelleket és grafikus processzorokat használniuk, az adatkezelési alapokat is át kell alakítaniuk.
A Cloudera és a VAST együttműködésének célja egy egységes adatplatform létrehozása. A Cloudera az intelligenciaréteget biztosítja vállalati adatszolgáltatásokkal, analitikával, adatfolyamok kezelésével és AI-funkciókkal. A VAST ehhez egy AI-ra optimalizált adatréteget kínál, amely a vállalat szerint nagy teljesítményű és nagy léptékben skálázható alapot ad az AI-gyáraknak.
A VAST szerint a hagyományos vállalati környezetekben az adattavak, adattárházak, tranzakciós rendszerek, objektumtárolók és AI-infrastruktúrák gyakran különálló silókként működnek. Az adatokat ilyenkor több rendszer között másolják, alakítják át és szinkronizálják, mielőtt egy AI-modell felhasználhatná őket. Ez növelheti az infrastruktúra költségeit, megnehezítheti az irányítást, és olyan AI-folyamatokat eredményezhet, amelyek több időt töltenek adatmozgatással, mint adathasználattal.
Fájlok, objektumok és vektorok egy platformon
A közös architektúrában az analitika, az adatfolyamok feldolgozása, az AI és az inferencia ugyanazon vállalati adatokon dolgozhat. A VAST AI-natív adatplatformja a vállalat leírása szerint egyetlen, nagy teljesítményű tárolási platformon kezeli a fájlokat, objektumokat, táblákat, vektorokat és eseményfolyamokat.
A platform S3-kompatibilis objektumtárolást használ, így a Cloudera adatszolgáltatásai közvetlenül hozzáférhetnek a vállalati adatokhoz. A VAST szerint ehhez nincs szükség az adatok újabb másolására vagy az architektúra átalakítására.
Az egységes alap a vállalat szerint egyetlen hiteles adatforrást hozhat létre az analitika és az AI számára. A Cloudera szolgáltatásai ugyanahhoz az alapul szolgáló adathoz férhetnek hozzá az adat-előkészítés, az analitika, a gépi tanulás és az inferencia során. Ez csökkentheti az ETL-folyamatok összetettségét, és lehetővé teheti, hogy az AI-alkalmazások aktuális vállalati adatokkal dolgozzanak az elavult másolatok helyett.
Független skálázás és hatékonyabb AI-infrastruktúra
A VAST a Disaggregated Shared-Everything, röviden DASE architektúrával választja szét a számítási kapacitást és a tárolást. A vállalat szerint így a két erőforrás külön-külön bővíthető, miközben minden számítási csomópont közvetlenül hozzáfér a megosztott adatokhoz. Ez mérsékelheti a hagyományos elosztott tárolási rendszerek tárolási szűk keresztmetszeteit, partícionálási korlátait és a csomópontok közötti koordinációs forgalmat.
A VAST szerint az architektúra az analitikai terhelésektől a nagy léptékű AI-telepítésekig kiszámíthatóbb bővítést tesz lehetővé, anélkül hogy a vállalatoknak egyszerre kellene túlméretezniük a tárolást és a számítási kapacitást. A nagy sávszélességű, alacsony késleltetésű tárolás a modellbetanítást, az inferenciát és a valós idejű analitikát is támogathatja.
A forrás szerint kompatibilis környezetekben az NVIDIA GPUDirect Storage közvetlen adatátvitelt tesz lehetővé a tároló és a GPU-memória között, a hagyományos CPU-memóriás másolások megkerülésével. A VAST ezt olyan technológiaként említi, amely tovább optimalizálhatja az adatútvonalat.
Mit jelenthet ez a vállalati felhasználóknak?
A Cloudera és a VAST szerint a közös platform egyszerűsítheti a vállalati AI-rendszerek felépítését. A streaming adatbevitel, a vektoros keresés, a modellfejlesztés, az inferencia és az ügynökalapú AI ugyanazon adatplatformon működhet, így kevesebb különálló tárolási környezetre és összekapcsolt adatfolyamatra lehet szükség.
A megközelítés a visszakereséssel támogatott szöveggenerálásnál és az ügynökalapú AI-nál is hasznos lehet a vállalat szerint, mivel ezek a rendszerek egyaránt támaszkodnak adatbevitelre, vektoros lekérdezésekre és következtetésre. A VAST emellett az adatcsökkentést és az alacsony többletterhelésű hibajavító kódolást is a költségek mérséklésének eszközeként említi. A vállalat szerint ez csökkentheti a rackhely-, energia- és üzemeltetési igényt, miközben a külön skálázható számítás és tárolás rugalmasabb bővítést tesz lehetővé.