A Redis terabájtos keresést hoz a felhőbe, töredéknyi RAM-mal

A keresési index egy része SSD-re kerül

A Redis szeptember 22-i bejelentése szerint a Redis Search indexei mostantól a Redis Cloud Flex tiered storage rétegzett tárolásán is működhetnek. A felhasználóknak nem kell módosítaniuk a lekérdezéseket, az indexdefiníciókat vagy a meglévő klienseket. A változás az index elhelyezését érinti: a teljes index a Flex rétegzett tárolásán található, miközben a gyakran használt indexmetaadatok a memóriában maradnak.

A Redis állítása szerint így egy index memóriaigénye nagyjából 10 százaléka lehet egy vele egyenértékű, teljes egészében memóriában tartott indexének. Az adatbázisnál beállítható a RAM és a Flash közötti arány, amely később újra módosítható újraindexelés vagy kódátírás nélkül. A 100 százalékos RAM-beállítás a Redis által ismert memóriás teljesítményt adja.

Terabájtos keresés Redisben

A Redis szerint a Search on Flex olyan feladatokat céloz, amelyeknél a teljes index memóriában tartása gazdaságilag nehezen működött. A közlemény példaként említi a teljes előzményeken végzett csalás- és megfelelőségi ellenőrzést, a szélesebb és hosszabb jellemzőket tartalmazó feature store-okat, valamint a teljes termékkatalógusok és tudásbázisok dokumentumkeresését.

A megoldás a Retrieval-Augmented Generation, vagyis RAG-folyamatok, az ügynöki kontextuskeresés és a szöveges, illetve vektoros keresést kombináló feladatok számára is használható. A terabájtos beágyazások és dokumentumok SSD-n tárolhatók, így a kereső a teljes korpuszból dolgozhat, nem csak a memóriába beférő részből.

A Redis célja a „10:10 szabály”: nagyjából tízszeres memórián belüli lekérdezési késleltetés körülbelül 10 százalékos RAM-lábnyom mellett. A lemezes olvasás késleltetését a Query Performance Factor, röviden QPF ellensúlyozza, amely több virtuális processzormag között osztja meg a lekérdezések végrehajtását.

Elérhetőség és támogatott funkciók

A Search on Flex jelenleg Preview állapotban érhető el a Redis Cloud Pro szolgáltatásban. A kipróbálásához a Redis Cloud konzoljában kell bekapcsolni az opt-in Preview jelzőt, ezután létrehozhatók rétegzett tárolást használó Flex-adatbázisok Redis Search indexekkel. A Terraform támogatása szintén Preview szinten érhető el.

A kiadás HASH dokumentumokat, TEXT mezőket, TAG mezőket, valamint HNSW és FLAT indexeket használó VECTOR mezőket támogat. Elérhető a kulcstérből betöltött mezők használata a SORTBY és RETURN parancsokkal, továbbá a magas rendelkezésre állás, a perzisztencia, a biztonsági mentés és a frissítések kezelése.

A Redis Cloud Pro támogatása jelenleg szűkebb a Redis Software-énél. A NUMERIC és GEO mezők, a JSON-dokumentumok, az FT.AGGREGATE, az FT.HYBRID és a háttérben végzett indexelés a Redis Software-ben már elérhető, a Cloud-verzióba később érkezik. A Redis közlése szerint a cél a memóriában futó Search teljes funkcionális megfelelése a végleges kiadásra.

Mit jelent ez a felhasználóknak?

A Search on Flex lehetővé teszi, hogy a felhasználók költségérzékeny, lemezre támaszkodó beállítással kezdjenek, majd a terhelés növekedésével több RAM-ra és QPF-re váltsanak. Mivel ugyanaz a motor, API és kliens használható, ez a Redis szerint nem igényel migrációs projektet.

A Redis célja az is, hogy a vállalatoknak ne kelljen külön keresőrendszert fenntartaniuk a Redis mellett. A közlemény szerint sok csapat a Redis gyorsítótárat Elasticsearch, OpenSearch vagy külön vektoros adatbázis mellett használta. A Search on Flex ezt a második keresőmotort válthatja ki, miközben a Redis Data Integration meglévő adatbázisokból közel valós időben továbbít adatokat a Redisbe. A Flex-adatbázis díjazása a szokásos módon történik, a Search on Flexhez használt QPF-ért jelenleg nincs külön díj.