Qdrant 1.19: kilencszer kisebb tárolás és új memóriahangolás

A Turbo4 a tárhelyet célozza

A Qdrant 1.19 legfontosabb újdonsága a Turbo4 adattípus, amely a vektorokat 4 bites TurboQuant tömörítéssel tárolja. A korábbi megoldás a tömörített másolat mellett megtartotta az eredeti, teljes pontosságú vektorokat is. Az új formátum kizárólag a 4 bites reprezentációt őrzi meg.

Ez koordinátánként 36 bitről 4 bitre csökkenti a tárolási igényt, vagyis a Qdrant szerint akár kilencszeres tárhelymegtakarítást eredményez. A kisebb adatmennyiség kevesebb olvasást és írást jelenthet műveletenként, ami javíthatja az áteresztőképességet. Ugyanez a tömörítés a ColBERT típusú késői kölcsönhatásos kereséshez használt többvektoros gyűjteményeknél is alkalmazható, ahol az előny arányosan nagyobb.

A megoldásnak ára van: teljes pontosságú másolat hiányában a Qdrant nem tudja az eredeti vektorokkal újrarangsorolni a legjobb jelölteket. Ezért a Turbo4 akkor lehet megfelelő választás, ha a lemezhasználat csökkentése az elsődleges cél. Ha a legmagasabb visszahívási arány a fontos, a teljes pontosságú tárolásra épülő TurboQuant kvantálás marad a jobb megoldás.

Egy beállítás három memóriaosztályhoz

A kiadás egységesíti a gyűjtemény különböző részeinek memóriakezelését. A vektorok, a HNSW-index, a kvantált vektorok, a ritka vektoros index, a payloadok és a payload-indexek eddig külön paraméterezési módokat használtak. Ezeket most egy közös memory paraméter váltja fel.

Három memóriaosztály közül lehet választani. A pinned teljesen memóriába tölti az adott komponenst, és azt nem üríti ki. A cached lemezen tartja az adatot, induláskor előtölti az operációs rendszer lemezgyorsítótárába, de memóriahiány esetén üríthető. A cold az adatot az első hozzáféréskor, késleltetve tölti be a lemezről.

A korábbi, komponensenkénti jelzők továbbra is működnek, de elavultnak számítanak. Az új rendszerrel a HNSW-gráf kapcsolatai is rögzíthetők a memóriában, a ritka index gyorsítótárazott osztályt kap, a kvantált vektorok pedig a teljes pontosságú vektoroktól függetlenül állíthatók pinned, cached vagy cold módba.

Pontosabb több-bérlős keresés és új szűrők

A 1.19 lehetővé teszi, hogy a ritka vektoros keresésben használt IDF-statisztikákat egy konkrét bérlő adataira szűkítsék. Korábban a Qdrant az egy shardban lekérdezett teljes adathalmazból számolt. Eltérő szókincset használó bérlők esetén ez torzíthatta a kifejezések ritkaságát, az új beállítással viszont az IDF az adott bérlő saját adataihoz igazodhat.

A kulcsszóindexek prefixkeresést is támogatnak. Így például az olyan értékekre is lehet szűrni, amelyek egy adott URL- vagy fájlútvonal-előtaggal kezdődnek, miközben megmarad a kulcsszómezők pontos értékeinek kezelése. A prefixlekérdezéseket külön indexstruktúra szolgálja ki.

Újdonság a slice szűrőfeltétel is, amely determinisztikus, egymást nem átfedő részekre osztja a gyűjtemény pontjait. Ez lehetővé teszi, hogy párhuzamos feldolgozásnál minden munkafolyamat külön szeletet kapjon, illetve hogy ugyanazt a stabil adatrészletet használják teszteléshez, összehasonlításhoz vagy kísérletekhez.

A Web UI nagyobb gyűjteményekhez igazodik

A Web UI most élő állapotjelzést mutat az újraparticionálásról, beleértve az érintett shardokat és az aktuális szakaszt. A Collection Visualizer szerveroldalon számolja a távolságokat, az elrendezési motor WebAssemblyben fut, a megjelenítést pedig WebGL2-renderelő segíti. A Qdrant szerint így a gyakorlati pontlimit néhány ezerről több tízezerre nő.

A vizualizációban egy pont kiválasztásakor kiemelhetők a legközelebbi szomszédok, kijelölhető egy régió, valamint szűrővel is kiemelhetők a megfelelő pontok. A kijelölt elemek azonosítója, JSON-formátuma vagy egy hozzájuk tartozó szűrő egy kattintással másolható.

A payload-indexek kezelése szintén elérhetővé vált a Web UI-ban. A rendszer automatikusan javasol indexszabályt a mező értéke alapján, a Collection Info nézet pedig áttekintést és központi szerkesztési, illetve törlési lehetőséget ad. A fejlesztések a Qdrant közleménye szerint a tárhely, a memória és a kezelhetőség hangolását célozzák különböző telepítési helyzetekben.