A Qdrant 21-szer kisebbre tömörítette a Perplexity vizuális keresővektorait

A vizuális kereső egy teljes oldalt kezel

A Perplexity pplx-embed-v2-late néven két, késői kölcsönhatású modellt tett elérhetővé, amelyek a dokumentumoldalakat képként keresik. A módszer az oldal képét, így a táblázatokat, diagramokat és az elrendezést is beágyazza. Emiatt a kereséshez nem szükséges előbb optikai karakterfelismerést, vagyis OCR-t futtatni.

Ez a megközelítés a Qdrant szerint olyan dokumentumoknál lehet fontos, ahol a szöveg jelentése a környezetétől függ. Egy pénzügyi jelentésben például egy szám értelmezéséhez szükség lehet a sorra, az oszlopra és a mértékegységre, egy diagramnál pedig a feliratokra.

A nagy reprezentáció ugyanakkor komoly tárolási igényt jelent. A pplx-embed-v2-late minden oldal képéből körülbelül 1700, egyenként 128 dimenziós vektort készít. Ez float32 formátumban oldalanként 856 KB, egymillió oldal esetén pedig több mint 800 GB csak a vektorok számára.

A TurboQuant 40 KB-ra csökkenti az oldalankénti méretet

A Qdrant október 13-án közzétett tesztje szerint a saját TurboQuant technológiája néhány bites reprezentációra tömöríti a vektorokat. 1 bites beállításnál az oldalankénti méret 40 KB-ra csökkent, ami 21-szer kisebb az eredeti 856 KB-nál. A tömörítés közben a tokeneket nem távolítják el, és az oldalt sem alakítják szöveggé.

A négy vizsgált ViDoRe v3 adathalmazon a tömörített keresés az eredeti float32 eredmény 96,5 százalékát tartotta meg. Az újrarangsorolás során a rendszer a legjobb jelölteket az eredeti vektorokkal is összeveti. Ezzel a Qdrant mérése szerint 99,9 százalékra nőtt a megtartott keresési minőség.

Összehasonlításként az 1 bites bináris kvantálás ugyanebben a beállításban a minőség 76,4 százalékát tartotta meg. A TurboQuant 2 bites módban 67 KB-ot használt oldalanként, és újrarangsorolás nélkül 98,5 százalékos eredményt ért el. A tömörített vektorok egymillió oldalnál körülbelül 40 GB-ot igényelnének, az eredeti vektorokat azonban külön kell tárolni.

Kisebb modell is használható a lekérdezésekhez

A Qdrant tesztelte azt a felállást is, amelyben a nagyobb modellt az indexeléshez, a kisebb modellt pedig a lekérdezések beágyazásához használják. A Perplexity két modellje közös beágyazási teret használ, ezért az oldalakat a 9b modellel lehet indexelni, a lekérdezéseket pedig a 0.6b modellel feldolgozni. A Qdrant szerint a 0.6b körülbelül 20-szor kevesebb aktív paraméterrel rendelkezik.

Oldalképeken a 0.6b indexelésre és lekérdezésre használva 0.666 nDCG@10 értéket ért el. A 9b indexelés és a 0.6b lekérdezés kombinációja 0.670-et, a 9b mindkét célra használva pedig 0.681-et ért el. A Qdrant mérése szerint 1 bites TurboQuant mellett a vegyes összeállítás újrarangsorolás nélkül a float32 eredmény 96,6 százalékát tartotta meg, újrarangsorolással pedig 100 százalékát.

Az OCR továbbra is kellhet a kinyert szöveghez

A Qdrant következtetése szerint az OCR a dokumentumkeresésben választható lépéssé válhat. Vizuálisan gazdag PDF-eknél a vállalat először az oldalképek keresésének tesztelését javasolja, ha azonban az alkalmazásnak kinyert szövegre vagy strukturált mezőkre van szüksége, az OCR továbbra is szükséges.

A vizsgálatban a 9b modell oldalképeken 0.681 nDCG@10 értéket ért el, míg ugyanazok a PDF-oldalak Markdown formátumba alakítva 0.671-et. A Markdown-oldal tömörített vektorai 14 KB-ot foglaltak, szemben az oldalkép 40 KB-jával. A Qdrant szerint ezért az oldalképet akkor érdemes megtartani, ha az elrendezés hordozza az információt, és Markdownot akkor érdemes tesztelni, ha a szöveg a meghatározó.

A teszt négy nyilvános ViDoRe v3 adathalmazt vizsgált, összesen 11 609 oldallal és adathalmazonként 200 angol nyelvű lekérdezéssel. A millió oldalas méretek oldalankénti adatokból számított előrejelzések, nem egymillió oldalon végzett keresési benchmarkok.