A LanceDB szerint gyors és versenyképes a Jev újrarangsoroló

A Jev kérdésenként értékeli a találatokat

A LanceDB 2026. október 1-jén közzétett beszámolója szerint az újrarangsoroló olyan rendszer, amely a keresés által megtalált jelölteket egyenként pontozza a lekérdezéshez viszonyítva. A vektorkeresés szemantikai egyezéseket, a teljes szöveges keresés pedig szövegbeli egyezéseket talál, az újrarangsoroló pedig ezek rövid listáját rendezi át.

A Jev a TypeSafe System One modellje. Állapotot és típusos kérdéseket fogad, Noul primitívje pedig nulla és egy közötti becsült valószínűséget ad arra, hogy egy állítás igaz-e. A LanceDB natív TypeSafeReranker erre az értékre relevanciapontszámként tekint, amely alapján a találatok sorba rendezhetők, vagy küszöbérték alkalmazható.

A rendszerben maga a kérdés is a döntés része. Az alapértelmezett benchmarkutasítás azt kérdezi, hogy a dokumentum megválaszolja-e vagy közvetlenül tárgyalja-e a lekérdezést. Ez több lépésből álló kérdéseknél túl szigorú lehet, mert egy dokumentum hasznos információt adhat anélkül, hogy önmagában megválaszolná a teljes kérdést.

A kérdés módosítása javította a HotpotQA eredményeit

A LanceDB alapértelmezett beállításával a HotpotQA hibrid keresésének Hit@10 értéke 92,67 százalékra csökkent a reciprok rangfúzió, vagyis RRF 96,19 százalékos eredményéhez képest. A kutatók ezután szélesebb utasítást használtak: „Releváns a dokumentum a lekérdezéshez?” Ebben már azokat az információkat is relevánsnak számították, amelyek csak a kérdés egy részének megválaszolásához járulnak hozzá.

Ezzel a HotpotQA Hit@10 értéke 97,70 százalékra, a Hit@1 pedig 72,87 százalékról 85,24 százalékra nőtt. A szélesebb prompt az adatállomány, a keresési mód és a levágási pont 45 összehasonlításából 41 esetben elérte vagy meghaladta az alapértelmezett változat eredményét. A négy kivétel a FiQA adathalmazhoz kapcsolódott, a veszteség legfeljebb 0,77 százalékpont volt.

A cég hangsúlyozza, hogy nincs minden helyzetben legjobb újrarangsoroló. A választás a feladattól és attól függ, mit tekintünk relevánsnak. A promptot ezért az adott feladathoz paraméterként kell kezelni, és a kiválasztott változatot külön, visszatartott lekérdezéseken is ellenőrizni kell.

Öt adathalmazon és 19 konfigurációval teszteltek

A benchmarkban a LanceDB 19 kész újrarangsoroló-konfigurációt vizsgált a GooAQ, az NQ, a HotpotQA, a FiQA és a SciDocs adathalmazon, majd a Jev több promptváltozatát is hozzáadta az összevetéshez. A 19 konfigurációban három ColBERT-modell szerepelt, mindegyik három különböző poolingfaktorral.

A GooAQ esetében 20 000 véletlenszerűen kiválasztott lekérdezést futtattak 100 000 válaszon. Az NQ 3452, a HotpotQA 7405, a FiQA 648, a SciDocs pedig 1000 tesztlekérdezést tartalmazott. Minden újrarangsoroló ugyanazokat a legfeljebb 50 vektoros és 50 BM25-jelöltet kapta. A hibrid keresésnél ezek egyesített, duplikátumoktól megtisztított listája legfeljebb 100 szövegrészt tartalmazott.

A nyílt modelleket egy H100 grafikus processzoron futtatták, a Jevhez API-t használtak. A Hit@k azt méri, hogy a lekérdezések hány százalékánál szerepelt legalább egy címkézett, releváns dokumentum az első k találat között. A LanceDB szerint a Jev gyorsnak és versenyképesnek bizonyult, de az eredmények alapján a pontosság és a sebesség közötti kompromisszum, valamint a feladatnak megfelelő relevanciadefiníció továbbra is fontos szempont.

A Jev közvetlenül használható a LanceDB-ben

A LanceDB példakódja a TypeSafeRerankert vektoros, teljes szöveges és hibrid kereséshez is használja. A bemutatott beállítás egyszerre legfeljebb 40 független dokumentumértékelést kötegel, és egy rerankelési híváson belül legfeljebb négy kérést futtat párhuzamosan.

A nagyobb korpuszra készült példa 20 jelöltet kér le, majd az újrarangsorolás után ötöt ad vissza. Így egy kezdetben alacsonyabban szereplő, de releváns szövegrész is feljebb kerülhet. A hibrid keresésnél a natív újrarangsoroló egyesíti és deduplikálja a jelölteket, megőrzi a sorazonosítókat, és hozzáadja a _relevance_score mezőt.

A rendszer a Stay Lens bemutatóhoz hasonló alkalmazásokban is használható, ahol külön kérdések vizsgálhatják például a csendességet, a házigazda reagálóképességét vagy a gyermekek számára való megfelelőséget. A forrás szerint ezeket a preferenciaalapú ítéleteket ebben a benchmarkban nem tesztelték, ezért az ilyen használathoz külön validáció szükséges.