A Voyage AI megmutatta, hogyan készíthető saját Jev MongoDB-adatokból

A dokumentumok meglévő adataiból tanul a modell

A Voyage AI október 27-én közzétett bemutatója olyan előrejelzési megoldást ismertet, amely a MongoDB-ben tárolt dokumentumokból tanul. A módszer akkor használható, ha egy mező egyes dokumentumokban már ki van töltve, másokban viszont hiányzik. Ilyen lehet például egy ügyfélszolgálati jegy prioritása vagy egy film értékelése.

A rendszer először JSON-szöveggé alakítja a dokumentumokat, a becsülni kívánt mező kihagyásával. Ezután a JSON-t egy Voyage modellel beágyazza, majd a már ismert célértékkel rendelkező dokumentumokon egy előrejelző modellt tanít. A modellt ezután a hiányzó mezőjű dokumentumokra lehet alkalmazni, az eredményt pedig vissza lehet írni a gyűjteménybe.

A megközelítés a skaláris mezők mellett a szabad szöveget, a listákat és a beágyazott al-dokumentumokat is felhasználja. A Voyage szerint erre azért van szükség, mert a MongoDB-dokumentumok gyakran vegyes szerkezetűek, miközben a hagyományos táblázatos modellek lapos táblát várnak.

Filmértékelésekkel és 50 feladattal tesztelték

A filmes példában a MongoDB sample_mflix.movies gyűjteményét használták. A modell 17 527, 2010 előtt bemutatott, ismert IMDb-értékelésű filmen tanult, majd 5914, 2010-től megjelent film értékelését becsülte meg. A Voyage-4-nano beágyazásaival és XGBoosttal működő rendszer átlagos hibája 0,68 értékelési pont volt, és a filmek 78 százalékának értékét legfeljebb egy ponttal tévesztette el. Az összehasonlításként használt, régebbi filmek átlagos értékét minden új filmre beíró módszer 0,76 pontos hibát és 72 százalékos arányt produkált.

A szélesebb értékelés 50 valós előrejelzési feladatot tartalmazott. Ezek közül 29 kategóriát, 21 pedig számértéket jósolt. A nyers mezők önmagukban 52,1-es átlagos pontszámot értek el. A voyage-4-nano beágyazásának hozzáadásával ez 70,0-ra, a JSON-dokumentumokra kísérletileg utólag betanított voyage-json esetében pedig 73,3-ra nőtt. A Voyage számítása szerint ez rendre 37, illetve 44 százalékkal kevesebb hibát jelentett a nyers mezőkhöz képest.

A tesztekben hat további nyílt beágyazási modellt is vizsgáltak. A voyage-4-nano mindegyiket megelőzte a Nemotron-3-Embed-8B kivételével, amely több mint hússzor annyi paramétert használ. A többi modell 62,9 és 70,8 közötti pontszámot ért el.

A Voyage szerint Jevnél is jobb lett a kategorizálás

A 29 kategorizálási feladaton a voyage-json átlagos AUROC-értéke 88,3 volt, míg a TypeSafe AI Jevje 77,6-ot ért el. A Voyage ezt 48 százalékkal kevesebb hibaként értelmezi.

A két megközelítés között fontos különbség, hogy a Voyage módszeréhez címkézett dokumentumokra van szükség. Ezeket a dokumentumokat a vállalat szerint elegendő egyszer beágyazni, ezt követően többféle előrejelző modell is kipróbálható. A példában XGBoost regressziót használtak a filmes értékelésekhez, a vegyes feladatoknál pedig ridge regressziót alkalmaztak a nyers mezők és a beágyazás együttesén.

A voyage-4-nano nyílt súlyú modellként helyben futtatható, GPU-val, ha az rendelkezésre áll. A voyage-4-lite, voyage-4, voyage-4-large és voyage-json használatához a bemutató a Voyage API-ját ismerteti. A cég szerint bármely scikit-learn becslőmodell illeszthető a beágyazásokra.

Közösségi MongoDB-könyvtár is készült hozzá

A bemutató a mongo-predict nevű közösségi könyvtárat is ismerteti. Ez a megoldás a pymongo gyűjteményeihez ad segédfüggvényeket, amelyekkel előrejelzési modell tanítható, az eredmény pedig elmenthető az adatbázisba.

A könyvtár egy $predict lépést biztosít az aggregációs csővezetékek elején. A hozzá illesztett dokumentumokat a Python-kliens beágyazza és pontozza, a pipeline további részei pedig a szerveren futhatnak tovább. A mongo-predict nyílt forráskódú, és a Voyage bejegyzése szerint GitHubon érhető el.

A módszer így olyan csapatoknak lehet használható, amelyek MongoDB-ben tárolnak szöveges, listás és strukturált adatokat, és ezek alapján szeretnék kitölteni a hiányzó mezőket. A tényleges pontosság a bemutatóban szereplő adatoktól és a rendelkezésre álló címkézett dokumentumoktól függ.