Stabil lett a Lance 2.1, a Netflixszel fejleszt az LanceDB
Stabil lett a Lance File Format 2.1, miközben a LanceDB új szemantikus művészeti keresőt mutatott be, és a Netflixszel közös fejlesztésekről készül beszélni. A vállalat októberi hírlevelében több nyílt forráskódú kiadást és vállalati termékfrissítést is ismertetett.
- Stabil lett a Lance File Format 2.1.
- A 2.1-es formátum tömörítést kínál a véletlen hozzáférés teljesítményének megtartásával.
- A Semantic.Art érzések és szándékok alapján is keres művészeti tartalmakat.
- A LanceDB és a Netflix közös előadást tart a Ray Summit 2025 rendezvényen.
- A Lance 0.38.0 teljes szöveges keresési indexe 32,3 százalékos P95 késleltetés-javulást kapott.
Érzések alapján is kereshető a Semantic.Art
A Semantic.Art olyan művészeti felfedezőmotor, amely a kulcsszavas egyezés mellett érzések vagy szándékok alapján is képes keresést indítani. A LanceDB szerint a rendszer több funkciót és többféle indexet használ, és a lekérdezés szándékának dinamikus értelmezésével választja ki a megfelelő keresési útvonalat.
A kereső a vektorkeresést, a teljes szöveges keresést, a hibrid keresést, a szűrést és az egyedi újrarangsorolókat is kombinálhatja. A projekt felépítéséről a LanceDB külön anyagot is közzétett, a Semantic.Art pedig kipróbálható.
Stabilizálták a Lance 2.1 fájlformátumot
A LanceDB csapata hivatalosan stabilnak nyilvánította a Lance File Format 2.1 verzióját. A kiadás egyik fő célja a 2.0 egyik kihívásának kezelése volt: tömörítés hozzáadása a véletlen hozzáférés teljesítményének feláldozása nélkül.
A Lance 0.38.0 kiadásától a 2.1-es formátumhoz nem terveznek további, kompatibilitást törő változtatásokat. A közlemény szerint a formátumot a Lance későbbi verziói is olvasni fogják, egy közelgő kiadásban pedig alapértelmezetté válik.
A 2.1-es formátum blobkódolást is támogat. Ugyanebben a kiadásban a teljes szöveges keresési index P95 késleltetése 32,3 százalékkal javult, és az index JSON-dokumentumokhoz specializált tokenizálót kapott. A LanceDB emellett bemutatta saját RaBitQ kvantálási technikáját, amelyet nagy méretű, nagy dimenziójú adatok gyors vektorkeresésére fejlesztettek.
Netflix, Ray és vállalati fejlesztések
A LanceDB és a Netflix a Ray Summit 2025 rendezvényen közös, részletes bemutatót tart arról, mit épít a Netflix Media Data Lake csapata. A LanceDB további előadásokat is felsorolt a PyData Seattle és a KubeCon + CloudNativeCon North America 2025 programjából.
A vállalati termékfrissítések között szerepel a Geneva fürt- és manifesztkezelése weboldalakkal és REST API-kkal. Javították a szűrt olvasások hatékonyságát, csökkentették az indexgyorsítótár méretét a nagy terhelésű lekérdezési csomópontok memória-stabilitásáért, valamint kisebb Docker-lemezképeket készítettek.
A nyílt forráskódú kiadások között a LanceDB 0.22.2 bitmap indexeket támogat nagy méretű karakterláncoknál és bináris adattípusoknál. A Lance 0.38.3 többek között zstd és lz4 tömörítést, egyedi leállító szavakat a teljes szöveges indexben, valamint sekély klónozást és elágazást támogat Pythonban és Javában.
A felhasználók számára a legfontosabb változás, hogy a Lance 2.1 stabil fájlformátummá vált, miközben a keresési, tömörítési és adatkezelési képességek több kiadásban is bővültek. A Netflixszel közös bemutató pedig azt jelzi, hogy a LanceDB ökoszisztémája nagy léptékű adat- és gépi tanulási munkafolyamatokat céloz.
