A LanceDB DuckDB-integrációval és 1,5 millió IOPS-szal erősít
A LanceDB DuckDB-kiterjesztése SQL-alapú vektoros, teljes szöveges és hibrid keresést tesz lehetővé Lance-adathalmazokon. A vállalat emellett több S3-bucketet átfogó tárolási elrendezést és 1,5 millió IOPS-os tárolási benchmarkot ismertetett.
- A LanceDB DuckDB-kiterjesztése SQL-ben kínál vektoros, teljes szöveges és hibrid keresést.
- A Lance egyetlen adathalmaz több S3-bucketre vagy régióra kiterjedő tárolását támogatja.
- A tárolási benchmark legfeljebb 1,5 millió IOPS értéket ért el.
- Az Enterprise-frissítések között lapgyorsítótár-előmelegítés és adaptív kötegméretezés is szerepel.
- A Lance 2.0.0 kiadása az összefoglaló szerint RC4 állapotban volt.
SQL-lekérdezések multimodális adatokhoz
A Lance január 2026-os hírlevelében bemutatott DuckDB-kiterjesztés a DuckDB-t SQL-alapú számítási motorrá alakítja Lance-adathalmazok felett. A megoldás vektoros, teljes szöveges és hibrid keresést kínál SQL-táblafüggvényeken keresztül.
A LanceDB szerint így a visszakeresési munkafolyamatok SQL-ben összeállíthatók. A felhasználók például összekapcsolhatják a keresési eredményeket kiértékelési adatokkal, reprodukálható módon készíthetnek top-k szeleteket, SQL-lel hibakeresést végezhetnek, majd az eredményeket visszaírhatják Lance-formátumba. A vállalat ezt a hagyományos SQL-elemzés és a multimodális keresés összekapcsolásaként írja le egyetlen nyílt adatformátumon.
Egy adathalmaz több tárhelyen is futhat
A Lance az Uber mesterségesintelligencia-infrastruktúrával foglalkozó csapatával együttműködve több alaptárolót kezelő elrendezést vezetett be. Ennek célja, hogy egyetlen adathalmaz több S3-bucketet is átfoghasson, és párhuzamos olvasást, illetve írást támogasson.
Az új felépítés különválasztja a tárolási alapokat és a fájlhivatkozásokat. A Lance szerint ez több-bucketes és több régiót használó elrendezéseket tesz lehetővé kompakt, áthelyezhető metaadatokkal. Az Uber így a képzési és visszakeresési munkaterheléseket az adathalmazok feldarabolása és a metaadatok újraírása nélkül skálázhatja.
A nyílt forráskódú kiadások között a Lance 1.0.1 és 1.0.4 közötti verzióihoz kapcsolódóan is szerepel a több alaptárolós elrendezés. A LanceDB 0.26 és 0.28 kiadásai a DuckDB-alapú SQL-visszakeresést, a vektoros és teljes szöveges keresést, valamint a hibrid keresést emelik ki.
A tesztben 1,5 millió IOPS-ig jutottak
A Lance újabb tárolási benchmarkjai legfeljebb 1,5 millió IOPS értéket értek el. A vállalat ezt ütemező-átalakítással és az io_uring használatával érte el. A beszámoló szerint a nagy véletlenszerű hozzáférési teljesítményben a processzorterhelés és a kontextusváltások csökkentése fontosabb lehet az egyedi olvasási késleltetésnél.
A fejlesztés a Lance leírása szerint a modern NVMe-hardverek hatékonyabb kihasználását szolgálja vektoros, szöveges és kulcsalapú kereséseknél. A bejegyzés beágyazott és szétválasztott architektúrákat is összevet, és azt mutatja be, hogyan skálázható a LanceDB az egyfolyamatos telepítésektől a nagy, elosztott rendszerekig.
A vállalati frissítések között szerepel egy adminisztrációs API a lapgyorsítótár előmelegítésére, erőforrás-alapú feladatvezérlés a holtpontok elkerülésére, valamint adaptív kötegméretezés a jellemzőmérnöki feladatok ellenőrzőpontjainál. A LanceDB belső benchmarkjai szerint az utóbbi akár kétszeres teljesítményjavulást is hozhat.
Bővülő ökoszisztéma és közösségi fejlesztés
A Lance közösségi összefoglalója szerint januárban két közösségi egyeztetést tartottak a közelgő Lance 2.0.0 kiadásról, amely akkor RC4 állapotban volt, és a végső közösségi szavazáshoz közeledett. Az egyeztetéseken a DuckDB, a Polaris és a Hugging Face integrációi, valamint a lance-context és lance-graph hivatalos alprojektekké alakítása is szóba került.
A hónap nyílt forráskódú kiadásai között a lance-graph fejlettebb Cypher-lekérdezései, a lance-context Python- és Rust-alapú környezetben elérhető kontextustár-funkciói, továbbá a lance-ray elosztott IVF_SQ, PQ és FLAT indexépítője is szerepel. A közösségi hozzájárulók között az Uber, a Netflix, a Hugging Face, a Bytedance, a Huawei, a Tencent és az Alibaba munkatársai is megjelennek.
