A LanceDB új vállalati funkciókkal segíti az AI-rendszerek skálázását

A Dosu a kódbázisok tudásbázisaként használja a LanceDB-t

A LanceDB augusztus 5-én közzétett hírlevelében egy új Dosu-esettanulmányra hívta fel a figyelmet. A Dosu szoftveres csapatoknak és ügynököknek készült intelligens tudásbázist fejleszt, amelyhez a LanceDB biztosítja a keresési és adattárolási alapokat.

A LanceDB szerint a rendszer bevezetése után a Dosu 90 százalékos címkepontosságot ért el, 70 százalékkal csökkentette a manuális osztályozási munkát, és több millió vektoron is ezredmásodperces keresést tudott megvalósítani. Ezeket az eredményeket a vállalat a LanceDB használatához köti.

„A LanceDB az AI-rendszerünk szívét működteti a Dosunál. Villámgyors keresése, beépített verziókezelése és könnyed skálázhatósága lehetővé teszi, hogy gyorsabban haladjunk, okosabban szállítsunk, és kompromisszumok nélkül biztosítsunk fejlett intelligenciát fejlesztők millióinak”, idézte a hírlevél Devin Steint, a Dosu alapítóját és vezérigazgatóját.

Folyamatos adatfolyamokra és összetettebb keresésre készültek az újdonságok

A termékfrissítések között szerepel a folyamatos adatbeírás támogatása. A LanceDB leírása szerint a rendszer streaming írások közben automatikusan optimalizálja az indexeket, így tartós adatáramlás mellett is egyenletesen gyors teljesítményt céloz.

Megjelentek a gyors tartományalapú lekérdezések is. Ezekkel olyan szűrések használhatók, mint a legalább 1000 értéket kereső feltétel. A JavaScript és TypeScript SDK többvektoros támogatást kapott, így egyetlen elemhez több vektoros beágyazás tárolható és kereshető.

A LanceDB Cloud felületén egyszerűbbé vált az adatok vizsgálata. A felhasználók SQL-lel szűrhetik a táblák adatait, és kiválaszthatják a megjelenítendő oszlopokat, így személyre szabható nézeteket hozhatnak létre a LanceDB-adatkészletekből.

Nyílt forráskódú kiadások és közösségi integrációk

A hírlevél a LanceDB és a Lance körüli közösségi fejlesztéseket is felsorolja. Enwei Jiao, aki korábban a Minimax adatmotorján dolgozott, jelenleg pedig a Luma.ai munkatársa, több hozzájárulással segítette a Lance-Ray integrációját. Az egyik módosítás lehetővé teszi, hogy az add_column elosztott módon, Ray használatával adjon oszlopokat meglévő táblákhoz. Egy másik paraméter több natív beállítás elérhetőségét támogatja Lance-táblák olvasásakor, verzió és címke alapján.

A közösségi munkák között szerepel az AWS Glue integrációja, valamint a Lindera tokenizáló natív támogatása is. A LanceDB 0.21.2 kiadása több fejlesztést tartalmaz, köztük az n-gram tokenizáló és a JavaScript többvektoros funkciójának támogatását, továbbá a Python- és JavaScript-munkamenetek támogatását. A 0.21.1 verzió többek között kötegelt Ollama-beágyazási hívásokat javított.

A Lance 0.32.0 kiadásában törést okozó változások jelentek meg a tervezőben használt FilteredReadExec és az összevont indexgyorsítótár kapcsán. A Lance 0.31.1 új, MkDocs-alapú dokumentációs webhelyet hozott.

Vállalati AI-rendszerekről szóló előadások kerültek nyilvánosságra

A LanceDB a júniusi események felvételeit is megosztotta. A Harveyvel közös előadás az üzleti használatra szánt RAG-rendszerek skálázásának tapasztalatait mutatja be a jogi területről, az AI Engineer World's Fair eseményén. Egy másik, a Databricks DATA+AI SUMMIT rendezvényén tartott előadás az AI-adatok tóházas architektúráját, keresését, elemzését, feldolgozását és tanítását tárgyalja.

A bejelentések alapján a LanceDB fejlesztései egyszerre célozzák a nagy mennyiségű vektoros adatok kezelését, a vállalati AI-rendszerek folyamatos működését és a fejlesztők munkájának egyszerűsítését. A Dosu-eset azt mutatja, hogy a vállalat a LanceDB-t kódbázisokhoz kapcsolódó tudásbázisok alapjaként is pozicionálja.