A LanceDB az Apache DataFusionhoz járul hozzá új funkcióval
A LanceDB mérnökei ASOF join támogatással bővítették az Apache DataFusion lekérdezőmotort. A vállalat szerint az upstream hozzájárulás más DataFusion-felhasználóknak is elérhetővé teszi a fejlesztést.
- A LanceDB ASOF join támogatást adott az Apache DataFusionhoz.
- A funkció eltérő időpontban rögzített adatok összekapcsolását teszi lehetővé.
- A fejlesztés robotikai és pénzügyi adatoknál is használható.
- A LanceDB mérnökei több nyílt forráskódú projekthez hozzájárulnak.
- A DataFusion a LanceDB SQL-lekérdezéseinek tervezését és végrehajtását támogatja.
A LanceDB több nyílt forráskódú projektre épít
A LanceDB technológiai készletének több rétegében nyílt forráskódú projektekre támaszkodik, a tárhelyeléréstől a lekérdezések végrehajtásáig. A vállalat szerint ezeknek a projekteknek a mérnöki munkája, felülvizsgálata és karbantartása lehetővé teszi, hogy a LanceDB csapata a saját termékéhez kapcsolódó problémákra összpontosítson.
Ha egy szükséges képesség hiányzik, vagy a mérnökök hasznos optimalizációt találnak, azt igyekeznek visszajuttatni az adott projektekbe, ahelyett hogy kizárólag a LanceDB-ben tartanák meg. A csapat mérnökei többek között a LeRobot, az Apache OpenDAL, a CocoIndex és az ICU4X projektjéhez járultak hozzá.
A LanceDB közlése szerint a Lance PMC-ben részt vevő tagjainak közel 90 százaléka más jelentős nyílt forráskódú projektekhez is hozzájárul, vagy azok irányításában vesz részt.
Az ASOF join eltérő időbélyegeket kapcsol össze
A legutóbbi példa az Apache DataFusionhoz hozzáadott ASOF join támogatás. A DataFusion Rust nyelven írt, az Apache Arrow köré épülő, bővíthető lekérdezőmotor. SQL- és DataFrame-API-kat, lekérdezéstervezést és -optimalizálást, valamint oszlopalapú végrehajtómotort biztosít. A fejlesztők saját adatforrásokkal, függvényekkel és operátorokkal is kiegészíthetik.
A LanceDB számára ez azt jelenti, hogy nem kell nulláról saját SQL-lekérdezőmotort építenie. A vállalat így a tárhelyre, az indexelésre és a felhasználók által igényelt adatelérési mintákra összpontosíthat, miközben a DataFusion a lekérdezéstervezés és a végrehajtás jelentős részét kezeli.
Az ASOF join olyan esetekben hasznos, amikor a kapcsolt adatok időbélyegei nem egyeznek pontosan. A LanceDB robotikai példája szerint a kameraképek és a robotállapotok eltérő gyakorisággal készülhetnek. Ilyenkor minden képkockához a képkocka időpontjában vagy annál korábban rögzített legutóbbi állapotot lehet kiválasztani azonos robot és felvételi epizód alapján.
Egy egyszerű egyenlőségi összekapcsolás csak azonos időbélyegeknél működne. Az összes korábbi állapot bevonása viszont több lehetséges találatot eredményezne. Az ASOF join közvetlenül fejezi ki azt a kapcsolatot, amelyben a legutóbbi megfelelő rekordot kell megtalálni. Ha nincs ilyen állapot, az eredményben az állapothoz tartozó mezők üresek maradnak. Más összehasonlító operátorokkal a következő megfelelő rekord is kiválasztható.
A fejlesztés a robotikán túl is használható
A LanceDB szerint az időalapú összekapcsolás más területeken is alkalmazható. Pénzügyi adatoknál például egy ügylethez hozzákapcsolható a legutóbbi jegyzés, akkor is, ha a két rekord időpontja nem azonos.
A vállalat az upstream fejlesztés egyik előnyének azt tartja, hogy egy eredetileg saját felhasználási esetre készült funkció olyan csapatok számára is elérhetővé válhat, amelyekkel a LanceDB nem áll kapcsolatban. A megvalósítást a DataFusion karbantartói és eltérő munkaterhelésekkel dolgozó felhasználói is átnézhetik.
A LanceDB szerint ez a közösségi felülvizsgálat olyan szempontokat adhat, amelyek kizárólag a saját követelményeiből nem derülnének ki. A cég ezért a nyílt forráskódú függőségeihez való hozzájárulást a LanceDB fejlesztési módjának részeként kezeli. Az ASOF join hozzájárulása és az Apache DataFusion dokumentációja további részleteket tartalmaz.
LanceDB: Giving Back to the Open Source We Build On
