A Kedro pipeline-ok szolgáltatásként is futtathatók lesznek
A Kedro közössége új eszközöket adott ki a pipeline-ok ismételt, programozott futtatásához, az adatok ellenőrzéséhez és az AI-alapú fejlesztés támogatásához. A frissítések része a Kedro 1.6.0, a Kedro-Viz 12.4.0, a Kedro-Datasets 9.6.0 és a Kedro-skills 0.2.0.
- A Kedro 1.6.0 új HTTP-szerverréteget és KedroServiceSessiont kapott.
- A pipeline-ok a /run, /health és /snapshot végpontokon keresztül érhetők el.
- A DataCatalog betöltéskor és mentéskor is ellenőrizheti az adatkészleteket.
- Új kísérleti adatkészletek támogatják a Weaviate, FAISS és Feast használatát.
- A Kedro-skills AI-kódasszisztenseknek ad útmutatást több fejlesztői környezetben.
HTTP-n keresztül is indíthatók a pipeline-ok
Az LF AI & Data Foundation szeptember 17-i bejelentése szerint a kiadások első építőelemeit adják annak a megoldásnak, amelyben a Kedro pipeline-jai hosszú ideig futó, újrahasznosítható és más rendszerekből hívható szolgáltatásként működnek. A fejlesztés hátterében az áll, hogy a közösség régóta szerette volna egyetlen hosszú életű folyamatban többször futtatni a pipeline-okat, ahelyett hogy minden végrehajtásnál újra ki kellene adni a kedro run parancsot.
A KedroServiceSession első változata több futtatást és adatok futás közbeni átadását támogatja. Erre épül az új HTTP-szerverréteg, amelyet a kedro server start paranccsal lehet elindítani. A szerver három végpontot biztosít: a /run a pipeline végrehajtására szolgál, opcionális futási paraméterekkel, a /health az állapot ellenőrzésére, a /snapshot pedig az aktuális projektpillanatkép lekérésére használható.
A kapcsolódó vizsgálati API a szerver elindítása nélkül is hozzáférést ad a projekt pillanatképéhez. Így az eszközök futtatás nélkül is megvizsgálhatják a projekt struktúráját. A fejlesztők hangsúlyozzák, hogy ez még korai, aktívan fejlesztett megoldás, amelynek irányát a közösségi visszajelzések alapján alakítják.
Ellenőrizhetőbbé válnak az adatok
A Kedro 1.3.0, 1.4.0, 1.5.0 és 1.6.0 egyik fontos újdonsága az adatkészletek validálása. A katalógusbejegyzésekben ellenőrző adható meg, a DataCatalog pedig minden betöltéskor és mentéskor alkalmazza azt. Az ellenőrzés többek között sémákra, típusokra, tartományokra és üzleti szabályokra épülhet, így a hibás adatok már a pipeline korábbi szakaszában kiszűrhetők.
Beépített validációs adapterként a Pandera érhető el, de egyedi ellenőrző osztályok és függvények is használhatók más megközelítések integrálásához. A paraméterekhez kapcsolódó, opcionális validáció típusjelölések alapján képes Pydantic-modelleket és adat-osztályokat automatikusan ellenőrizni és példányosítani. A típusjelölés nélküli paraméterek működését ez nem befolyásolja.
A további fejlesztések között szerepel a --runner-params kapcsoló, amellyel például a max_workers értéke adható át a futtatónak. A projektpillanatképek mostantól a node függvénynevét, valamint a forrás helyét is tartalmazhatják. A kiadások hivatalos Python 3.14-támogatást is bevezettek, és frissítették az Amazon EMR Serverless, az AWS Step Functions és az AWS Batch telepítési útmutatóit.
Vektortárolók és AI-kódasszisztensek támogatása
A Kedro-Datasets 9.6.0 új, háttérrendszertől független absztrakciókat kínál vektortárolókhoz. A csomag része az AbstractVectorStoreDataset és a VectorStoreHandle, amelyekre vektortárolókat kezelő adatkészletek építhetők. Kísérleti újdonságként megjelent a Weaviate- és FAISS-adatkészlet, amelyek bejegyzések hozzáadására, keresésére és törlésére alkalmas kezelőt töltenek be, valamint a FeastDataset, amely a Feast szolgáltatásban tárolt jellemzők kezelését támogatja.
A Kedro-skills 0.2.0 PyPI-csomagként ad Kedro-specifikus útmutatásokat az AI-kódasszisztenseknek. A kedro skills install catalog-config parancs a katalóguskonfigurációhoz tartozó készséget telepíti, amely a támogatott fejlesztői környezetekben automatikusan aktiválódik a megfelelő fájlok szerkesztésekor. A csomag listázási, frissítési és eltávolítási parancsokat is kínál.
A támogatott környezetek között szerepel a Cursor, a GitHub Copilot, a Claude Code és a Codex CLI. A Kedro-Viz 12.4.0 Python 3.14-támogatást, teljes Kedro-node-nevet megjelenítő azonosítót és VS Code-os helyi menüt kapott.
A következő lépés a szolgáltatásként használható Kedro
A projekt szerint a KedroServiceSession és a HTTP-szerver egy hosszabb fejlesztési irány kezdete. A cél az, hogy a pipeline-ok könnyebben működjenek újrahasznosítható, hívható szolgáltatásként, különösen az igény szerint pipeline-okat indító generatív és ügynökalapú AI-rendszerekben. Az adatvalidáció további fejlesztései szintén szerepelnek az ütemtervben.
A közösség közben olyan példákat is publikált, amelyek a Kedrót Feast-alapú feature store-okhoz, biomedicinai tudásgráfokhoz, GraphRAG-rendszerekhez és reflexiós ügynöki munkafolyamatokhoz használják. A fejlesztők a Kedro-skills könyvtár bővítését, valamint egy könnyebb, modulárisabb Kedro-Viz kialakítását is tervezik, amelyben a felhasználók csak a szükséges vizualizációs részeket telepíthetik.
LF AI & Data Foundation: Kedro Evolves: Pipelines as Reusable and Callable Services, Data Validation, and AI-Assisted Development
