A Snowflake önállóbb adatfolyamatokat és AI-ügynököket készít elő

Automatikusabb adatfeldolgozás és Spark-támogatás

A 2026. november 3-i bejelentés központi eleme az Adaptive Compute, amely a Snowflake szerint automatikusan a munkaterheléshez igazítja a számítási erőforrásokat. A szolgáltatás általánosan elérhető, így a felhasználóknak nem kell kézzel hangolniuk az adattárházakat vagy fürtöket. A Spark-munkaterhelések is futtathatók rajta.

A Snowpark Connect for Apache Spark általánosan elérhetővé vált. A megoldás meglévő PySpark-, Java- és Scala-kódot futtat közvetlenül a Snowflake-en, külső fürtök kezelése nélkül. A privát előnézetben elérhető Next-Gen File Reader a Spark saját beolvasási szemantikáját alkalmazza JSON-, CSV-, XML- és Parquet-fájlokra.

A Snowpark Connect támogatja az Apache Iceberg-táblák használatát a Horizon, az AWS Glue és az Unity Catalog által kezelt környezetekben is. Az általánosan elérhető inkrementális beolvasás csak az Iceberg-pillanatképek közötti változásokat dolgozza fel. Az Iceberg Time Travel és a címkék pedig visszaállítási lehetőséget és megosztható ellenőrzési pontokat biztosítanak.

Adatminőségi ellenőrzés és deklaratív adatfolyamatok

A Snowflake az úgynevezett write-audit-publish munkafolyamattal segíti a változtatások ellenőrzését. A rendszer elkülönített ágat hoz létre, ahol a módosítások validálhatók, majd közzétehetők vagy elvethetők. Az ágak lekérdezhetők a Snowflake-ből és más motorokból is, így ellenőrizhető a várható downstream hatás.

A Spark Monitoring UI nyilvános előnézetben egységes hibakeresést kínál munkamenetekhez és kötegelt feladatokhoz, egészen az egyes lekérdezési profilokig. A Code Bundles for Apache Spark REST API-n vagy SQL-en keresztül küldhető feladatokat tesz lehetővé, így a Spark-munkák meglévő ütemezőkbe, például Airflow-ba vagy Snowflake-feladatokba illeszthetők. A Snowflake CoCo Spark-migrációs képessége PySpark-, Spark Scala- és Spark Java-jegyzetfüzetek, illetve feladatok átalakítását támogatja.

A Dynamic Tables egyéni inkrementalizálása általánosan elérhető, és teljes kontrollt ad az inkrementális logika, valamint az ütemezés felett. A Dynamic Tables dbt-ben is használható, a Dynamic Iceberg Tables pedig nyílt formátumú adattermékek frissítésére szolgál. Ez utóbbiak frissítése privát előnézetben közvetlenül külső Iceberg-katalógusba is történhet.

Tranzakciós adatok az elemzésben és az alkalmazásokban

A Snowflake szerint az AI-ügynökök és alkalmazások pontos működéséhez aktuális operatív adatokra van szükség. A Postgres data mirroring általánosan elérhető, és folyamatosan replikálja a Postgres-táblákat a Snowflake-be elemzési és AI-feladatokhoz. A Snowflake data mirroring a másik irányba küld adatokat, ez a funkció hamarosan nyilvános előnézetben lesz elérhető.

A Snowflake szerint a hybrid tables bizonyos munkaterheléseknél akár nyolcszor nagyobb átviteli teljesítményt kínálnak. Ilyenkor ami korábban nyolc XS warehouse-t igényelt, egyetlen ilyen egységgel is elvégezhető lehet, ami több mint 80 százalékos költségcsökkenést jelenthet. A P50 késleltetés háromszor alacsonyabb, a P99 késleltetés pedig körülbelül kétszer alacsonyabb lett az érintett operatív munkaterheléseknél.

A vállalat szerint az újdonságok lehetővé teszik, hogy az AI-ügynökök rutinfeladatokat, például a folyamatok állapotának ellenőrzését, a hibák okának felderítését és javítások javaslatát végezzék. A javasolt kódmódosítások továbbra is a csapat meglévő felülvizsgálati folyamatán mennek keresztül a CoCo GitHub-integrációján keresztül. A felhasználók így friss és ellenőrzött adatokra építhetnek ugyanazon irányított platformon.