A Snowflake összekapcsolja a megfigyelhetőségi adatokat

A nyers telemetria önmagában kevés

A Snowflake október 14-én közzétett bejegyzése szerint a modern megfigyelhetőségi rendszerek nagy mennyiségű telemetriai adatot állítanak elő, ezek azonban önmagukban nem mutatják meg, hogyan függnek össze egy rendszer elemei. Egy incidens során ezért gyakran nem a riasztás megtalálása jelenti a legnagyobb feladatot, hanem annak feltárása, mi történt a szolgáltatások, az infrastruktúra és a függőségek között.

Az Observe by Snowflake Observability Context Graph nevű rétege a nyers telemetriát lekérdezhető adathalmazokká alakítja, majd összekapcsolja ezeket. A gráf a Snowflake adatlakehouse-rétegére épül, amely a vállalat leírása szerint az összes megfigyelhetőségi adat közös célállomása. Az infrastruktúrából érkező adatokat integráció vagy gyűjtőprogram továbbítja a Telemetry Data Lakehouse-ba, az Observe pedig adathalmazokba rendezi őket.

Adathalmazok, kapcsolatok és címkék alkotják a gráfot

Az Observe többek között Kubernetes-naplókat, Prometheus-metrikákat és trace spaneket kezel adathalmazként. Az erőforrás-adathalmazok elsődleges kulcs segítségével azonosítják az egyes erőforrásokat, például Kubernetes-podokat és konténereket, valamint felhasználókat, termékeket és bevásárlókosarakat.

Az adathalmazok közötti közvetlen kapcsolatokat elsődleges és idegen kulcsok hozzák létre. Egy pod például összekapcsolható azzal a node-dal, amelyen fut. A leszármazási nézet azt mutatja meg, mely adathalmazok felhasználásával készült egy másik adathalmaz. A korrelációs címkék olyan mezőket jelölnek, amelyek több adathalmazban ugyanazt a fogalmat képviselik, például a „cluster.name” vagy a „service.name” mezőt.

A Snowflake szerint ezek a címkék automatikusan is létrejöhetnek a támogatott konvenciók alapján. Az azonos címkével ellátott mezők értékei alapján az Observe megtalálhatja az összetartozó adatokat. A kontextusgráfban az adathalmazok a csomópontok, a kapcsolatok és a leszármazási viszonyok pedig az élek. A korrelációs címkék ehhez egy további navigációs réteget adnak.

A gráf felületen és API-kon keresztül is elérhető

Az Observe felületén a felhasználók megvizsgálhatják egy adathalmaz sémáját, tulajdonságait, korrelációs címkéit és kapcsolatait. A Links és a Focus nézet az adathalmazok közötti összefüggéseket jeleníti meg, a Lineage nézet pedig az adatok eredetét és származását mutatja. A címkék külön kezelőoldalon is áttekinthetők.

A kontextusgráf API-kon keresztül is lekérdezhető. Ezek az API-k az adathalmazok, kapcsolatok és korrelációs címkék mentén járják be a gráfot, így az ügynökök azonosíthatják a szolgáltatásokat és erőforrásokat, kapcsolódó adatokat kereshetnek, majd ezek alapján folytathatják a vizsgálatot. A Snowflake ezeket az API-kat ügynökbarátra tervezte, hogy gyorsan releváns válaszokat adjanak, felesleges tokenfelhasználás nélkül.

A bejárás egy keresett kifejezésből, például a „payments” vagy az „apiserver” szóból indulhat. A „search tag values” API feloldja a kifejezést az azt azonosító címkeértékekre, ezt követően a „list of data sets” és a „list metrics” API segíthet megtalálni a kapcsolódó adathalmazokat és metrikákat. Az „invocation graph” API a szolgáltatások közötti hívási kapcsolatokat térképezi fel, a „list APM services with RED metrics” API pedig egyetlen hívással visszaadhatja a szolgáltatások sebességére, hibáira és időtartamára vonatkozó adatokat.

Az AI SRE célzottabb vizsgálatokat végezhet

A Snowflake szerint a gráf az AI SRE számára is felhasználható, mivel a címkék segítenek a kifejezéseket a megfelelő adatokhoz kötni. Ez olyan kérdések kivizsgálását támogathatja, mint hogy miért állt le a fizetési szolgáltatás hajnali 3 órakor, hogyan hatott a legutóbbi telepítés a későbbi ügyfélfolyamatokra, vagy szükség van-e több node-ra egy új funkció bevezetése után.

A vállalat közlése szerint az egyes válaszok visszamutatnak az alapul szolgáló adathalmazra, metrikára és időablakra, így a vizsgálat következő lépése célzottabb lehet. Az Observe használatához először az infrastruktúra adatait kell a Telemetry Data Lakehouse-ba juttatni. Ehhez a Snowflake az Observe Agent használatát ajánlja, de egyedi integráció vagy meglévő OpenTelemetry-gyűjtő is alkalmazható.