A Dynatrace másodpercek alatt mintázza a milliónyi naplóbejegyzést

A Dynatrace előzetes hozzáférésű logminta-elemzése másodpercek alatt csoportosítja a szabad szöveges naplóbejegyzéseket, és kiemeli azok változó elemeit. A vállalat szerint a funkcióval a több ezer vagy akár milliónyi nyers logbejegyzésből gyorsabban készíthető felhasználható elemzés.
- A Dynatrace előzetes logminta-elemzése automatikusan csoportosítja a hasonló naplókat.
- A rendszer külön tokenként azonosítja többek között az időbélyegeket, IP-címeket és számokat.
- A felismert mintákból a Logs alkalmazás DQL-lekérdezést és DPL-utasítást generál.
- A minták vezérlőpultokban, OpenPipeline-feldolgozókban és munkafolyamatokban is felhasználhatók.
- A funkció Grail és DPS rendszerrel rendelkező Dynatrace SaaS-ügyfeleknek érhető el előzetes verzióban.
Automatikusan választja szét a mintákat és a változó adatokat
A Dynatrace augusztus 25-én mutatta be logminta-elemzését, amely jelenleg előzetes verzióban érhető el. A funkció célja, hogy segítsen megtalálni az ismétlődő struktúrákat a szabad szöveges naplókban, ahol egy Kubernetes-fürt néhány perc alatt több ezer, egymáshoz hasonló üzenetet is létrehozhat.
A rendszer a naplóbejegyzések tartalmi szerkezetét vizsgálja, majd elkülöníti a változó mezőket az állandó szövegrészektől. A változó elemek külön tokenként jelennek meg, például időbélyegként, IP-címként, számként vagy szabad szövegként. Az azonos közös üzenetszerkezettel rendelkező bejegyzéseket a Dynatrace egy mintába rendezi.
Így például 100 000 naplóbejegyzés között 1000 hasonló rekord egyetlen logmintaként jelenhet meg, amelyből az is látható, hogy a minta 1000 alkalommal fordult elő. Az elemzés a Dynatrace szerint jellemzően néhány másodperc alatt, élőben és a lekérdezés futtatásakor történik.
A gyakori hibák mellett a ritka eltéréseket is kiemeli
A találatok automatikusan súlyosság és gyakoriság szerint rendeződnek. A felhasználók szűrhetnek előre meghatározott szegmensekkel, használhatnak feltáró jellegű szűrőket, illetve néhány perctől több napos vagy hetes időszakig választhatnak egyéni időtartományt.
Ez segíthet például akkor, amikor egy szolgáltatás hibaaránya hirtelen megemelkedik, és több ezer új naplóbejegyzés keletkezik. A minták előfordulási száma és időbeli alakulása alapján gyorsabban azonosítható, melyik hibaszerkezet okozza a legtöbb problémát, illetve megjelent-e új hibatípus.
A ritka vagy új minták szintén könnyebben észrevehetők. A Dynatrace példája szerint egy alkalmazás naplóinak 99 százaléka a várt mintákat követheti, miközben egy kisebb csoport időszakos API-időtúllépéseket jelez. A funkció a nagy mennyiségű hozzáférési naplók vizsgálatát is segítheti, például szokatlan HTTP-állapotkódok, váratlan végpontok, hitelesítési hibák vagy forgalmi eltérések keresését.
A felismert mintából DQL-lekérdezés készül
A logminta-elemzés a felfedezést közvetlenül felhasználható elemzéssé alakítja. Ha a felhasználó további vizsgálatra érdemes mintát talál, a Logs alkalmazás automatikusan létrehoz egy Dynatrace Query Language, vagyis DQL-lekérdezést, amely Dynatrace Pattern Language, azaz DPL-elemzési utasítást is tartalmaz.
A létrehozott DPL-minta egyetlen kattintással kimásolható, és minden olyan Dynatrace-felületen használható, ahol a DQL támogatott. Ilyen lehet a vezérlőpult, a jegyzetfüzet, az OpenPipeline-feldolgozó, a naplóelemzési lekérdezés, valamint a munkafolyamatok és automatizációk területe.
A minták kibontásakor a tokenek értékeinek eloszlása is megvizsgálható. A felhasználó láthatja például, mely IP-címek kapcsolódnak egy hibához, milyen mennyiségben és milyen időbeli eloszlásban jelennek meg. A Dynatrace szerint ehhez nincs szükség homályos szöveges keresésre vagy összetett elemzési szabály kézi megírására.
Előzetes verzióban érhető el a Grail és DPS ügyfeleinek
A vállalat szerint a logminta-elemzés a Dynatrace Intelligence képességeire és a Dynatrace Grail egységes adattavára épül. A Grail a Dynatrace állítása szerint a nagy mennyiségű, akár több millió naplóesemény néhány másodperces áttekintését is támogatja.
A funkció új alkalmazások, szolgáltatások és gépek naplóforrásainak megismerésére is használható. A minták megmutatják, milyen eseményeket generál a forrás, mely mezők változnak, milyen gyakran fordul elő egy-egy szerkezet, és mely minták igényelhetnek elemzést vagy kiegészítést.
A logminta-elemzés előzetes verziója minden Grail és DPS rendszerrel rendelkező Dynatrace SaaS-ügyfél számára elérhető, miután regisztrált az előzetes programra. A szűrési és elemzési lehetőségekről a Dynatrace termékdokumentációja ad további információt.


