A Dynatrace egy helyre hozza a Databricks költség- és működési adatait

Egy helyre kerülnek a Databricks működési adatai

A Databricks ütemezett feladatokat, interaktív munkaterheléseket, SQL-árházakat és egyre több mesterségesintelligencia-szolgáltatást futtat. A Dynatrace augusztus 11-én közzétett ismertetője szerint ezekhez az erőforrásokhoz gyakran külön naplók, rendszertáblák, irányítópultok és terméknézetek tartoznak. Emiatt egy hibás futás okának vagy egy költségugrás forrásának feltárása több eszköz használatát igényelheti.

A Databricks Workspace kiegészítő a Databricks platform különböző részeiről gyűjti össze a telemetriát, majd közös, lekérdezhető nézetben, összefüggésekkel kiegészítve jeleníti meg. A Dynatrace szerint ez segíthet a problémák gyorsabb kivizsgálásában, a kapacitás- és költségdöntésekben, valamint az irányítási folyamatok megerősítésében. A csomag hat előre elkészített irányítópultot tartalmaz: Workspace overview, Job runs, Cluster resource usage, Cost management, AI gateway and model serving insights, valamint Audit logs.

A hibák okát és a költségek forrását is részletesebben lehet vizsgálni

A feladatok megbízhatóságának elemzéséhez a kiegészítő megjeleníti többek között a sikerességi arányt, a futások számát, a várakozási, előkészítési, végrehajtási és lezárási időt, továbbá az aktív és befejezett futásokat. A feladatszintű elosztott nyomkövetés, valamint a Spark-metrikák, például a sikertelen feladatok, a szakaszok áteresztőképessége, a keverési terhelés és a végrehajtók állapota, segíthetnek az érintett szakasz azonosításában.

A költségelemzés a számlázási rendszertáblák adatait munkaterhelési metaadatokkal egészíti ki. A kiadások munkaterület, termékkategória, SKU, feladat és futás, fürt és csomóponttípus, SQL-árház, jegyzetfüzet, modellkiszolgáló végpont, példánykészlet, alkalmazás és adatfolyam szerint bonthatók fel. A fürtök CPU-, memória-, csere- és hálózati adatai a Dynatrace szerint a valós használaton alapuló méretezést támogathatják. A rendszer p50 és p90 kihasználtsági adatok alapján ad jeleket, és konkrét ajánlást jelenít meg a túlméretezett fürtökhöz.

AI-kiszolgálás, audit és irányítás egy nézetben

A modellkiszolgáló végpontoknál a kiegészítő a kérések számát és állapotkódját, az átlagos, p95 és p99 késleltetést, a CPU-, memória- és GPU-használatot, valamint a bemeneti, kimeneti és teljes tokenszámot gyűjti. A kérések végpont, modell és kérelmező szerinti trendjei alapján azonosítható, mely felhasználók vagy szolgáltatások generálják a legnagyobb forgalmat és tokenfelhasználást. Ez a Dynatrace szerint kvóták kialakítását és belső költségelszámolási modellek támogatását is segítheti.

Az auditnaplók a szolgáltatást, a műveletet, a felhasználót vagy identitást, valamint a művelet eredményét és esetleges hibáját is megjelenítik. Az események IP-cím, eseménytípus és állapotkód szerint szűrhetők. Így a vállalat szerint könnyebben vizsgálhatók a kritikus adminisztrációs műveletek, az ismételt sikertelen próbálkozások és a váratlan hozzáférési minták.

A Dynatrace a Databricks Workspace kiegészítő kipróbálását a Dynatrace Hubon keresztül kínálja. A vállalat célja, hogy a naplók, metrikák és nyomkövetések egységes környezetével a Databricks kevésbé elkülönült megfigyelési területként, inkább a megbízhatóbb, költségtudatosabb és jobban irányítható felhőüzemeltetés részeként legyen kezelhető.