A Databricks új költségszabályozást vezet be a szerver nélküli számításhoz

A költségszabályozás a felhasználókhoz és a munkaterhelésekhez kerül

A Databricks október 29-i közleménye szerint a serverless compute használata több mint háromszorosára nőtt az elmúlt évben, és több ezer ügyfél futtat rajta üzletileg kritikus notebookokat, jobokat és pipeline-okat. A terjedéssel együtt fontosabbá vált, hogy a platformcsapatok lássák, ki használja a szolgáltatást, hová kerülnek a költségek, és hogyan tarthatók a kiadások a költségvetési kereteken belül.

A hagyományos compute esetében a költségkorlátokat az infrastruktúra beállításaival lehetett kezelni. Ilyen volt a csomópontok száma, a példánytípus, az automatikus skálázás tartománya vagy a fürtökre vonatkozó szabályzat. A serverless modellben a provisioning, a skálázás és az infrastruktúra megfelelő méretezése a Databricks feladata, ezért a költségkezelés magasabb szintre kerül.

A Databricks három célt emel ki: a költségek hozzárendelését csapathoz, projekthez vagy felhasználóhoz, a serverless-hozzáférés szabályozását, valamint a költekezés előzetes korlátozását.

Címkék és táblák mutatják meg, ki mennyit költ

A serverless compute címkéivel egy számítási objektumhoz rendelhető a megfelelő csapat, projekt vagy költséghely. Az azon futó munkaterhelések DBU-felhasználása ezeket a címkéket továbbviszi a számlázásba, így külön szabályzatot sem kell fenntartani minden egyes munkaterheléshez.

A serverless DBU-k a system.billing.usage rendszer­táblába kerülnek, felhasználó, termék és címke szerinti bontásban. A Databricks szerint egyetlen lekérdezéssel elkészíthető a csapatonkénti költségnézet, az account console költségdashboardjai pedig SQL írása nélkül is megjelenítik ezeket az adatokat. Ugyanez a tábla arra is használható, hogy a vállalatok megvizsgálják, kik futtatnak serverless munkaterheléseket, és mekkora a fogyasztásuk.

A Serverless Compute tags költség-hozzárendelési funkció jelenleg béta állapotú. A megfigyelés, a költségdashboardok, valamint a költségvetésekhez és kiadási riasztásokhoz kapcsolódó funkciók általánosan elérhetők AWS, Azure és Google Cloud környezetben.

Hozzáférés-vezérlés és költési limitek

A Serverless Compute Access Controls általánosan elérhető. A hozzáférést serverless compute objektumokon lehet szabályozni, nem minden egyes munkaterheléshez külön hozzáadott szabályzattal. Minden munkaterület két alapértelmezett objektumot kap: a notebookokhoz és a Databricks Connecthez használt Default Serverless Interactive Compute-ot, valamint a jobokhoz és a Spark Declarative Pipelineshoz tartozó Default Serverless Automated Compute-ot.

Az objektumokon a Can Use és a Can Manage jogosultság használható. Alapértelmezés szerint minden felhasználó rendelkezik Can Use hozzáféréssel, ezért az adminisztrátoroknak kell eltávolítaniuk az All Users csoportot, majd meghatározott csoportokat hozzáadniuk. A jogosultságon kívül eső felhasználóknál a serverless lehetőség szürkén jelenik meg a notebook számítási választójában. A már futó munkaterheléseket a hozzáférés módosítása nem szakítja meg.

A rate limitek béta állapotban érhetők el. Az automatikus munkaterhelésekhez létrehozott egyedi compute objektumokon S, M, L és XL méretek adhatnak felső korlátot arra, hogy egy job vagy pipeline milyen mértékben költhet. A Databricks ezt a klasszikus cluster policy modell serverless környezetre átültetett változataként írja le. A megosztott költségvetések az interaktív munkaterhelésekhez még készülnek. A vállalat iránya szerint egy csoport közös limitet kapna, munkamenetenkénti maximummal kiegészítve.

Mit tehetnek most a platformcsapatok?

A Databricks azt javasolja, hogy a vállalatok először kényszerítsék ki a címkék használatát, majd állítsanak be dashboardokat és költségriasztást a system.billing.usage adatai alapján. Ezt követheti annak felmérése, hogy jelenleg kik használnak serverless compute-ot, majd a hozzáférési szabályok meghatározása az interaktív és az automatikus munkaterhelésekhez.

A rate limitek a Databricks előnézeti beállításain keresztül kapcsolhatók be. A közlemény szerint az új modell a költségek utólagos megfigyelése mellett a hozzáférés és a költekezés előzetes szabályozását is lehetővé teszi. A serverless_compute_id rendszer­táblabeli azonosító pedig a compute objektumonkénti költségkövetést támogatja.