Natív OpenTelemetry-támogatást kapott a Claude a Databricks MLflow-ban

A Claude futásai az MLflow-ba kerülnek

A Databricks közlése szerint a Claude Platform mostantól támogatott célpontként kapcsolható a Databricks MLflow-hoz natív OpenTelemetry-exporttal. Az OpenTelemetry nyílt szabvány a szolgáltatások működésének mérésére és adatainak exportálására.

A nyomkövetés egy ügynök futását különálló lépésekre, úgynevezett spanekre bontja. Ezek között szerepelhetnek a modellkérések és az eszközhívások. A Claude natív műszerezése létrehozza ezeket a spaneket, majd az OpenTelemetry Protocolon keresztül továbbítja őket.

A Databricks a Zerobus Ingest segítségével fogadja az adatokat, és Unity Catalog-táblákban tárolja őket egy MLflow-kísérlethez kapcsolva. A fejlesztők a Claude nyomait más, műszerezett szolgáltatások nyomaival együtt vizsgálhatják. A hozzáférést a Unity Catalog kezeli, az adatok pedig SQL-lel is lekérdezhetők.

Három lépésben állítható be

A Databricks útmutatója szerint először egy kísérletet kell létrehozni az Experiments nézetben. A nyomok tárolási helyeként a Unity Catalog marad kijelölve, majd ki kell választani a használni kívánt katalógust és sémát. Ez létrehozza az MLflow-kísérletet és a nyomokat tároló Unity Catalog-tábla kapcsolatát.

Ezután a fejlesztő a Databricks-célt a munkaterület azonosítójával, régiójával és a spans táblával konfigurálhatja. A Zerobus-kapcsolathoz tábla szintű OAuth-token szükséges. A natív integrációk az Anthropic SDK-kat, a Messages API-t és a Managed Agents rendszert fedik le. A Claude Code és a Claude Agent SDK szintén támogatja az OpenTelemetry-t.

A futtatás után a Traces nézetben ellenőrizhetők a modellhívások, az eszköztevékenység, az időzítés, valamint a rögzített bemenetek és kimenetek. Ez utóbbiak csak akkor kerülnek be, ha a fejlesztő a tartalmi módot „full” értékre állítja.

Hibakeresés, szakértői ellenőrzés és értékelés

Az MLflow Analyze trace funkciója a Databricks Genie Code segítségével vizsgálja a kiválasztott Claude-futtatást. A rendszer segíthet feltárni például a hiányzó kontextust, a sikertelen eszközhívásokat vagy az indokolatlanul költséges lépéseket. A fejlesztő további kérdéseket tehet fel a probléma hátteréről.

Az MLflow Issues bétafunkciója a nyomok és munkamenetek között visszatérő minőségi és működési problémákat keres. A válaszokat, eszközhívásokat, időzítést, hibákat és értékeléseket vizsgálja, majd összetartozó megállapításokba rendezi őket. Példaként a Databricks a felesleges ismételt kereséseket, az eszközhibát okozó hiányzó argumentumokat és az előírt formátumot nem követő válaszokat említi.

A csapatok MLflow Review Queues segítségével domain szakértőket is bevonhatnak. A szakértők kijelölt nyomokat értékelhetnek, megjelölhetik a hiányosságokat és elvárt választ adhatnak. Az MLflow Agent Evaluation pedig ugyanazokon a teszteseteken hasonlíthatja össze az ügynök régi és módosított változatát, például azt vizsgálva, hogy történt-e ismételt eszközhívás.

Mit jelent ez a fejlesztőknek?

A bejelentés alapján a Claude-ügynökök fejlesztői egyetlen folyamatban követhetik a futás részleteit, kereshetik a visszatérő hibákat, szakértői visszajelzést gyűjthetnek, majd mérhetik a módosítások hatását. A nyomok a hibás válasz mögötti modell- és eszközlépéseket is megmutatják, így az értékelés a végeredmény mellett a végrehajtásra is kiterjedhet. A nyilvános béta az Anthropic SDK-k, a Messages API és a Claude Managed Agents Databricks MLflow-ba kötését teszi lehetővé.