A Datadog már hanggal együtt vizsgálja a hangalapú ügynököket
A Datadog Agent Observability a támogatott hangalapú ügynökök hanganyagait is elérhetővé teszi a nyomkövetési adatok mellett. Így a fejlesztők meghallgathatják az egyes beszélgetési fordulókat, és összevethetik azokat az átiratokkal, modellműveletekkel, eszközhívásokkal és késleltetési adatokkal.
- A Datadog a támogatott hangalapú ügynökök hangját is a nyomkövetési adatokhoz kapcsolja.
- Az OpenAI Realtime alkalmazásoknál hang, átirat, tokenhasználat és eszközhívás is rögzíthető.
- Az ml_obs.trace.time_to_first_agent_audio metrika az első hangválaszig eltelt időt méri.
- Az Amazon Nova 2 Sonic támogatása elérhető a Python- és Node.js-tracerekben.
- Az ingyenes csomag havi 40 000 LLM-spant tartalmaz.
A helyes átirat mögött is lehet rossz élmény
A Datadog október 29-én ismertetett megoldása arra a problémára kínál vizsgálati eszközt, hogy egy hangalapú ügynök akkor is rossz felhasználói élményt adhat, ha a válasz szövege helyes. A hívó fél hosszú csendet hallhat, az ügynök közbeszólhat, vagy félbehagyhatja a választ.
A szöveges átirat önmagában nem feltétlenül mutatja meg, hogy a hang késve érkezett, hiányos volt, vagy eltért a képernyőn megjelenő szövegtől. Egy beszélgetési fordulóban ráadásul a hangfolyamok, az átiratok, a modell interakciói és az eszközhívások is szerepet játszanak. A Datadog ezeket az adatokat egyetlen nyomban kapcsolja össze, az eseményeket a felhasználó által tapasztalt sorrendben vizsgálhatóvá téve.
Hang, átirat és teljesítmény egyetlen nyomban
A támogatott, OpenAI Realtime API-ra épülő alkalmazásoknál az automatikus műszerezés minden forduló bemeneti és kimeneti hangját, átiratát, tokenhasználatát és eszközhívásait rögzíti az Agent Observabilityben. A Datadog a nyers PCM16 és G.711 hangot WAV formátumra alakítja, így az közvetlenül lejátszható a nyomból.
A fejlesztők meghallgathatják, mi hangzott el egy érintett fordulóban, miközben ellenőrzik az átiratot és az eszközhívásokat. Ez segíthet elkülöníteni, hogy az ügynök rossz műveletet választott, váratlan tartalmat adott vissza, vagy a beszédet a befejezés előtt megszakították.
Az OpenAI Realtime alkalmazásoknál a Datadog ml_obs.trace.time_to_first_agent_audio eloszlásmetrikát is kibocsátja. Ez azt méri, mennyi ideig vár a felhasználó az ügynök első hangválaszára. A metrika időbeli követése, valamint a p50, p95 és p99 értékek összehasonlítása megmutathatja, hogy a lassú válaszok elszigetelt esetek vagy szélesebb körű problémák.
A magas tokenhasználatú fordulók is megvizsgálhatók a kapcsolódó nyomokban. Így ellenőrizhető, hogy a nagyobb használat hosszabb beszélgetésekhez, egyes munkafolyamatokhoz, ügynökirányításhoz vagy külső eszközhívásokhoz kapcsolódik-e.
Támogatott rendszerek és elérhetőség
A Datadog szerint a Python-alkalmazások, amelyek az OpenAI Realtime API-t használják, a ddtrace 4.13.0 vagy újabb verzióval automatikusan rögzíthetik fordulónként a bemeneti és kimeneti hangot, az átiratokat, a tokenhasználatot és az eszközhívásokat. Ehhez nem kell külön hangspánokat létrehozni.
Az Agent Observability az Amazon Nova 2 Sonicra épülő alkalmazások nyomkövetését is támogatja a Python- és Node.js-tracerekben. Az ElevenLabs Realtime API támogatását a Datadog a ddtrace 4.17.0 verzióval ígéri.
A hangalapú beszélgetések megszakításainak vizsgálata különösen fontos lehet. A túl hosszú vagy irreleváns válaszok, illetve a szünetet a felhasználói forduló végének érzékelő hangaktivitás-észlelés ismételt közbeszólásokhoz vezethet. A hang és az átirat összevetése abban is segít, hogy a félbeszakadt kimeneti átiratot ne kezeljék teljes beszélgetési rekordként.
A már OpenTelemetry GenAI szemantikai konvenciókat használó alkalmazások is továbbíthatnak támogatott hangüzenet-részeket az Agent Observabilitybe, a Datadog által megadott, 1.37-es vagy újabb verziójú konvenciók szerint. A szolgáltatás ingyenes csomagja havonta legfeljebb 40 000 LLM-spant tartalmaz.
Datadog: Trace voice agents with Datadog Agent Observability
