A Datadog külön kezeli és verziózza az LLM-ek promptjait
A Datadog új Prompt Management funkciója központi nyilvántartást kínál az LLM-alkalmazások promptjaihoz. A csapatok a promptokat az alkalmazás kiadási ciklusától függetlenül verziózhatják, telepíthetik és követhetik.
- A Prompt Management központi, verziózott tárat biztosít az LLM-promptokhoz.
- A promptverziók az alkalmazás kiadása nélkül is telepíthetők és visszaállíthatók.
- Ugyanazon Prompt ID különböző környezetekhez és célzott kérésekhez is eltérő verziót rendelhet.
- A Prompt Tracking a promptverziókat hívásszámhoz, késleltetéshez, tokenhasználathoz és költséghez kapcsolja.
- Az Agent Observability havi 40 000 LLM-spanig ingyenes a Datadog ügyfeleinek.
Központi tárban kezelhetők a promptverziók
A Datadog 2026. november 2-án ismertetett megoldása az Agent Observability részeként működik. A Prompt Management célja, hogy a promptok ne kizárólag alkalmazáskódban, konfigurációs fájlokban vagy külön fejlesztői környezetekben legyenek megtalálhatók.
Minden kezelt prompt stabil Prompt ID-t és verziótörténetet kap. A fejlesztők módosíthatják a prompt tartalmát úgy, hogy közben az alkalmazás ugyanarra az azonosítóra hivatkozik. A korábbi verziók megtekinthetők, összehasonlíthatók, és szükség esetén visszaállíthatók.
A Prompts oldal egy katalógusban jeleníti meg a kezelt promptokat és a Prompt Tracking által rögzített promptokat. Ha az Agent Observability már követ egy promptot az alkalmazásban, azt külön létrehozás nélkül is regisztrálni lehet kezelésre. A promptok közvetlenül a Datadogban is létrehozhatók, és futásidőben megadott változók is definiálhatók bennük.
A promptok telepítése elválik az alkalmazás kiadásától
A Prompt Management lehetővé teszi, hogy az alkalmazás futásidőben kérje le a kezelt promptot a stabil Prompt ID használatával. A Datadog a kérést a megfelelően telepített verzióhoz irányítja. Így egy új promptverzió kiadása nem feltétlenül igényel új alkalmazásbuildet.
Ha egy módosítás nem hozza a várt eredményt, a csapat egy korábbi verziót is telepíthet anélkül, hogy az alkalmazás más változtatásait vissza kellene vonnia. Az alkalmazás helyi promptot is tarthat tartalékként arra az esetre, ha a kezelt prompt lekérése sikertelen lenne.
A rendszer ugyanazon Prompt ID különböző verzióit különböző környezetekhez is hozzárendeli. Fejlesztésben, tesztelési környezetben és éles rendszerben így eltérő verziók használhatók. A fejlesztők emellett pontos verziót is kérhetnek egy adott működés reprodukálásához vagy ellenőrzéséhez. A futásidejű lekérés jelenleg Pythonban támogatott.
Célzott forgalom és teljesítménykövetés
A Datadog Feature Flags funkciójára épülő célzási szabályokkal egy környezeten belül is szabályozható, hogy mely kérések kapjanak eltérő promptverziót. Egy alapértelmezett verzió mellett így meghatározott attribútumokkal rendelkező kérésekhez másik verzió rendelhető, külön promptazonosító vagy alkalmazástelepítés nélkül.
Az Agent Observability engedélyezésekor a Prompt Management a Prompt Trackinggel együtt a kezelt promptverziókat az LLM-hívásokhoz kapcsolja. A Prompts oldalon a verziók hívásszám, késleltetés, tokenhasználat és költség alapján hasonlíthatók össze. A felhasználók megtekinthetik a promptok közötti eltéréseket, valamint azokhoz a nyomkövetésekhez is eljuthatnak, amelyekben egy adott verzió szerepelt.
A Datadog szerint ez segíthet annak kivizsgálásában, hogy egy prompt frissítése összefügg-e az alkalmazás működésének, késleltetésének vagy tokenhasználatának változásával. A promptok lekérése és a Prompt Tracking külön képesség marad, így kezelt promptok Agent Observability nélkül is lekérhetők.
A Datadog közlése szerint az Agent Observability ingyenes a Datadog azon ügyfeleinek, akik havonta legfeljebb 40 000 LLM-spant küldenek. A Prompt Managementhez kapcsolódó megvalósítási részletek, köztük a támogatott ddtrace-verziók, a hitelesítés és a tartalék viselkedés, a dokumentációban találhatók.
Datadog: Manage and deploy LLM prompts with Datadog
