A deepset beépített megfigyelést ad a Haystackben futó AI-ügynökökhöz
A deepset elérhetővé tette a Traces funkciót a Haystack Enterprise Platformban. Az eszköz a platformon futó pipeline-ok és AI-ügynökök teljes végrehajtását rögzíti, a bemenetektől és kimenetektől a tokenhasználaton át a hibákig.
- A Traces a Haystack Enterprise Platform beépített megfigyelési funkciója.
- Minden pipeline-futtatás bemeneteket, kimeneteket, tokeneket, naplókat és hibákat rögzít.
- A futtatások komponensenként, interaktív nézetben vizsgálhatók.
- Két pipeline-verzió késleltetése, tokenhasználata és kimenete összehasonlítható.
- Az adatok deepset-infrastruktúrán maradnak, és JSON formátumban exportálhatók.
Minden futtatásról teljes végrehajtási rekord készül
A deepset 2026. július 30-i bejelentése szerint a Traces a Haystack Enterprise Platform részeként biztosít megfigyelhetőséget (observability) az ügynökök és más pipeline-ok számára. A vállalat célja, hogy ehhez ne legyen szükség külön megfigyelési eszközre, mivel az adatok ugyanazon az infrastruktúrán maradnak, amelyen az ügynökök futnak.
A trace egyetlen pipeline-futtatás teljes végrehajtási rekordja. A rendszer az egyes kérések teljes életciklusát rögzíti attól a bemenettől kezdve, amely elindította a futást, egészen a visszaadott válaszig. A telepített pipeline megnyitása után a Traces lapon alapértelmezés szerint megjelenik minden futtatás, külön beállítás nélkül.
A rögzített adatok között szerepel a futó komponensek hierarchikus fája, az egyes lépések ideje, típusa és metaadatai. A tokenhasználatot a rendszer szolgáltatók között egységesítve mutatja, külön kezelve a prompt-, completion-, reasoning- és cache-tokeneket, valamint azokat a modellekhez rendeli.
Gyorsabb hibakeresés és részletes futtatási nézet
A Traces listája minden futtatásnál megjeleníti a lekérdezést, a forrást, a késleltetést, a felhasznált tokenek számát és a dátumot, illetve az időpontot. A felhasználók hibákra szűrhetnek, késleltetés szerint rendezhetnek, és kereshetnek trace-azonosító vagy a bemenet szövege alapján. A találatok forrás és dátumtartomány szerint is szűkíthetők, például egy kiadás időablakára.
Minden futtatás interaktív, vízesésszerű nézetben jelenik meg. Ez lépésenként mutatja a végrehajtást, a komponensek részleteinél pedig elérhetők a tényleges bemenetek, kimenetek és naplóbejegyzések. Így láthatóvá válik, mely komponensek növelték a késleltetést vagy a tokenfogyasztást, különösen akkor, ha egy ügynök több modellt használ.
Hiba esetén a trace megnevezi a kiváltó komponenst, és jelzi, hogy konfigurációs problémáról van-e szó, amely javítást igényel, vagy külső szolgáltatói, illetve infrastruktúrahibáról, amely újrafuttatással kezelhető. A kiválasztott komponens a Run in Builder lehetőséggel megnyitható a pipeline piszkozatában, az eredeti bemenettel előre kitöltve. A deepset szerint így a reprodukció és a javítás tesztelése közvetlenül elvégezhető.
Pipeline-verziók összehasonlítása és adatvédelem
A Traces két pipeline-verzió összehasonlítását is támogatja. A nézet megmutatja, hogyan változott a késleltetés és a tokenfogyasztás, valamint egymás mellett jeleníti meg a válaszokat, kiemelve az eltéréseket az egyes komponenseknél. Ez használható például akkor, ha egy nagyobb generatív modellt, új promptot, eszközt vagy lekérési stratégiát próbálnak ki.
A deepset példája szerint az összehasonlítás megmutathatja, hogy egy nagyobb modell beillesztése növelte a generálási lépés késleltetését és tokenhasználatát, miközben a pipeline többi része változatlan maradt. A rendszer a korábbi és az aktuális verzió regresszióit is felszínre hozhatja, például ha egy komponens lassabbá válik, vagy eltérő eredményt kezd adni ugyanarra a bemenetre.
A trace-eket a deepset tulajdonában lévő infrastruktúrán tárolják, és nem továbbítják külső eszközbe. A hozzáférést munkaterületenként, szerepköralapú vezérléssel szabályozzák, az adatokat nyugalmi állapotban titkosítják, és minden trace JSON formátumban exportálható. A Traces a bejelentés szerint már elérhető a Haystack Enterprise Platformban. Új pipeline telepítésekor vagy meglévő újratelepítésekor automatikusan elkezdi létrehozni a futtatási nyomokat.
