A Snowflake az AI-ügynökök megfigyelhetőségét készíti elő

Az AI-ügynököknél a hibamentes működés sem elég

A Snowflake szeptember 22-i bejelentése szerint egy AI-ügynök akkor is adhat hibás vagy gyenge minőségű választ, ha a kérést technikai hiba nélkül teljesíti. Egyetlen interakció több lépésből állhat, például promptokból, eszközhívásokból, információ-visszakeresésből, újrapróbálkozásokból és modellválaszokból. Emiatt nehéz megállapítani, hogy a folyamat mely pontján romlott a minőség, és mi okozta a tokenfelhasználás, illetve a költség növekedését.

A Snowflake szerint az ügynökök a hagyományos alkalmazáskéréseknél több telemetriai adatot is termelnek. A részletes adatok megőrzése költséges lehet, ezért egyes csapatok mintavételezéshez vagy telemetria eldobásához folyamodnak. Ez viszont hiányokat okozhat éppen akkor, amikor egy problémát ki kellene vizsgálni.

Az Observe by Snowflake Agent Observability funkciója ezt a helyzetet célozza. A vállalat közlése szerint a megoldás hamarosan privát előzetes hozzáférésben lesz elérhető.

Egy helyen követnék az ügynök teljes működését

Az Agent Observability az ügynökök és LLM-alkalmazások működésének lekövetését, hibakeresését és fejlesztését támogatná. A tervezett eszköz a promptokat, modellválaszokat, visszakereséseket, eszközhívásokat, tokenhasználatot és munkamenet-azonosítókat is rögzítheti. Ehhez opcionális, OpenTelemetry-kompatibilis SDK használható, amely a feltörekvő OTel GenAI szemantikai konvenciókat követi.

Az SDK a Snowflake szerint tesztelt támogatást kínál a LangChain, az Anthropic Agents SDK és az OpenAI Agents SDK használatához. A csapatok saját műszerezettséget vagy egyéni keretrendszert is alkalmazhatnak, majd a megfelelően ellátott nyomkövetéseket OTLP-végponton keresztül küldhetik az Observe-ba.

Az Agent Explorerben a fejlesztők nyomkövetések, munkamenetek és beszélgetések között kereshetnek. Megnézhetik, hogyan viselkedett az ügynök, milyen eszközöket hívott meg, és hol kezdődött egy hiba vagy váratlan válasz. A rendszer a késleltetést, a hibákat és a költséget is elemzi, továbbá API-kon keresztül programozott lekérdezést biztosítana a nyomkövetésekhez, mérőszámokhoz és online értékelési eredményekhez.

A válaszminőség és a költség is mérhetővé válhat

A hagyományos megfigyelhetőségi eszközök megmutathatják, hogy egy kérés gyorsan és hiba nélkül fejeződött be, de önmagukban nem állapítják meg, hogy a válasz pontos, releváns vagy hasznos volt-e. A Snowflake ezért online, LLM-alapú bíróval végzett értékeléseket is kínálna éles forgalmon. Ezekkel többek között a hallucinációk, a védelmi szabályok hibái és a gyenge minőségű válaszok azonosíthatók.

Az értékelési eredmények az alapul szolgáló szakaszokhoz és nyomkövetésekhez kapcsolódnak. Így a mérnökök visszakereshetik, hogy egy minőségi probléma a promptból, a visszakeresett környezetből, az eszközválasztásból, egy támogató szolgáltatásból vagy a modell válaszából eredhetett. A meglévő, fejlesztési és tesztelési folyamatokból származó offline értékelések szintén elküldhetők lennének az Observe-ba nyomkövetésként vagy mérőszámként.

A Snowflake szerint a tokenek száma önmagában nem mutatja meg, hogy az AI-ra fordított kiadás milyen értéket teremtett. Az Observe a modellválasztás, a prompt mérete, a visszakeresett környezet, az eszközhasználat, az újrapróbálkozások és a munkafolyamat felépítése alapján segíthet feltárni a teljesítményt és a költséget befolyásoló tényezőket.

A Snowflake a nagy mennyiségű telemetriára épít

Az AI-ügynökök nyomkövetései hosszabbak és összetettebbek lehetnek a hagyományos alkalmazásnyomoknál, mivel modellhívásokat, visszakereséseket, eszközhasználatot, újrapróbálkozásokat és köztes kimeneteket is tartalmaznak. Az Observe eseményekként tárolja a szakaszokat, és nyomkövetési, illetve beszélgetési azonosítók alapján kérdezhetővé teszi őket. A Snowflake szerint ez segíthet abban, hogy a későn érkező adatok és a hosszabb szünetek is a teljes interakció részei maradjanak.

A platform komplex, félig strukturált eseményadatokat is kezelhet, így a promptok, modellválaszok, visszakeresett tartalmak, valamint az eszközök bemenetei és kimenetei részletesen megőrizhetők. A vállalat Telemetry Lakehouse Foundation megoldása különválasztja a tárolást és a számítási kapacitást, ami a közlés szerint lehetővé teszi több adat megőrzését, miközben a kereséshez és elemzéshez szükséges számítás külön skálázható.

Az Agent Observability indulásáról a Snowflake október 22-re eseményt hirdetett. A funkció felhasználói számára a bejelentés alapján az lehet a legfontosabb előny, hogy az ügynökök működése, minősége és költsége egy közös környezetben vizsgálható, az operatív adatok pedig a Snowflake-en tárolt üzleti adatokkal is összekapcsolhatók.