Az Arize és a MongoDB az éles AI-ügynökök fejlesztését segíti
Az Arize AI a MongoDB Atlas Agent Engine induló partnereként integrálja az Arize AX megfigyelhetőségi és értékelési eszközeit a platformmal. A cél, hogy a vállalatok részletesen elemezhessék az AI-ügynökök működését, tesztelhessék a változtatásokat, majd bizonyítékokra támaszkodva telepíthessék újra őket.
- Az Arize AI a MongoDB Atlas Agent Engine induló partnere.
- Az Arize AX a modellhívásokat, keresési lépéseket, eszközhívásokat és végrehajtási útvonalakat is megjeleníti.
- A rendszer éles forgalmon is támogat online értékeléseket és felülvizsgálati munkafolyamatokat.
- Az integráció OpenTelemetry GenAI és OpenInference szabványokra épül.
- A nyomkövetési adatok exportálása az Agent Engine projektbeállításaiban kapcsolható be.
Közös alap az éles környezetben működő ügynökökhöz
Az Arize AI szeptember 30-i közleménye szerint a MongoDB Atlas Agent Engine az AI-ügynökök éles környezetben történő fejlesztéséhez, telepítéséhez és irányításához biztosít szabályozott alapot. A MongoDB Atlas az a platform, ahol az ügynökök valós idejű adatokkal dolgoznak, az Agent Engine pedig az üzemeltetéshez szükséges vezérelt környezetet adja.
Az Agent Engine több modelllel és keretrendszerrel is használható, miközben lehetővé teszi a vállalati hitelesítési és biztonsági eszközök megtartását. Az Arize szerint ez rugalmasságot biztosít a technológiai környezet folyamatos változásakor, így a szervezeteknek nem kell újraépíteniük az ügynökinfrastruktúrájukat.
Az Arize AX ehhez részletes nyomon követést és értékelési lehetőségeket ad. A rendszer segít megérteni az egyes futásokat, mérni az eredményeket és a végrehajtási útvonalakat, valamint azonosítani a hibákat.
A végső válasz önmagában nem mutatja meg a hibát
Egy AI-ügynök akkor is hibázhat, ha a végső válasza hihetőnek tűnik. Előfordulhat, hogy rossz dokumentumot keres ki, nem megfelelő eszközt hív meg, megismétel egy lépést, vagy a feladathoz szükségesnél drágább modellt használ.
Az ilyen problémák feltárásához a teljes végrehajtási útvonal adataira van szükség. Az Agent Engine futásaiból az Arize AX nyomkövetési adatokat fogad be, így a csapatok részletes szinten vizsgálhatják a modellhívásokat, a keresési lépéseket, az eszközhívásokat, a késleltetést és a tokenhasználatot.
Az Arize AX ügynökgráfjai rekonstruálják a ténylegesen végrehajtott útvonalat. A nyomok azt mutatják meg, mi történt, az értékelések pedig azt vizsgálják, hogy a működés megfelelt-e az előre meghatározott feltételeknek. A csapatok éles forgalmon is futtathatnak online értékeléseket, amelyek a végső kimenetet és a végrehajtási útvonalat egyaránt pontozhatják.
A problémás esetek felülvizsgálati sorokba kerülhetnek. A felülvizsgált példákból adathalmazok készíthetők, amelyekkel kísérletekben hasonlítható össze egy tervezett módosítás. Az Arize AX Signal nevű beépített ügynöki rendszere automatikusan azonosítja a hibákat és problémákat, majd javasolt javítást és pull requestet készíthet.
Nyílt szabványokra épülő kapcsolat és beállítás
Az Arize AX natívan fogadja az OpenTelemetry GenAI szemantikai konvencióit követő nyomokat, az OpenInference mellett. Azok az Agent Engine-ben futó ügynöki környezetek, amelyek OTLP-adatokat bocsátanak ki, egyedi műszerezési kód nélkül is küldhetnek nyomokat az Arize rendszerébe. Az Arize szerint a nyílt szabványokra épülő integráció megőrzi a rugalmasságot a keretrendszerek, modellek és megfigyelhetőségi háttérrendszerek között.
A kapcsolathoz az Arize-ben szükség van a Space ID-re, az API-kulcsra és a modell- vagy projektazonosítóra. Az Agent Engine-ben az API-kulcsot projekt titkos kulcsaként kell elmenteni, majd a Traces nézet Trace Export paneljén bekapcsolható az exportálás.
A célállomásként az Arize preset választható, az OTLP-végpont pedig a https://otlp.arize.com/v1/traces cím. A beállítások között meg kell adni a Space ID-t, a modell- vagy projektazonosítót és a titkos kulcs hivatkozását. A tartalommód jelenleg csak a teljes tartalom lehet, amely a promptokat, a válaszokat és az eszközök adatait is elküldi.
A mentés után egy ügynökhívással ellenőrizhető a kapcsolat. Ha a beállítás sikeres, a nyomok megjelennek az Arize-ben a kiválasztott térhez és modellhez tartozó nézetben, a Traces felületén pedig aktív marad az exportjelzés.
Folyamatos fejlesztési folyamat a telepítéstől az értékelésig
Az együttműködés olyan munkafolyamatot kínál, amelyben az ügynökök az Atlas Agent Engine-ben épülnek és futnak, a csapatok az Arize-ben vizsgálják és értékelik a működésüket, majd a valós termelési adatokon tesztelt javítások után telepítik újra a rendszert.
Erica Volini, a MongoDB ügyfélkapcsolatokért felelős vezetője szerint az Agent Engine szabályozott alapot ad az ügynökök fejlesztéséhez, üzemeltetéséhez és javításához. Jason Lopatecki, az Arize AI társalapítója és vezérigazgatója úgy fogalmazott: „A MongoDB hozzáférést ad az ügynököknek a szükséges adatokhoz, az Arize pedig nyomon követi minden futásukat, és támogatja az ügynökök értékelését mind az eredmény, mind a megtett útvonal alapján.”
Az Arize közlése szerint a két rendszer együtt nem köti a felhasználókat egyetlen modellhez vagy keretrendszerhez. Az Agent Engine modellek és keretrendszerek között semleges, az Arize pedig különböző ügynöki keretrendszerekkel, modellbeszállítókkal és adattárolókkal működik.
