Az Arize és a MongoDB együtt készítené fel az AI-ügynököket a termelésre
Az Arize AI launch partnerként csatlakozik a MongoDB Atlas Agent Engine platformjához, hogy az AI-ügynökök futtatása mellett azok részletes megfigyelését és értékelését is támogassa. Az együttműködés a teljes végrehajtási folyamat vizsgálatát célozza, a modellhívásoktól és eszközhasználattól a késleltetésig és a tokenfelhasználásig.
- Az Arize AI a MongoDB Atlas Agent Engine launch partnere.
- Az Arize AX a futások részletes nyomkövetését és értékelését biztosítja.
- A rendszer a modellhívásokat, keresési lépéseket, eszközhívásokat és tokenfelhasználást is megmutatja.
- Az integráció OpenTelemetry és OpenInference szabványokra épül.
- A problémás futások felülvizsgálhatók, a példákból pedig kísérleti adathalmazok készíthetők.
Közös alap az élesben működő ügynökökhöz
Az Arize AI szeptember 30-i bejegyzése szerint a MongoDB Atlas Agent Engine olyan platform, amely AI-ügynökök építésére, telepítésére és éles környezetben történő irányítására szolgál. A MongoDB Atlas biztosítja azt a környezetet, ahol az ügynökök valós idejű adatokon dolgoznak, az Agent Engine pedig az üzemeltetés szabályozott alapját adja.
Az Agent Engine több modelllel és keretrendszerrel is együttműködésre készült, miközben lehetővé teszi a vállalatok számára a már használt hitelesítési és biztonsági eszközök megtartását. Az Arize AX ehhez ad megfigyelési és értékelési réteget. A vállalatok így megvizsgálhatják az egyes futásokat, mérhetik az eredményeket és a végrehajtási útvonalakat, majd az adatok alapján javíthatják ügynökeiket.
A teljes végrehajtási útvonal láthatóvá válik
Az Arize szerint egy ügynök akkor is hibázhat, ha a végső válasza első pillantásra elfogadhatónak tűnik. Előfordulhat például, hogy rossz dokumentumot keres ki, nem megfelelő eszközt hív meg, megismétel egy lépést, vagy a szükségesnél drágább modellt használ.
Az Arize AX az Agent Engine futásaiból származó nyomkövetési adatokat fogadja be. A csapatok részletesen megvizsgálhatják a modellhívásokat, a keresési lépéseket, az eszközhívásokat, a késleltetést és a tokenfelhasználást. Az agent graph funkció rekonstruálja a ténylegesen végrehajtott útvonalat, így könnyebb azonosítani, hol tért el a működés az elvárttól.
A nyomok azt mutatják meg, mi történt, az értékelések pedig azt vizsgálják, hogy a működés megfelelt-e a meghatározott szempontoknak. A rendszer éles forgalmon is képes értékeléseket futtatni, pontozva a végső választ és a végrehajtási folyamatot. A problémás esetek felülvizsgálati sorokba küldhetők, a jóváhagyott példákból pedig kísérletekhez használható adathalmazok készülhetnek.
Az Arize AX beépített, Signal nevű agentic rendszere automatikusan azonosítja a hibákat és problémákat, majd javításokat javasolhat egy előkészített pull request formájában.
Nyílt szabványokra épülő kapcsolat
Az integráció az OpenTelemetry GenAI szemantikai konvencióit és az OpenInference szabványt is támogatja. Azok az Agent Engine-beli futtatókörnyezetek, amelyek OTLP-adatokat küldenek, egyedi műszerelési kód nélkül továbbíthatják a nyomokat az Arize rendszerébe.
A beállításhoz az Arize felületén szükség van a Space ID-re, az API-kulcsra és a modell- vagy projektazonosítóra. Az Agent Engine-ben a projekt titkai között kell elhelyezni az API-kulcsot, majd a Traces nézet Export paneljén bekapcsolni a nyomok exportálását. Az Arize előre beállított célként választható, az OTLP-végpont pedig a https://otlp.arize.com/v1/traces cím.
A forrás szerint jelenleg a teljes tartalmú export az egyetlen működő lehetőség, amely a promptokat, a válaszokat és az eszközök adatait is továbbítja. A beállítás után egy ügynökhívással ellenőrizhető, hogy a nyomok megjelennek-e a megfelelő Arize Space és modell alatt.
A felhasználók számára az együttműködés olyan folyamatot kínál, amelyben az ügynököt az Agent Engine-ben építik és futtatják, az Arize AX-ben pedig megvizsgálják, értékelik és kísérletekkel javítják. Az Arize szerint a két rendszer modell- és keretrendszerfüggetlen, így a vállalatok megtarthatják a rugalmasságukat a technológiai környezet változásakor.
