Natív Arize AX-integrációval indult el a Crew Studio
Elindult a CrewAI Crew Studio nevű automatizált ügynöképítő eszköze, amely natív Arize AX-integrációval küldi a futások nyomkövetési adatait az első futástól kezdve. A csapatok így egyedi műszerezési kód hozzáadása nélkül vizsgálhatják az ügynökök működését, értékelhetik a minőséget, és a bevezetés előtt tesztelhetik a javításokat.
- Elindult a CrewAI Crew Studio automatizált ügynöképítő eszköze.
- A natív Arize AX-integráció az első futástól nyomkövetési adatokat küldhet.
- Az Arize AX online értékeléseket, címkézést és javításokat tesztelő kísérleteket kínál.
- A kapcsolat OpenTelemetry GenAI és OpenInference konvenciókra épül.
- A Crew Studio kódot exportál, és CrewAI AMP-infrastruktúrán telepíthető.
Vizuális építés és kódalapú fejlesztés egy rendszerben
A Crew Studio a CrewAI új építési rétege ügynökalapú rendszerekhez. A szolgáltatás azt a fejlesztési helyzetet célozza, amikor a vizuális eszközök a munkafolyamatok összetettebbé válásával korlátozottá válhatnak, a kódalapú keretrendszerekhez pedig a vállalati folyamatokat legjobban ismerő szakértők nehezebben férnek hozzá.
A Studio négy szakaszban támogatja a munkát. A Discover modul valós telepítések mintái alapján segít azonosítani azokat az ügynökös felhasználási eseteket, amelyek érdemesek lehetnek a megvalósításra. A Build szakaszban a csapat leírja a kívánt rendszert, a Studio pedig működő architektúrát készít ügynökökkel, feladatokkal, eszközökkel, modellekkel, folyamatokkal, memóriával és MCP-kapcsolatokkal.
A CrewAI szerint a kimenetet a platformon végrehajtott több milliárd futásból származó, több mint 700 000 minta és architektúra informálja. A létrehozott kód letölthető, módosítható és bővíthető, így a felhasználók a vizuális építésből kódolásra válthatnak anélkül, hogy elölről kellene kezdeniük a munkát. A Run szakaszban az ügynökök ugyanazon a CrewAI AMP-infrastruktúrán telepíthetők, amelyet a mérnöki csapatok használnak, irányítással, biztonsági és költségkezelési funkciókkal.
Nyomkövetés, értékelés és javítás egy folyamatban
Az Arize augusztus 13-i közleménye szerint a Studio és az AMP nyomkövetési adatokat, költségáttekintést és irányítási lehetőségeket biztosít abban a környezetben, ahol az ügynököket létrehozzák és telepítik. Az Arize AX erre külön értékelési réteget épít online értékelésekkel, címkézési sorokkal, referencia-adatkészletekkel és kísérletekkel.
A Studio telepítéseiből származó nyomok az Arize rendszerébe kerülhetnek, ahol a csapatok az egyes futások részletes szakaszait, a késleltetést, a tokenköltség bontását és az ügynök működését bemutató gráfokat vizsgálhatják. Az online értékelések éles forgalmon futnak, így a minőségi problémák a használat közben válhatnak láthatóvá.
A kijelölt nyomok címkézési sorokba kerülhetnek, ahol az emberi ellenőrök referencia-adatkészleteket hoznak létre. Ezekkel kísérletekben tesztelhetők a javítások a kiadás előtt. Az Arize által leírt folyamat lépései: nyomkövetés, értékelés, címkézés, javítás és újratelepítés.
Nyílt szabványokra épülő összekapcsolás
Az integráció az OpenTelemetry GenAI szemantikai konvencióira és az OpenInference-re épül. Az Arize AX közvetlenül be tudja fogadni az ezekkel a konvenciókkal műszerezett nyomokat, ezért a Crew Studio és az Arize AX összekötéséhez nem kell egyedi nyomkövetési kódot írni.
A kapcsolathoz az Arize AX-ben ki kell másolni a Space ID-t és létre kell hozni vagy ki kell másolni egy API-kulcsot. A CrewAI beállításaiban az OpenTelemetry Collectors résznél új OpenTelemetry Traces gyűjtőt kell hozzáadni, majd meg kell adni az Arize OTLP-végpontját, a szolgáltatás nevét, valamint az arize-space-id és arize-api-key fejléceket. A kapcsolat tesztelése és mentése után az új ügynökfutások nyomai a beállított szolgáltatásnév alatt jelennek meg.
A megoldás a forrás szerint rugalmasságot hagy a keretrendszerek, modellek és megfigyelési háttérrendszerek között. A Crew Studio az előírásokkal kompatibilis háttérrendszerekbe tud telemetriát exportálni, az Arize pedig több ügynökkeretrendszerrel és modell szolgáltatóval működik együtt.
A két platform közös ügyfele, a termelésben ügynököket futtató PepsiCo szerint a CrewAI és az Arize megkönnyíti a vállalati ügynökök gyorsabb létrehozását, miközben biztosítja a skálázáshoz szükséges megfigyelhetőséget és értékelést. Ezt Venkat Cherukuri, a PepsiCo AI Solutions igazgatója fogalmazta meg.
Arize AI: Crew Studio launches with native Arize AX tracing and evaluation
