A Dynatrace felvásárolná az Arize-t az AI-rendszerek teljes körű megfigyeléséért

A fejlesztéstől az éles működésig követnék az AI-rendszereket

A Dynatrace augusztus 13-án közölte, hogy megállapodást kötött az Arize felvásárlásáról. A tranzakció lezárása után a Dynatrace ügyfelei a vállalat várakozása szerint folyamatos lefedettséget kaphatnak az AI-alkalmazások teljes szállítási életciklusára.

Az Arize Phoenix nevű, nyílt forráskódú AI-megfigyelési és -értékelési platformja lehetővé teszi az AI-alkalmazások követését, az értékelések futtatását, a hibák kivizsgálását és a kísérletek összehasonlítását. A fejlesztők láthatják többek között a modellhívásokat, a visszakeresést, az eszközhasználatot, az ügynökök döntési útvonalait, az egyedi logikát és a kimenetek minőségét.

Az Arize AX erre építve kezelt vállalati platformot kínál AI-megfigyeléshez, értékeléshez és folyamatos fejlesztéshez. A szolgáltatás a vállalat szerint fejlett ügynökmegfigyelést, online értékeléseket, monitorozást és olyan munkafolyamatokat biztosít, amelyekkel észlelhetők a hallucinációk, mérhető a kimenetek minősége, összehasonlíthatók a változtatások, és kísérletezéstől a gyártási környezetig folyamatosan ellenőrizhetők az AI-rendszerek.

Az AI-rendszerek hibái több réteget érinthetnek

A Dynatrace szerint az AI-alkalmazások hibái eltérhetnek a hagyományos szoftverek problémáitól. Egy rendszer működőképes lehet úgy is, hogy pontatlan, nem hasznos vagy nem biztonságos választ ad. Egy ügynök befejezhet egy munkafolyamatot rossz útvonalon, egy modell pedig a fejlesztés során jól teljesíthet, majd az adatok, a promptok, a függőségek vagy a felhasználói viselkedés változása után másképp viselkedhet az éles környezetben.

A probléma forrása nem feltétlenül maga a modell. Okozhatja egy upstream szolgáltatás késleltetése, megváltozott adatforrás, romló visszakeresési eredmény, eszközhiba, infrastruktúrakorlát vagy olyan alkalmazásfüggőség is, amely a fejlesztés alatt még nem volt jelen. A vállalat szerint az ezekhez szükséges jelek gyakran külön rendszerekben találhatók, és más-más csapatok kezelik őket.

A Dynatrace 919 ügynökalapú AI-vezető bevonásával készült kutatására hivatkozva azt írta, hogy 51 százalékuk a rendszerek nagy léptékű kezelésének és monitorozásának technikai nehézségeit nevezte az éles bevezetés egyik fő akadályának. További 45 százalékuk szerint nem rendelkeznek világos szabályokkal arra, mikor cselekedhetnek az ügynökök önállóan, és mikor kell emberi beavatkozás. A kutatás szerint a szervezetek 42 százaléka korlátozott valós idejű rálátással rendelkezik az ügynökök viselkedésének követésére és hibakeresésére, 44 százalékuk pedig továbbra is kézi módszerekkel vizsgálja az ügynökök közötti kommunikációs folyamatokat.

A Dynatrace a termelési környezet adatait kapcsolná össze az AI-értékeléssel

A Dynatrace platformja a vállalat leírása szerint egységes megfigyelést biztosít az alkalmazások, az infrastruktúra, az AI-infrastruktúra, a modell teljesítménye, a felhasználói élmény és az üzleti eredmények felett. Ez segíthet a platformmérnöki, megbízhatósági és üzemeltetési csapatoknak annak meghatározásában, hogy egy probléma a modellből, az alkalmazásból, az infrastruktúrából vagy valamely függőségből ered-e.

A tervezett kombinációban az ügynökök értékelése és követése az alkalmazás-, infrastruktúra-, felhasználóiélmény- és üzleti megfigyeléssel együtt jelenhet meg. A csapatok összehasonlíthatják a fejlesztés során tapasztalt modell-, prompt-, visszakeresési vagy munkafolyamat-teljesítményt az éles környezet viselkedésével. Az értékelési eredmények, a hallucináció-ellenőrzések, a humán visszajelzések és a regressziós tesztek összekapcsolhatók a késleltetéssel, a hibákkal, az áteresztőképességgel, az erőforrás-használattal és a költségekkel.

A vállalat szerint a termelési jelek visszakerülhetnek a fejlesztési és értékelési folyamatokba. Így a csapatok egy helyen vizsgálhatják, mi történt, mi okozta a problémát, mire volt hatással, milyen költséggel járt, és hogyan javítható az AI-rendszer.

Nyílt szabványokra épülő integrációt ígérnek

Az Arize által létrehozott és karbantartott OpenInference nyílt specifikáció az AI-követéshez, és az OpenTelemetryre épül. A Dynatrace szerint ez szabványalapú módot ad az AI-alkalmazások műszerezésére, saját, zárt műszerezési megoldástól való függés nélkül.

A Dynatrace közölte, hogy támogatni kívánja a Phoenixet, és részt venne az OpenInference további gondozásában. A vállalat szerint az AI-mérnökök a Phoenixszel ma is elkezdhetik a munkát, majd igényeik növekedésével a teljes Dynatrace platformra válthatnak. A közös OpenInference-műszerezés mindkét környezetben használható.