Az Orange Business 120 ezer dolgozóra építette AI-platformját

A saját fejlesztés helyett kész alapokra építettek

Az Orange Business az Orange Group vállalati üzletága, az Orange Group pedig Európa egyik legnagyobb távközlési és digitális szolgáltatója. A Live Intelligence a vállalat kiemelt AI-platformja. Első termékeik fejlesztésekor az Orange Business olyan biztonságos megoldásokat akart adni az ügyfeleknek, amelyekkel értéket teremthetnek a mesterséges intelligencia segítségével.

A Live Intelligence Portalon az alkalmazottak egyszerű AI-ügynököket hozhatnak létre, és alapvető API-hívásokat indíthatnak. Ezek a lehetőségek elsősorban egyszerű, személyes feladatokra alkalmasak. A vállalat ezt követően olyan ügynököket akart létrehozni, amelyek széttagolt vállalati rendszereken átívelő üzleti folyamatokat szerveznek össze, szabályozzák a hozzáféréseket, és nagy léptékben, üzemi környezetben is megbízhatóan futnak.

Az ehhez szükséges összehangolási, telepítési, monitorozási és megfigyelhetőségi infrastruktúra saját fejlesztése több mint egy évet vett volna igénybe. Az Orange Innovation, az Orange Group innovációs felderítéssel foglalkozó részlege, nagyjából 20 jelentős felhőszolgáltatót és specializált AI-szállítót vizsgált meg. Végül a LangChaint választották a modellfüggetlensége és hordozhatósága miatt. Ez lehetővé teszi, hogy az Orange megtartsa az ügynökarchitektúra feletti irányítást, és az európai adatszuverenitási követelményekhez igazítsa a munkaterheléseket.

Három rétegben működik a Live Intelligence

A platform három fő részből áll. A Live Intelligence Studio az AI-mérnökök és ügynökfejlesztők munkakörnyezete. Itt összetett, több rendszert összekapcsoló munkafolyamatokat tervezhetnek, modelleket érhetnek el szolgáltatásként az Orange infrastruktúráján és nyilvános felhőkben, valamint ügynököket építhetnek a LangSmith Fleet segítségével. A Studio támogatja az MCP-t, az ügynökök megfigyelését és a munkafolyamatok összehangolását is.

A Live Intelligence Portal a vállalati felhasználóknak szól. A forrás szerint HR-csapatok munkaköri leírásokat készíthetnek vele, jogi csapatok NDA-kikötéseket vizsgálhatnak át, szoftveres csapatok tesztelési szkripteket generálhatnak, az ügyfélszolgálatok pedig IT-támogató ügynököket építhetnek. A Studio-ban létrehozott munkafolyamatok közvetlenül telepíthetők a Portalba, szabályozott felhasználói környezetben.

A Live Intelligence Console a vállalati adminisztrátoroknak ad áttekintést és irányítási lehetőséget. Segítségével figyelhető a használat és a teljesítmény, valamint érvényesíthetők a biztonsági és megfelelőségi szabályok.

A platform része az Agent Registry és az MCP Registry is. Előbbi az ügynökök és utasítások felfedezését, újrafelhasználását, verziózását és szabályozását támogatja. Az Orange a LangSmith Context Hubot használja az egyes környezetekhez tartozó utasításverziók kezelésére, így a módosítások kódváltoztatás nélkül tesztelhetők és ellenőrizhetők. Az MCP Registry megbízható eszközök, csatlakozók és külső képességek központi katalógusa. Az ügynökök ezen keresztül érhetik el például a Microsoft 365-öt, CRM-rendszereket, belső API-kat és egyedi szolgáltatásokat.

A LangSmith minden futtatási réteget értékel

Az Orange Business a LangSmithre építve három rétegben értékeli a rendszert üzemi környezetben. A RAG-minőség vizsgálatakor kérdés-válasz párokat tartalmazó referencia-adatkészleteket, az elvárt forrásdokumentumokat, a visszakeresés pontosságát, a forrásokra alapozottságot és a válaszok hűségét elemzik.

Az ügynökök viselkedésénél többek között az eszközválasztás pontosságát, a feladatok teljesítési arányát, az elutasításokat, a promptbefecskendezéssel szembeni ellenállást és az üzleti korlátok betartását mérik. A futtatási nyomok monitorozása kiterjed a késleltetésre, a költségre, a használt modellekre, a sikertelen futásokra, az emberi visszajelzésre és az eszkalációs esetekre.

Mathieu Ducrot, az Orange Business AI-termékekért felelős vezetője szerint a LangSmith megfigyelhetőségi képességei jelentősen meghaladták azt, amit házon belül reálisan fel tudtak volna építeni. Elmondása szerint a saját fejlesztés 12, illetve 18 hónappal is késleltethette volna az ütemtervet. A rendszerben a mérnökök minden végrehajtási lépést megvizsgálhatnak, és elkülöníthetik, hogy a hiba a visszakeresésből, az utasításból, a modellből, az eszközhívásból vagy az üzleti logikából ered-e.

Az Orange a kiadások előtt regressziós értékeléseket futtat, összehasonlítja az ügynökverziókat, és korábbi futtatásokat játszik vissza. A nyomokból az is látható, hol hibásodott meg a folyamat, melyik ügynök vagy eszköz futott, milyen bemenetet kapott, milyen választ adott, mennyi ideig tartott az adott lépés, és hogyan járult hozzá a teljes végrehajtáshoz.

Közös fejlesztési folyamat és új vállalati feladatok

A LangChain és a LangSmith használata a vállalat szerint javította a működési hatékonyságot a csapatok között. Az AI-mérnökök, a háttérrendszereken dolgozó mérnökök, a termékvezetők és a minőségbiztosítási csapatok ugyanazokat a nyomokat és értékelési eredményeket láthatják. Az Orange külön adatkészleteket is készít jó és rossz ügynökviselkedést bemutató nyomokból, hogy offline értékelésekkel folyamatosan finomítsa az utasításokat.

„Nálunk a technikai csapat felel az alkalmazás és az ügynökalapú munkafolyamat megvalósításáért, az üzleti csapat pedig aktívan részt vehet az utasítások javításában és a minőség értékelésében. A LangSmith az utasítások iterációját, a nyomkövetést és az értékelést egyetlen, folyamatos fejlesztési munkafolyamattá alakítja” , mondta Mathieu Ducrot.

Az Orange Business a következő lépésként az együttműködést online értékelésekkel bővítené. A vállalat összetettebb üzleti folyamatok automatizálásán is dolgozik, például olyan ügynökön, amely a teljes biztosítási kárügyintézést támogatja CRM- és jogi munkafolyamatok integrációjával, valamint olyan megoldáson, amely egy kikötő biztonsági érzékelőit figyeli a helyszíni mérnöki beavatkozások támogatásához.