A Microsoft szintetikus vállalati környezetekkel teszteli a Copilotot
A Microsoft olyan szintetikus vállalati környezeteket fejlesztett a Copilot értékelésére, amelyek valós szervezetek működését utánozzák, ügyféladatok felhasználása nélkül. A rendszer nyilvános adatforrásokra, automatizált lekérdezésgenerálásra és minőségellenőrzésre épül.
- A Microsoft ügyféladatok nélkül, szintetikus vállalati környezetekben értékeli a Copilotot.
- A szimulációk O*NET-adatokra, álláshirdetésekre és SEC-beadványokra támaszkodnak.
- Három iparági környezet készült: gyógyszeripari, tőkepiaci és IT-szoftveres.
- Az automatizált rendszer iparág-specifikus, ellenőrzött lekérdezéseket generál.
- A minőségvizsgálat a struktúrát, a kontextust, a viselkedést és a tartalombiztonságot méri.
Valós vállalati működést utánzó tesztkörnyezetek
A Microsoft Research október 30-án ismertetett rendszere az Industry Evaluation Data Generation Platform nevet viseli. A platform célja, hogy a Microsoft Copilotot olyan összetett helyzetekben lehessen vizsgálni, amelyek közelebb állnak a nagyvállalati használathoz, miközben a teszteléshez nem kell ügyféladatokat felhasználni.
A vállalat szerint az értékeléshez olyan adatokra van szükség, amelyek megmutatják a szervezeti hierarchiákat, a projektek előzményeit, a kommunikációs mintákat és az iparág-specifikus munkafolyamatokat. A valódi vállalati adatok azonban érzékeny információkat tartalmaznak, ezért ilyen célra nem használhatók. A Microsoft erre teljes méretű, szintetikus környezeteket hoz létre.
Ezekben a szimulált munkaterületekben felhasználók, értekezletek, e-mailek, dokumentumok és szervezeti struktúrák szerepelnek. A Microsoft terminológiájában az ilyen elkülönített szervezeti környezeteket tenantnak nevezik. A környezetek dinamikusak: a meetingelőzmények, projektidővonalak és e-mail-szálak időben fejlődnek, a szervezetben pedig változások történhetnek.
Nyilvános adatok adják a szimulációk alapját
A szintetikus környezetek realisztikusságát több nyilvánosan elérhető adatforrás segítségével igyekeznek biztosítani. Az Egyesült Államok Munkaügyi Minisztériumának O*NET adatbázisa a munkakörök és feladatok kialakításában segít, valamint az iparági munkafolyamatok, például klinikai vizsgálatok vagy portfóliófrissítések modellezését támogatja.
Az online álláshirdetésekből szerepkörökre, jelentési hierarchiákra és részlegek összetételére vonatkozó mintákat vesznek át. A SEC beadványai a szervezetek méretének, üzleti egységeinek és pénzügyi környezetének kialakítását segítik. A Microsoft közlése szerint ezeket a forrásokat a vállalat jogi és szakpolitikai szervezetei áttekintették és jóváhagyták.
A Microsoft három iparági környezetet hozott létre. A gyógyszeripari változat szabályozói benyújtási folyamatokat, klinikai vizsgálatokkal kapcsolatos megbeszéléseket és több szakterületet érintő biztonsági értekezleteket tartalmaz. A tőkepiaci környezetben üzletkötési csővezetékek, megfelelési kommunikációk és ügyfélportfóliók áttekintése jelenik meg. Az IT- és szoftveripari változat sprinttervezést, kódáttekintéseket és termékbevezetési egyeztetéseket szimulál.
Automatikusan készülnek az iparági lekérdezések
A szimulált adatok önmagukban nem elegendők, hiszen azt is tesztelni kell, hogy a Copilot megtalálja-e a megfelelő információkat, helyesen összegzi-e azokat, és hasznos formában adja-e át a választ. Több ezer, iparág-specifikus lekérdezés kézi megírása lassú és költséges lenne, ezért a Microsoft automatizált folyamatot épített.
A rendszer egy általános munkahelyi feladatokat tartalmazó könyvtárból indul ki. Kiválasztja az adott iparághoz illeszkedő feladatokat, majd szakterminológiával és a szintetikus környezet kontextusával alakítja át őket. Ezt követően mesterséges intelligencia segítségével a környezet adataira épülő kérdéseket generál, természetesebb megfogalmazásra írja át őket, végül pedig pontosság és egyediség szempontjából ellenőrzi.
A minőségvizsgálat a szervezeti struktúra hitelességét, a munkafolyamatok és lekérdezések relevanciáját, valamint a szimulált felhasználók kommunikációjának életszerűségét méri. Külön ellenőrzik azt is, hogy a létrehozott tartalom ne legyen káros, sértő vagy személyazonosításra alkalmas, és ne utánozzon valódi személyeket. A Microsoft szerint így a Copilot olyan kérdésekkel is tesztelhető, amelyek időbeli összefüggéseket igényelnek, például egy korábbi döntés vagy egy negyedéves áttekintés óta bekövetkezett változások felidézését.
Mit jelent ez a Copilot felhasználóinak?
A Microsoft szerint a platform egy szabványosított értékelési alapot ad a Copilot vizsgálatához. A szintetikus környezetek használata lehetővé teszi a tesztek ismételhető futtatását, a különböző iparágak és konfigurációk kezelését, valamint a fejlesztési visszajelzések gyorsabb előállítását.
A módszer különösen az olyan vállalati feladatok ellenőrzésére szolgál, amelyeknél a Copilotnak több dokumentumból, értekezletből vagy kommunikációs szálból kell információt összegyűjtenie. A Microsoft példája szerint egy egészségügyi szervezetben a rendszer összefoglalhat egy megbeszélést, és kiemelheti a csapat feladatait. A szintetikus tesztek azt vizsgálják, hogy az ilyen válasz pontos, teljes és a forrásként szolgáló tartalomhoz megfelelően kötött-e.
Microsoft Research: From synthetic enterprise data evaluations to real Microsoft Copilot AI confidence
