Háromszintű modellt adott ki az AI-modellek ellátási láncának auditálására a CoSAI

A modellek eredete és változásai gyakran nehezen követhetők

A Coalition for Secure AI, röviden CoSAI, szerint az AI/ML-artifaktumok egyre összetettebb, több szereplős ellátási láncokon haladnak keresztül. A modelleket, adatkészleteket, konfigurációkat és a kapcsolódó folyamatokat több csapat, szervezet és környezet hozhatja létre, módosíthatja és telepítheti.

A szervezet egy olyan helyzetet vázol fel, amelyben egy csapat aláírás nélküli, nyilvános tárhelyről származó finomhangolt modellt állít éles környezetbe. Ha később sebezhetőséget találnak az alapmodellben, nem feltétlenül lehet gyorsan megállapítani, mely telepített modellek örökölték a problémát. Az audit során pedig a telepítéshez kapcsolódó bizonyítékokat utólag kell összegyűjteni jegykezelő rendszerekből, naplókból és beszélgetésekből.

A CoSAI szerint az ilyen kockázatok kezeléséhez külön kell választani az integritás, az eredet és a szabályoknak való megfelelés ellenőrzését. A szervezet Workstream 1 munkacsoportja által kiadott Artifact Integrity Maturity Model, vagyis AIMM, ezekhez kínál fokozatos, kockázatalapú keretrendszert.

Három szint az integritástól a szabályalapú ellenőrzésig

Az első szint az alapvető artifaktumintegritást vizsgálja. A létrehozó egy meghatározott kiadási ponton kivonatolja és aláírja az artifaktumot, a felhasználó pedig újraszámolja a kivonatot és ellenőrzi az aláírást, mielőtt a modell bekerül a folyamatba vagy éles környezetbe jut. Ez jelzi, hogy az artifaktum változott-e, illetve hiteles-e a létrehozója, de önmagában nem rögzíti, hogyan készült a modell.

A második szint aláírt eredetigazolásokat és ellenőrizhető leszármazási kapcsolatokat ad hozzá. Így követhetővé válhat, hogy egy modell melyik szülőartifaktumból származik, és milyen átalakításokon ment keresztül, például finomhangoláson, kvantáláson vagy desztilláción. Ez segíthet annak meghatározásában, hogy egy felfedezett felsőbb szintű sérülékenység mely későbbi modelleket érintheti.

A harmadik szint strukturált tanúsításokat használ a modell, az adatok, a folyamat és az infrastruktúra tulajdonságairól. Ezeket szabálymotorok értékelhetik, és a telepítés előtti beléptetési döntésekben is fel lehet használni. A CoSAI ezt elsősorban szabályozott iparágak, nagy kockázatú alkalmazások, összetett, több szereplős ellátási láncok és nagy léptékű irányítás esetén tartja relevánsnak.

A szervezet ugyanakkor jelzi, hogy a teljesen automatizált szabályérvényesítés sok környezetben még távlati cél. A területspecifikus tanúsítási sémák és a szükséges infrastruktúra még fejlődik, ezért sok szervezet géppel értékelhető bizonyítékokat emberi felülvizsgálattal kombinálhat.

A CoSAI fokozatos bevezetést javasol

Az AIMM nem ír elő minden szervezet számára azonos kontrollszintet. A magasabb szintek az alacsonyabbak képességeire épülnek, de a cél a kockázathoz illesztett ellenőrzés. A CoSAI példája szerint egy egészségügyi szervezet klinikai diagnosztikai modelleknél harmadik szintű kontrollokat alkalmazhat, belső kutatási modelleknél pedig az első szintet.

A kevés vagy semmilyen aláírási és ellenőrzési infrastruktúrával nem rendelkező szervezeteknek a CoSAI azt javasolja, hogy először a legnagyobb kockázatú modellekkel kezdjenek. Ide tartozhatnak az éles környezetben futó, külső felhasználók által elérhető vagy szabályozási követelmények alá eső artifaktumok. A külső forrásból származó, aláírás nélküli modelleknél az átvételkor elvégezhető integritás-ellenőrzés, majd belső, aláírt bizalmi határ alakítható ki.

A második szint akkor lehet indokolt, ha a modelleknek jelentős leszármazási történetük van. A harmadik szint bevezetését a CoSAI világos szabálykövetelményhez és megfelelő tanúsítási, valamint szabálykezelési infrastruktúrához köti.

Az AIMM kitér az AI-ügynökök aláírásban, ellenőrzésben és eredetkövetésben betöltött szerepére, a több fél állításainak összehangolására és a fokozatos bevezetésre is. A dokumentum korlátokat is rögzít: az aláírás és a tanúsítás igazolhatja az integritást, a hitelességet, az eredetet és a szabályalapú döntésekhez szükséges bizonyítékokat, de nem garantálja, hogy egy artifaktum helyes, biztonságos vagy méltányos.