A CDT módosításokat javasol a NIST mesterségesintelligencia-keretrendszeréhez

Véleményt nyújtott be a CDT vezette koalíció

A Center for Democracy & Technology október 7-én közölte, hogy csatlakozott a National Fair Housing Alliance által vezetett koalícióhoz. A csoport véleményt nyújtott be az amerikai National Institute of Standards and Technology, vagyis a NIST számára annak TEVV-Athlon Framework for Evaluating AI Systems nevű tervezetéről.

A TEVV az angol testing, evaluation, verification and validation rövidítése, amely magyarul a mesterségesintelligencia-rendszerek tesztelését, értékelését, ellenőrzését és validálását jelenti. A tervezet strukturált útmutatást adna azoknak a szervezeteknek, amelyek AI-rendszereket vizsgálnak, hogy a termékeket a tervezett céljukhoz jobban illeszkedővé tegyék, és hatékonyabban kezeljék a fejlesztéshez vagy használathoz kapcsolódó kockázatokat.

A szabványosított fogalmakat támogatják

A CDT és partnerei szerint a NIST kezdeményezése javíthatja az AI-rendszerek tesztelésének, értékelésének, ellenőrzésének és validálásának bevált gyakorlatait. A szervezet úgy látja, hogy a konkrét útmutató és az egységes terminológia többféle szereplőnek is segítséget adhat saját értékelési gyakorlatának kialakításához.

Ez alapján a szervezetek könnyebben mérlegelhetik, hogy egy adott AI-rendszer hatékony lehet-e a tervezett környezetben, és mely kockázatok vagy hatások igényelnek figyelmet. A CDT szerint az ilyen keretrendszerek hozzájárulhatnak ahhoz, hogy az AI-rendszerek jobban megfeleljenek a fogyasztói igényeknek, védjék az egyéni jogokat, és kisebb eséllyel okozzanak előre nem várt károkat.

Az ismeretlen kockázatok feltárására is figyelnének

A koalíció egyik fő javaslata, hogy a keretrendszer nagyobb hangsúlyt kapjon a felfedezésközpontú értékelésekre. Ezekben a vizsgálat célja nem kizárólag az előre meghatározott tulajdonságok mérése, hanem annak feltárása is, hogy egyáltalán mit érdemes mérni.

A CDT szerint ez különösen fontos az általános célú AI-eszközöknél, mivel az értékelőknek gyakran az ismeretlen kockázatokat, hatásokat és hibamódokat kell felszínre hozniuk. A javaslatok között ezért szerepel a TEVV fogalmának pontosítása, több útmutatás a mérendő jellemzők meghatározásához, valamint a finomítást és a visszajelzést támogató mechanizmusok beépítése. A szervezet egy összetettebb, felfedezésközpontú értékelési helyzetet bemutató példát is kér.

Valós környezeteket és többnyelvű használatot is vizsgálnának

A CDT további részleteket szeretne arról, hogy a fejlesztés különböző szakaszaiban mely szereplők tudnak a legmegfelelőbben beavatkozni. A szervezet szerint ez segítene jobban megérteni a TEVV-Athlon multidiszciplináris jellegét. Emellett külön szempontokat kérnek az eltérő AI-rendszertípusokhoz, például az ügynöki alkalmazásokhoz.

A benyújtott vélemény szerint a NIST-nek részletesebben kellene foglalkoznia azzal is, miként tükrözhetik a tesztforgatókönyvek és tesztkörnyezetek a valós AI-használatot. A javaslat kitér a más nyelveken és többkulturális környezetben működő rendszerekre, a nyilvánosság szélesebb bevonásának módszereire, valamint a NIST AI Metrology Center szakterületi erőforrásainak beépítésére. Ezek az elemek a CDT szerint segíthetik az értékelőket abban, hogy az elméleti fogalmaktól a gyakorlati vizsgálatokig jussanak el.