Globális külső szakértői hálózatot indít a Microsoft az AI biztonságáért

A Microsoft szerint a belső tesztelés önmagában kevés

A Microsoft július 27-i közleménye szerint az AI-biztonsági tesztelés jelentős része továbbra is az egyes szervezeteken belül zajlik. A vállalat úgy látja, ez hiányosságokhoz vezethet, mert a legkockázatosabb hibák feltárásához mély szaktudásra, többnyelvű és regionális ismeretekre lehet szükség. Ezeket egyetlen belső csapat sem képes minden esetben teljes körűen lefedni.

A fejlett, úgynevezett frontier modellek képességeinek növekedésével a támadási felület is bővül. A Microsoft AI Red Team csapata szerint a tesztelés ma már a promptinjekció és a tartalombiztonsági szélső esetek mellett a biztonsági műveletekre, a visszaélési forgatókönyvekre, a többnyelvű károkra, az összehangolási hibákra és a területspecifikus visszaélésekre is kiterjed.

18 egyetemi labor kapott támogatást hat kontinensen

Az EXTRA két részből áll. Az első egy globális akadémiai hálózat támogatása, amely az AI-biztonsággal és az AI-rendszerek védelmével kapcsolatos kutatásokat erősíti. A Microsoft AI Red Team korlátozás nélküli támogatást nyújtott 18 egyetemi labor számára hat kontinensen. A finanszírozás célja, hogy a kutatók önállóan folytathassák a nehéz és még megoldatlan biztonsági kérdések vizsgálatát.

A támogatott intézmények között szerepel többek között a Carnegie Mellon University CyLab intézete, a Georgetown Security Lab, a Harvard Berkman Klein Center, az Indian Institute of Technology Madras Centre for Responsible AI központja, a KAIST Web Security & Privacy Lab, a University College London Information Security Research Group, a University of Melbourne Artificial Intelligence Assurance Lab, a University of Pretoria Data Science for Social Impact Research Group, a University of São Paulo Center for Artificial Intelligence, a University of Toronto CleverHans Lab és a University of Washington emberközpontú tervezéssel foglalkozó tanszéke.

Nicolas Papernot, a Torontói Egyetem professzora szerint az akadémiai kutatás kulcsfontosságú a kiberbiztonsági környezet megértéséhez és a társadalom egésze számára működő megoldások kidolgozásához. Úgy fogalmazott, az iparági partnerségek révén a civil társadalom és a közintézmények kutatói hozzáférhetnek a legfejlettebb technológiához, így saját szaktudásukkal részt vehetnek a kockázatok meghatározásában és az ellenintézkedések fejlesztésében.

Közvetlen részvételt is biztosítanak a külső szakértőknek

Az EXTRA második eleme egy elosztott szakértői hálózat létrehozása. Ennek tagjai közvetlenül részt vehetnek olyan területek vörös csapatos tesztelésében, amelyekhez különleges tudás szükséges. A Microsoft kutatókat, gyakorlati szakembereket és regionális szakértőket vonna be, akik egyes támadástípusokat, nyelveket, kulturális környezeteket vagy technikai területeket részletesebben ismernek.

A program támogatott kutatási területei között szerepel, hogy miként lehet az AI-rendszereket megtámadni, manipulálni vagy működési környezetben visszaélésre használni. Egyes laborok azt vizsgálják, hogyan segíthetik ugyanezek a rendszerek a védelmi munkát és a kiberbiztonsági műveleteket.

A támogatás szándékosan korlátozás nélküli, így a Microsoft nem előre meghatározott termékcélokhoz vagy eredményekhez köti a kutatást. A vállalat célja a független biztonsági kutatási kapacitás erősítése és az együttműködés tartósabbá tétele az akadémiai szereplők és a működési AI-biztonsági csapatok között.

A program a helyi és többnyelvű kockázatokra is figyel

Natasha Crampton, a Microsoft felelős AI-ért felelős vezetője szerint a frontier AI kockázatainak kezelése folyamatos együttműködést igényel olyan szakértőkkel, akik eltérő technikai, nyelvi és kulturális környezetben vizsgálják a rendszerek működését. A vállalat az EXTRA-t a Frontier Governance Framework megközelítéséhez kapcsolja, amely a belső irányítási folyamatokat külső támogatással és együttműködéssel egészíti ki.

Balaraman Ravindran, az IIT Madras Robert Bosch Centre for Data Science and Artificial Intelligence vezetője szerint a frontier modellek fejlődése különösen alacsony erőforrású környezetekben teremthet új kockázatokat. Mike Yeh, a Microsoft AI ügyfélbiztonsági és bizalmi területért felelős alelnökhelyettese úgy látja, a kockázatok felismeréséhez intézményeken, tudományterületeken és országhatárokon átívelő szakértelemre van szükség.

A Microsoft közlése szerint az AI-vörös csapatos tesztelés egyre inkább interdiszciplináris, többnyelvű és globálisan elosztott tevékenység. Az EXTRA ennek megfelelően a külső kutatói és regionális szakértelmet a fejlett AI-rendszerek biztonsági értékelésének egyik fontos elemévé teszi.