A Scale AI szerint Washingtonnak saját AI-tesztelési kapacitás kell
A Scale AI szerint az amerikai szövetségi kormány nem tudja megfelelően mérni a legfejlettebb mesterségesintelligencia-modellek kockázatait, ezért független tesztelési rendszert kell kiépítenie. A cég három fő lépést sürget, köztük az összehangolt állami irányítást, a bevezetés előtti vizsgálatokat és a tartós finanszírozást.
- A Scale AI független állami tesztelést sürget a fejlett AI-modellekhez.
- A javaslat három eleme az összehangolt irányítás, a bevezetés előtti értékelés és a dedikált kapacitás.
- Az elnök 27 millió dollárt kért a CAISI számára a 2027-es pénzügyi évre.
- A Scale AI szerint több modell sebezhető az AI-ügynökök elleni utasításbefecskendezéssel szemben.
- Egy kiberbiztonsági versenyben a modellek az esetek 12 százalékában megtagadták a védekezés segítését.
A kockázatokról szóló vitát bizonyítékokra építenék
A Scale AI szeptember 25-én közzétett blogbejegyzésében azt írta, hogy a mesterséges intelligencia kockázatairól folytatott vita jelentős része spekulációkra épül. Francis deSouza, a bejegyzés szerzője szerint egyes erős figyelmeztetések mögött kevés tudományos bizonyíték áll, mégis hatással vannak a szakpolitikára.
A vállalat szerint a túl gyors fejlesztés és a félelem miatt történő lassítás egyaránt költségekkel járhat. A Scale AI úgy látja, hogy a bizonyítékokra kell építeni a döntéseket, különösen akkor, amikor az ENSZ Közgyűlésén a világ vezetői a mesterséges intelligenciával kapcsolatos nemzetközi együttműködésről egyeztetnek.
A cég szerint az esetleges nemzetközi megállapodások ereje attól függ, milyen bizonyítékok támasztják alá őket. Ehhez pontosan meg kell határozni a mérőszámokat, a vizsgálatok ellenőrzésének felelőseit, valamint azt is, mi történik súlyos kockázatok felfedezésekor.
Három pillérre épülne az állami tesztelés
A Scale AI szerint az amerikai szövetségi kormány képességei nem tartottak lépést a fejlett modelleket fejlesztő vállalatokkal. Jelenleg a legtöbb tesztet maguk a fejlesztő laboratóriumok végzik, ám a vállalat úgy véli, hogy nemzetbiztonsági és közbiztonsági kérdésekben Washingtonnak saját bizonyítékokra van szüksége.
A javasolt rendszer első eleme egy egyértelmű mandátum lenne. Egy kijelölt, elszámoltatható tisztviselő hangolná össze a szövetségi ügynökségek munkáját, állapítaná meg a kormányzati értékelési prioritásokat, mozgósítaná a köz- és magánszektor szakértelmét, valamint gondoskodna a súlyos kockázatok azonosításáról és mérsékléséről.
A második pillér a bevezetés előtti értékelés. A kormánynak a modellfejlesztőkkel együttműködve kellene hozzáférést biztosítania a teszteléshez, és újra kellene értékelnie a nemzetbiztonsági kockázatokat, ahogy a modellek képességei és felhasználási módjai változnak.
A harmadik elem a dedikált kapacitás. A Scale AI tartós állami finanszírozást sürget független, köz- és magánszektorbeli tesztelésekre, valamint a szükséges eszközökre, erőforrásokra és technikai szakértelemre.
A Scale AI konkrét sebezhetőségeket talált
A bejegyzés szerint az elnök 27 millió dollárt kért a CAISI, a kormány fejlett mesterségesintelligencia-tesztelési központja számára a 2027-es pénzügyi évre. A képviselőházi költségvetési előirányzók legfeljebb 15 millió dollárt javasoltak. A Scale AI szerint ezek az összegek nem állnak arányban az AI fejlődésének sebességével és léptékével.
A vállalat közölte, hogy több éve fejleszt szakértelmet és infrastruktúrát fejlett modellek vizsgálatához. Együttműködött amerikai, brit, koreai és szingapúri kormányzati értékelő szervezetekkel mérőtesztek kidolgozásában és a tesztelési kapacitás bővítésében. Emellett nemzetbiztonsági partnereket segít olyan kiberbiztonsági értékelések kialakításában, amelyek valós fenyegetésekkel szembeni képességeket mérnek.
A Scale AI kutatói olyan támadást is vizsgáltak, amely AI-ügynököket érint. Ezek az ügynökök például e-mailezési vagy banki feladatokat végezhetnek a felhasználó nevében. A kutatók szerint amikor az ügynök pontosítást kér, a támadó káros utasítást rejthet el a válaszban. A vizsgált modellek többsége sebezhető volt ezzel a módszerrel szemben. Több modellnél a támadások körülbelül tízszer gyakrabban jártak sikerrel, amikor a rosszindulatú utasítás a kérdésre adott válaszban jelent meg, mint amikor e-mailben, dokumentumban vagy weboldalon volt elrejtve.
A cég egy másik problémát is azonosított. Egy nemzetbiztonsági kiberbiztonsági versenyben az AI-modellek az esetek 12 százalékában megtagadták, hogy segítsenek a védekező résztvevőknek, és ez az arány meghaladta a 40 százalékot, amikor a kérdés a rendszerek lezárására, vagyis megerősítésére vonatkozott.
A tesztelés a kritikus infrastruktúrák felkészítését is segítheti
A Scale AI szerint az ilyen helyzetekre szabott vizsgálatok nélkül a döntéshozók nem tudhatják, milyen felkészültségre van szükségük az amerikai bankoknak, elektromos hálózatoknak és kórházaknak. A vállalat álláspontja szerint a független állami kapacitás lehetővé tenné a valós kockázatok kezelését, még azelőtt, hogy válsággá válnának.
A cég úgy véli, hogy Washingtonnak nem kell mindent a nulláról felépítenie, de képesnek kell lennie külső szakértők munkájának irányítására és az eredmények alapján történő fellépésre. A Scale AI azt írta, hogy a tesztelési munkát gyorsítja, és a következő hetekben további részleteket oszt meg róla.
