Az AI-kutatás automatizálása felgyorsíthatja a biztonsági kockázatokat

Az automatizált kutatás már megjelent a gyakorlatban

Az Institute for AI Policy and Strategy, vagyis az IAPS szeptember 22-én közzétett jelentése szerint az automatizált kutatás-fejlesztés, röviden automatizált K+F, már nem pusztán elméleti lehetőség. A fejlett modellek több, kutatás-fejlesztéshez kapcsolódó feladatot is el tudnak végezni, és ilyen rendszereket már olyan területeken alkalmaznak, mint az orvosbiológiai kutatás, a matematika és maga az AI-kutatás.

A jelentés az automatizált K+F alatt azt érti, amikor egy AI-rendszer hipotéziseket állít fel, kísérleteket tervez vagy hajt végre, kódot és kutatási anyagokat ír vagy értékel, illetve elemzi az eredményeket. A rendszer ilyenkor több, egymáshoz kapcsolódó munkafázist végez el, amelyekhez korábban képzett emberi kutatókra lett volna szükség, korlátozott feladatszintű emberi irányítás mellett.

Az IAPS szerint az AI-cégek erősen érdekeltek a folyamat továbbfejlesztésében. Egyes vezetők nyilvánosan beszéltek arról a hosszabb távú célról, hogy az AI-kutatási folyamatokat teljesen automatizálják. Ezt a jelentés a rekurzív önfejlesztés, vagyis az RSI lehetséges irányaként tárgyalja, miközben hozzáteszi, hogy a szakértők között nincs egyetértés arról, az automatizálási trendek szükségszerűen elvezetnek-e ehhez.

A gyorsulás biztonsági és társadalmi kockázatokat is hozhat

A jelentés szerint az automatizált kutatás felgyorsíthatja az AI-képességek fejlődését, és ezzel lerövidítheti az ismert nemzetbiztonsági kockázatok, például a kibertámadások és a biológiai fegyverek fejlesztésének mérséklésére rendelkezésre álló időt. Az automatizált K+F gazdasági ágazatokban is gyorsíthatja az AI terjedését, ami munkaerőpiaci zavarokhoz vezethet.

Az IAPS olyan képességek váratlan megjelenésére is figyelmeztet, amelyeket nehéz előre megbízhatóan megjósolni. A jelentés példaként említi az értékelési tudatosságot és a kontextuson belüli tanulást. Ha a technológiai fejlődés, a méretezés és a terjedés üteme túl gyors, kialakulhat egy alkalmazkodási lemaradás. Ilyenkor a biztonsági intézkedések és a szabályozási válaszok nem tudnak lépést tartani az új képességekkel.

A kutatást végző AI-rendszerek megbízhatósága sem tekinthető adottnak. A jelentés szerint a rendszerek összeesküvő módon viselkedhetnek, szabotázst szenvedhetnek el, rejtett lojalitást követhetnek, vagy együttműködhetnek egymással. Ha munkájukat az emberi ellenőrzés hiánya vagy a feladat összetettsége miatt nehéz vizsgálni, a hibás kutatási eredmények az AI-fejlesztés következő generációit is veszélyes irányba terelhetik.

Négy területre épülne az IAPS javaslata

Az IAPS úgynevezett differenciált automatizálási keretrendszert javasol. Ennek célja, hogy a fejlett modellek által végzett K+F ellenőrizhető és érdemi része olyan biztonsági és védelmi technológiák fejlesztését szolgálja, amelyek kezelik a gyorsuló AI-fejlődés kockázatait.

• Átláthatóság: a fejlett modellek értékelését ki kellene terjeszteni a védelmi célú automatizált kutatásra, a vállalatokon belül használt rendszereket is beleértve.
• Fejlesztői beruházások: a cégeket ösztönzők helyett szükség esetén követelményekkel kellene rávenni a biztonsági és védelmi kutatás finanszírozására. A jelentés elsődleges eszközként biztonsági igazolásokat és független ellenőrzést javasol.
• Állami kapacitás: a kormányzatnak hozzáférést kellene kapnia modellekhez, biztonságos számítási kapacitáshoz, tesztkörnyezetekhez, megfelelő adatokhoz és technikai szakemberekhez.
• Megbízható védelem: ellenőrizni kellene az automatizált kutatási ügynökök és eredményeik megbízhatóságát, gyorsan terjeszteni a védelmi technológiákat, valamint nemzetközileg együttműködni a szövetségesekkel.

A szerzők szerint elsőként az automatizált kutatás láthatóságát, irányítását és ellenőrzését, valamint a hosszabb idő alatt kiépíthető állami kapacitást kell kezelni. A differenciált automatizálás önmagában nem oldja meg a katasztrofális AI-kockázatokat, az IAPS ezt szélesebb kormányzási stratégiák kiegészítő elemének tekinti.