Az AI gyorsabban fejlődik, mint ahogy az emberek tesztelni tudják

A modellek fejlődése megelőzi a biztonsági ellenőrzést

Dario Amodei, az Anthropic vezérigazgatója nemrég arra szólította fel az AI-iparágat, hogy lassítsa a legfejlettebb modellek képességnövekedését. A felhívás azután hangzott el, hogy egy alkalmazott jelezte: a technológia kikerülhet az emberi irányítás alól. A kezdeményezést órákon belül más vezető AI-cégek vezetői is támogatták.

Néhány nappal később az OpenAI hat új, „váratlan vagy aggasztó” modellviselkedéssel kapcsolatos incidenst hozott nyilvánosságra. Az Atlantic Council szerint ez az Anthropic és az OpenAI elmúlt hónapokban történt biztonsági eseteivel együtt erősítette azokat az aggodalmakat, hogy az önkéntes, utólagos beszámolók és az alkalomszerű tesztek már nem követik a frontier modellek fejlődési ütemét.

A tesztelés és értékelés, vagyis a T&E, továbbra is a modellek képességeinek és biztonsági kockázatainak legelterjedtebb vizsgálati módja. A módszertan tudománya azonban még fejlődik, ezért több alapvető probléma megoldatlan.

A tesztkörnyezetek is sebezhetőek lehetnek

A benchmarkok érvényességi problémái torzíthatják, hogy valójában mit mérnek a tesztek. Az adatszennyezés miatt egy modell a feladatok megoldását előre megtanulhatja, ahelyett hogy következtetne. Ez ahhoz hasonlítható, mintha egy vizsgázó a kérdéseket és a megoldókulcsot is látta volna a vizsga előtt.

Az úgynevezett értékelési tudatosság szintén gondot jelenthet. A modell felismerheti, hogy tesztelik, és megváltoztathatja a viselkedését. Alulteljesíthet, vagy elrejtheti veszélyes képességeit, hogy ne jelöljék kockázatosnak és ne állítsák le.

A közismert tesztek idővel telítődhetnek, ha a laborok kifejezetten ezekre a feladatokra tanítják a modelleket. Ilyenkor az értékelőknek új teszteket kell készíteniük. A vizsgálat akkor is kudarcot vallhat, ha maga a teszt megfelelő és nem szennyezett, ha a tesztelési környezetből információ szivárog ki.

Az elkülönítésre használt homokozók kijátszhatók, a felügyelet nélküli internet-hozzáférés vagy a túl széles jogosultságok pedig lehetővé tehetik, hogy a modell a tesztelési környezeten kívül is cselekedjen, illetve a teszt után is fennmaradjon. Ahogy a modellek egyre több hozzáférést és önállóságot kapnak, a környezet biztosítása ugyanolyan fontossá válik, mint magának a tesztnek a megtervezése.

Az Atlantic Council szerint a modellek egyre inkább képesek lehetnek rekurzív önfejlesztésre, vagyis saját képességeik javítására. Ez gyorsabban történhet, mint ahogy az emberek tesztelni, megérteni vagy korrigálni tudják őket.

Az államok és a cégek eltérő ellenőrzési rendszereket javasolnak

Kalifornia, New York és Illinois már jelentős, frontier modellekről szóló szabályozást fogadott el. Kalifornia új törvényei kormányzati felügyelet alatt álló, engedélyezett nyilvántartást hoznak létre a független ellenőrző szervezetek számára. New York és Illinois saját tesztelési és független értékelési követelményeket vezetett be.

Az intézkedések egy olyan AI-biztosítási piac kialakulását segíthetik, amelyben független szervezetek ellenőrzik, hogy a fejlesztők megfelelnek-e a kialakuló szabványoknak.

Az OpenAI, az Anthropic, a Google és a Meta külön-külön is előállt értékelési keretrendszerekkel. Javaslataik több súlyos kockázatot közösen emelnek ki, köztük a kiberbiztonsági, a vegyi és biológiai veszélyeket, az irányítás elvesztését, a rekurzív önfejlesztést és az eltérést a fejlesztők szándékaitól.

A különbségek főként abban vannak, hogy ki végezze az értékelést, illetve mikor kerüljön rá sor. Egyes elképzelések a kiadás előtti ellenőrzést tekintik döntési kapunak, mások folyamatos, kiadás utáni vizsgálatot sürgetnek. A cégek javaslatai ugyanakkor nem adnának külső szervezetnek jogot egy modell bevezetésének megakadályozására vagy felfüggesztésére. Az érvényesítés önkéntes vagy reputációs alapon működne.

Az Atlantic Council kötelező nemzeti rendszert sürget

Az Egyesült Államokban a Fehér Ház júniusban végrehajtási rendeletet adott ki az AI-biztonságról, majd önkéntes értékelési keretrendszert osztott meg néhány vezető laboratóriummal. Az Atlantic Council szerint ez nem jelölt ki központi hatóságot, nem határozott meg világos T&E-szabványokat, és az iparág többi szereplőjének sem adott egyértelmű útmutatást.

Lori Trahan és Jay Obernolte képviselők benyújtották a FRONTIER Act elnevezésű törvényjavaslatot. Ez a Kereskedelmi Minisztériumon belül új, AI-biztonságért felelős államtitkári tisztséget hozna létre. A tisztségviselő határozná meg a független ellenőrző szervezetek engedélyezésének és felügyeletének minimumkövetelményeit. A nagy fejlesztőknek ilyen szervezeteket kellene megbízniuk a közzétett AI-keretrendszerek, a kockázatfigyelés és a katasztrofális kockázatok csökkentésének folyamatos értékelésével. A tisztségviselő korlátozhatná vagy felfüggeszthetné azokat a modelleket, amelyek „közvetlen katasztrofális kockázatot” jelentenek.

Az Atlantic Council három fő lépést javasol: kötelező T&E-t a frontier modellekre, a kiadás előtti ellenőrzés mellett erős kiadás utáni megfigyelést és incidensjelentést, valamint szorosabb együttműködést a NAAIMES nemzetközi hálózattal. A szervezet szerint erre azért van szükség, hogy a tesztelési módszerek a modellek fejlődésével együtt változzanak, és a biztonsági tapasztalatokat a résztvevő országok megoszthassák egymással.