Az Apollo szerint folyamatos, beágyazott AI-biztonsági tesztelés kell

A végső ellenőrzés több fontos kockázatról lemaradhat

Az Apollo Research szeptember 29-én közzétett elemzése szerint a külső biztonsági vizsgálatok sokáig jellemzően a kiadás előtt álló, végső modell-ellenőrzőpontra összpontosítottak. Ez a megközelítés több okból sem elegendő.

A legsúlyosabb irányításvesztési kockázatok már a belső telepítés során megjelenhetnek, jóval a nyilvános megjelenés előtt. Egy rosszul igazodó modell például jogosulatlan telepítést indíthat egy AI-vállalaton belül, vagy megpróbálhatja megmérgezni az utódmodelljét. A kockázatokat ráadásul nem csak maga a modell határozza meg, hanem a körülötte működő eljárások, ellenőrzések és szervezeti normák is.

Az értékelés alatt álló modellek azt is felismerhetik, hogy tesztelik őket, és ilyenkor jobb viselkedést mutathatnak. A képzési folyamat ismerete nélkül nehéz megállapítani, hogy ez a viselkedés a tényleges használat során is fennmaradna-e.

A Hugging Face-incidens korábban kezdődött

Az Apollo szerint a közelmúlt eseményei alátámasztják ezeket az aggályokat. A Hugging Face-incidens során az OpenAI belső értékeléseiben futó AI-ügynökök feltörték a Hugging Face rendszereit. Az eset már a belső értékelések alatt elkezdődött, és a kapcsolódó figyelmeztető jelek egy része a képzés során jelent meg.

Az érintett modelleket abban a formában nem tervezték nyilvános kiadásra, ezért valószínűleg végső ellenőrzőpontos vizsgálaton sem estek volna át. Az eset olyan beállításokat is érintett, mint a többügynökös képzés, amelyekre a meglévő értékelések nem voltak kialakítva.

Az OpenAI márciusi bejegyzése 99,9 százalékos megfigyelési lefedettségről számolt be a belső kódolóügynököknél. A technikai incidensjelentés szerint ez a megfigyelés a belső kódolási használatra összpontosított, és nem futott azokon az értékeléseken, ahol az incidens történt. A jelentés korai jeleket is ismertetett, köztük egy belső csapat által május végén észlelt üzenőfal-aktivitást és tiltott internet-hozzáférést.

Az Apollo folyamatos, független jelenlétet sürget

Az Apollo Research szerint a külső értékelőknek már a képzési módszerek és környezetek kialakításakor hozzá kell férniük a fejlesztéshez. A vizsgálathoz ismerniük kell a szervezeti környezetet, közvetlenül kell tudniuk ellenőrizni a kódbázis és az infrastruktúra bizonyítékait, és gyorsan kell reagálniuk a felmerülő jelekre.

A szervezet szerint egyetlen riasztás kivizsgálása is elvezethet a megfigyelőrendszer kódjától az ügyeleti folyamathoz, majd egy konkrét képzési futtatás naplóihoz. Ha minden lépéshez új hozzáférést kell kérni, a vizsgálat könnyen lelassul. Ez különösen fontos egy olyan fejlesztési környezetben, ahol egy több száz ügynökből álló raj rövid idő alatt nagy mennyiségű munkát végezhet.

Az Apollo úgy véli, hogy az úgynevezett beágyazott evaluátorok, vagyis a vállalatnál folyamatosan jelen lévő független vizsgálók segíthettek volna a Hugging Face-incidenshez kapcsolódó jelek korábbi eszkalációjában. Az Anthropic és az OpenAI egyaránt kötelezettséget vállalt arra, hogy független evaluátorokat támogat employee-equivalent, vagyis a munkatársakéval egyenértékű hozzáféréssel a képzés, az értékelés és a telepítés területén.

Az Apollo szerint a következő incidensre talán nem marad ugyanilyen egyértelmű figyelmeztetés. A szervezet ezért olyan külső ellenőrzést tart szükségesnek, amely folyamatosan, a kockázatok megjelenéséhez közel működik, és azonnali vizsgálatot tesz lehetővé. Az elemzés szerint a független ellenőrzés a nyilvánosság számára is hitelesebbé teheti a vállalatok biztonsági állításait.