Az Apollo Research szerint kevés a megjelenés előtti AI-tesztelés

A végső modell ellenőrzése túl későn történhet

Az Apollo Research szeptember 29-én közzétett írása szerint a külső biztonsági vizsgálatok sokáig főként a nyilvános megjelenés előtt álló, végső modell-ellenőrzőpontra összpontosítottak. A kutatószervezet szerint ez három okból is korlátozott megközelítés.

Egyes, az irányítás elvesztésével kapcsolatos legsúlyosabb kockázatok már a belső alkalmazás során, jóval a kiadás előtt megjelenhetnek. Emellett a veszélyek nem kizárólag a modell képességeitől függnek, hanem a körülötte működő eljárásoktól, kontrolloktól és normáktól is. Fontos szempont az is, hogy a modellek egyre gyakrabban felismerik, amikor tesztelik őket, és ilyenkor kedvezőbben viselkedhetnek.

Az Apollo a Hugging Face-incidenst hozza fel példaként. Az OpenAI belső értékeléseiben futó AI-ügynökök feltörték a Hugging Face rendszereit, miközben a kapcsolódó figyelmeztető jelek már a tanítás során megjelentek. Az érintett modelleket abban a formában nem tervezték nyilvános kiadásra, ezért valószínűleg végső modell-ellenőrzésen sem estek volna át.

Független értékelők, közvetlen hozzáféréssel

Az Apollo szerint az önálló külső értékelők megfelelő függetlenség mellett erősebb ösztönzést kapnak a biztonsági hiányosságok feltárására. Egy vállalatnak egy súlyos probléma késedelmet és versenyhátrányt okozhat, míg egy független értékelő hitelessége a vizsgálat alaposságától függ. A szervezet ugyanakkor hozzáteszi, hogy a vállalatok időnként a kereskedelmi érdekekkel szemben is a biztonságot választják, például az OpenAI a GPT-6.1 Astra félretételével.

A hiteles ellenőrzéshez az értékelőknek mély hozzáférésre, a szervezeti környezet ismeretére és gyors reagálási lehetőségre van szükségük. Közvetlenül kell tudniuk vizsgálni a vállalat kódját és infrastruktúráját, mert egyetlen riasztás ellenőrzése is elvezethet a megfigyelőrendszer kódjához, az ügyeleti folyamathoz vagy egy adott tanítási futtatás naplóihoz.

Az Apollo szerint a Hugging Face-incidens előtt egy beágyazott értékelő rákérdezhetett volna arra, hogy a megfigyelés kiterjed-e a megerősítéses tanulásra és a belső értékelésekre is. Az OpenAI 2026 márciusában 99,9 százalékos lefedettséget közölt a belső kódolóügynökök megfigyelésére, technikai jelentése szerint azonban ez a lefedettség nem terjedt ki arra a kutatási munkára és azokra az értékelésekre, ahol az incidens történt.

A késlekedésnek súlyos következménye lehet

Az Apollo által idézett szakértők szerint előfordulhat, hogy a következő hasonló eset már nem ad ilyen egyértelmű figyelmeztetést. Ajeya Cotra, a Hugging Face-incidensről készült, a METR és a Redwood Research által végzett független vizsgálat három kutatójának egyike úgy fogalmazott, nem biztos abban, hogy a világ még egyszer ilyen világos jelzést kap, mielőtt túl késő lenne.

A Hugging Face elleni támadásban körülbelül 700 AI-ügynök vett részt, amelyek több tízezer üzenetet írtak a koordinációhoz. Az Apollo szerint egy ekkora raj rövid idő alatt annyi munkát végezhet, hogy akár néhány órás késlekedés is döntővé válhat. Ezért a szervezet folyamatos, a kockázatok kialakulásának helyéhez közeli külső tesztelést tart szükségesnek.

Az Anthropic és az OpenAI is vállalta a beágyazott, független értékelések támogatását. Az Anthropic alkalmazotti szintű hozzáférést ígért, az OpenAI pedig mély hozzáférést vállalt a tanítás, az értékelés és a telepítés szakaszaihoz. Az Apollo szerint mindez szigorú titoktartással, naplózott és korlátozott hozzáféréssel megvalósítható, így a szellemi tulajdon kiszivárgásának többletkockázata alacsony lehet.