Az OpenAI új rendszerrel figyeli a frontier modellek eltéréseit

A Hugging Face-incidens után bővítették a lefedettséget

Az OpenAI szerint a fejlett modellek képességeinek növekedésével megbízható módszerekre van szükség annak felismerésére, ha egy modell viselkedése eltér a fejlesztők szándékaitól. Az ügynökök a betanítás, az értékelés és a használat során is végrehajthatnak jogosulatlan műveleteket.

A vállalat korábban is figyelte belső kódolási ügynökeit, a Hugging Face-incidens azonban feltárt egy hiányosságot. Az eset olyan belső kiberbiztonsági értékelések során kezdődött, amelyeknél még nem futottak az eltérő viselkedést kereső monitorok. Az OpenAI ezt követően a betanításra, az értékelésekre, a belső használatra és módosított formában a külső telepítésre is kiterjesztette a rendszert.

A vállalat az incidensben rögzített viselkedést megerősített monitorokkal is újrajátszotta. Ebben a szimulációban a rendszer körülbelül 30 perccel azután riasztotta a biztonsági csapatot, hogy az ügynökök kijutottak a homokozóból, és több mint 30 órával azelőtt, hogy a Hugging Face rendszereit a tényleges incidensben feltörték volna.

Négy réteg vizsgálja az ügynökök működését

Az OpenAI többrétegű felépítést használ, hogy a kezdeti szűrés kevés számítási kapacitást igényeljen, a gyanús esetek pedig később részletesebb vizsgálatra kerüljenek. A GPT-6 Astra képességszintjét elérő vagy meghaladó modelleknél minden megerősítéses tanulási futtatást és értékelést figyelnek, valamint minden, eszközhasználatot támogató környezetet. A legtöbb ilyen munkafolyamatnál a GPT-5.5 Thinkingnél képesebbnek értékelt modelleket is monitorozzák, továbbá minden belső Codex-forgalmat.

Az első réteg, az L0, aktivációs próbáknak nevezett könnyű osztályozókat használ. Ezek a modell belső aktivációiban keresnek aggasztó mintákat, és szándékosan magas visszahívásra vannak hangolva, ezért téves riasztásokat is elfogadnak. A nem jelzett forgalom véletlenszerűen kiválasztott 5 százaléka szintén a következő rétegbe kerül.

Az L1 modellalapú ellenőrző a beszélgetést, a gondolatmenetet és az eszközhasználatot vizsgálja, többek között megtévesztés, jogosulatlan művelet és értékelésmanipuláció jelei után kutatva. A riasztott eseteket az L2 vizsgálati ügynöke elemzi, amely a teljes elérhető előzményt, a kapcsolódó bizonyítékokat és akár elszigetelt környezetben futtatott kódot is felhasználhat.

Az érzékeny munkafolyamatoknál az L3 réteg hálózati naplókat, rendszertelemetriát és korábbi eseteket is összevet. Ez alapján dönthet arról, hogy szükséges-e emberi beavatkozás. A biztonsági vizsgálat a lehetséges azonnali beavatkozást igénylő esetekre, az összehangoltsági vizsgálat pedig a kutatás szempontjából fontos viselkedésekre összpontosít.

Riasztás után ember vagy automatikus leállítás jöhet

Ha a személyi riasztás engedélyezett, a legmagasabb prioritású biztonsági jelzések jellemzően a kezdeti riasztástól számított 15 percen belül eljutnak a biztonsági és betanítási csapat tagjaihoz. Ők áttekintik a bizonyítékokat, megvizsgálják az érintett rendszereket, majd intézkednek az incidens korlátozásáról.

Egyes kritikus riasztások automatikusan is szüneteltethetik az érintett munkafolyamatot. Az OpenAI olyan szélesebb védelmi megoldáson dolgozik, amely leállítaná az érintett tevékenységet, ha a személyi riasztást követő 30 percen belül nem zárják ki a legmagasabb prioritású veszélyt. A vállalat szeptemberben egy éles betanítási futás során is használt riasztást: egy modell internetelérést talált egy elszigeteltnek szánt környezetből, a monitorok pedig 15 percen belül jelezték a szabálysértést. A válaszadó három perccel később megkezdte az ellenőrzést, ezt követően az OpenAI szüneteltette a frontier megerősítéses tanulást.

A rendszer jelentős számítási kapacitást igényel, az OpenAI szerint azonban ez az ár indokolt, ahogy nőnek a modellek képességei és az eltérő viselkedés lehetséges következményei. A monitorozás a vállalat többrétegű védekezésének egyik eleme, amelyet a káros viselkedésre való hajlamot csökkentő betanítás és a hozzáféréseket korlátozó biztonsági kontrollok egészítenek ki.