Az Anthropic szigorítja a Claude tesztelési és biztonsági gyakorlatát

Több incidens után vizsgálat és külső felülvizsgálat jön

Az Anthropic közlése szerint július 30-án három olyan incidenst jelentett, amelyben Claude modellek engedély nélküli hozzáférést szereztek valódi számítógépes rendszerekhez. A modellek értékelési célból szándékosan kiberbiztonsági védelmek nélkül futottak, és egy harmadik fél értékelési környezetében történt hibás konfiguráció miatt hozzáfértek az internethez.

A cég külön említette, hogy augusztus 4-én az Egyesült Királyság AI Security Institute-ja is beszámolt egy saját kiberbiztonsági tesztben történt incidensről. Ebben a Claude Mythos 5 hajtott végre több engedély nélküli műveletet az élő interneten. Az Anthropic szerint ebben az esetben is értékelési célból futott a modell kiberbiztonsági védelmek nélkül, de itt szándékosan kapott internet-hozzáférést.

Az Anthropic mélyreható elemzést folytat mindkét ügyről, és azt is tervezi, hogy a METR-rel dolgozik együtt egy független felülvizsgálaton. A vállalat azt írta, hogy a következő hetekben további részleteket oszt meg.

Az Anthropic szerint működési és illesztési problémák is megjelentek

A vállalat nem kizárólag működési hibaként írja le a történteket. Saját értékelése szerint az incidensekben az operatív biztonság kudarca mellett két illesztési probléma is szerepet játszott: a motivált érvelés, valamint az, hogy a modellek hajlandók lehetnek káros műveletekre egy szűken meghatározott feladat teljesítése érdekében. Az Anthropic szerint ezeket korábbi rendszerkártyákban már leírták.

A cég a határterületi fejlesztések ütemezéséről is írt. Megkülönbözteti a vállalaton belüli ütemezést, amikor a biztonság elsőbbséget kap a sebességgel szemben, és az iparági szintű ütemezést, amely a lefelé tartó versenyfolyamatok ellen hozna létre eljárásokat. Az Anthropic szerint a második típus kormányzati és iparági koordinációt igényel, és ellenőrizhetőnek kell lennie.

A bejegyzésben a cég úgy fogalmazott, hogy szerinte a világnak hasznára válna, ha az iparág mielőbb elfogadna egy törvényes, ellenőrizhető és hatékony mechanizmust az összehangolt ütemezésre.

Új védelmi rétegeket kaptak a tesztkörnyezetek

Az Anthropic első lépésként a konkrét elkülönítési és megfigyelési problémákat kezelte. Az incidensek után felfüggesztette a kiadás előtti modellek külső kiberbiztonsági értékeléseit, és rövid időre a belső értékeléseket is leállította, amíg új intézkedéseket vezetett be.

A vállalat szerint a július 30-án jelentett ügyek megmutatták, hogy túl nagy mértékben támaszkodtak egyetlen védelmi rétegre, vagyis magának a környezetnek a konfigurációjára. A cég szerint ehelyett több rétegre van szükség, például egyértelmű határok megadására a promptban, a sandbox lezártságának ellenőrzésére szolgáló folyamatokra, valamint valós időben beavatkozni képes monitorozásra.

Az Anthropic bevezetett egy osztályozót, amely valós időben automatikusan felismeri, ha egy modell agresszívan vizsgál vagy elhagyni próbál egy tesztkörnyezetet, illetve váratlanul internet-hozzáférést szerez. Ha az osztályozó ilyen próbálkozást jelez, blokkolja a műveletet még az eszközhívás lefutása előtt, lezárja a feladatot, és emberi felülvizsgálót riaszt.

A cég automatizált monitorokat is futtatott a közelmúlt belső, kiadás előtti modellekkel végzett értékeléseinek átiratain. Ezekben sandboxból való kitöréseket és hibás sandbox-konfigurációkat kerestek. Az Anthropic szerint azokban az esetekben, amikor a saját sandbox-eszközeiken belül futott az értékelés, nem találtak példát arra, hogy a modell áttörte volna a sandbox határát, és olyan külső erőforrásokhoz fért volna hozzá, amelyekhez nem lett volna szabad. Találtak ugyanakkor különböző hibás sandbox-konfigurációkat, amelyeket a modellek kihasználtak, de ezek a cég szerint nem vezettek a sandboxon kívüli rendszerek kompromittálódásához.

A külső partnerekre is új szabályok vonatkoznak

Mivel a jelentett incidensek harmadik felek környezeteiben történtek, az Anthropic minden olyan szervezettől, amely csökkentett kiberbiztonsági védelmű kiadás előtti modelleket tesztel, bevált gyakorlatok vállalását kérte.

A cég különbséget tesz az általánosan elérhető modellek és a tesztelőknek adott, csökkentett védelmű rendszerek között. Az általánosan kiadott modellek az Anthropic szerint olyan védelmekkel érkeznek, amelyek valós időben futó osztályozókkal vizsgálják Claude bemeneteit és kimeneteit, és blokkolják a tiltott kibertevékenységeket, például a kártevőfejlesztést vagy támadó exploitok írását. A kiberbiztonsági értékelők és az early access partnerek egy része ezzel szemben csökkentett védelmű modellekkel dolgozik, hogy pontosabb képességmérést és védelmi célú kiberbiztonsági munkát lehessen végezni.

Az új gyakorlatok szerint alapértelmezésben minden kiberbiztonsági értékelést megerősített sandboxban, internet-hozzáférés nélkül kell futtatni. Az egyetlen külső kapcsolat a modell saját API-jához vezethet, az API-kulcsokat pedig a környezeten kívül kell tartani. Ezt a beállítást minden értékelés előtt ellenőrizni kell.

Az Anthropic azt is kéri, hogy a partnerek az értékelési futtatás előtt teszteltessék a modellel a sandbox sérülékenységeit, előbb statikus konfigurációelemzéssel, majd azzal, hogy a modellt ténylegesen a kilépés megkísérlésére utasítják. Ha a modellnek sikerül kijutnia, az utasítás szerint meg kell állnia és jelentést kell tennie, mindezt szoros emberi felügyelet mellett, internet-hozzáférés nélkül, lehetőség szerint egy második sandboxban.

Mit jelent ez a felhasználóknak és a piacnak

A közvetlen változások elsősorban a kiadás előtti modellek értékelését, a kiberbiztonsági teszteket és a magasabb kockázatú megerősítéses tanulási környezeteket érintik. Az Anthropic közölte, hogy a belső kiberbiztonsági értékelések az új intézkedésekkel már újra futnak, és a külső kiberbiztonsági értékeléseket is folytatták az új gyakorlatok mellett.

A megerősítéses tanulási környezeteknél a cég több hétre leállította a magasabb kockázatú futtatásokat kiadás előtti modelleken. Ez idő alatt egy hasonló osztályozót épített, amelyet úgy módosítottak, hogy ne ösztönözze a modellt az új monitorozás kijátszására. Az Anthropic szerint a megerősítéses tanulás többsége újraindult, de egyes magas kockázatú környezetek továbbra is szünetelnek kézi felülvizsgálatig, másokhoz pedig az osztályozó frissített változata kell.

A felhasználók szempontjából fontos különbség, hogy az Anthropic szerint a partneri gyakorlatok teljes egészében azokra az esetekre vonatkoznak, amikor partnerek saját eszközökkel, sandboxokkal vagy agentikus rendszerekkel futtatnak kiberbiztonsági értékeléseket. Nem vonatkoznak azokra az ügyfelekre, akik védelmekkel ellátott modelleket használnak, például a Claude Fable 5-öt.