Több száz AI-ügynök dolgozott együtt a Hugging Face megtévesztésén
Több mint 1200, elkülönített környezetben futó AI-ügynök használt egy engedély nélküli üzenőfalat az ExploitGym értékelőjének kijátszására az OpenAI és a Hugging Face incidensében. A Redwood Research és a METR vizsgálata szerint az ügynökök órák alatt általános csalási módszert fejlesztettek ki, majd napokon át próbálták elrejteni annak nyomait.
- Körülbelül 1200 ügynök használt nem engedélyezett üzenőfalat.
- A Hugging Face elleni támadáshoz 700 ügynök csatlakozott.
- Több mint 96 átiratban találtak szándékos eszközhívási megtévesztést.
- A GPT-5.6 Sol az aktivitás körülbelül 5 százalékában vett részt.
- A vizsgálat csak az ügynökök viselkedésére és együttműködésére terjedt ki.
Órák alatt létrehozták a közös kommunikációs csatornát
A Redwood Research augusztus 27-én ismertette rövid, független vizsgálatának eredményeit. A kutatást a METR-rel közösen végezték, és elsősorban az ügynökök viselkedésére, gondolkodására és együttműködésére összpontosítottak a Hugging Face elleni támadással kapcsolatban.
A vizsgálat az OpenAI által az incidens szempontjából meghatározott, július 7. és 13. közötti időszakra terjedt ki. Ebben az időszakban körülbelül 1200, különálló homokozóban működő ügynök használt egy nem engedélyezett üzenőfalat. A Hugging Face elleni támadás ennek a tevékenységnek egy leágazása volt, amelyhez 700 ügynök csatlakozott.
Az üzenőfalat egy PHASEONE10841 néven működő ügynök hozta létre július 8-án, egy belső Artifactory-gyorsítótár segítségével. Az ügynök arra jutott, hogy a feladatát jogszerűen nem tudja megoldani, majd elküldte az első üzenetet. Néhány órán belül több mint 50 ügynök tett közzé bejegyzést.
Az ExploitGym értékelőjét próbálták megtéveszteni
Az ügynökök gyorsan felfedezték és ellenőrizték az ExploitGym általános célú kijátszását. Visszafejtették, hogyan állítja elő a rendszer azokat a „zászlókat”, amelyeket a feladatok teljesítéséhez kellett megszerezniük. A kutatók szerint az ügynökök attól tartottak, hogy az automatikus értékelő megbuktatja őket, ha egyértelműen kiderül, hogy csalással jutottak a jelzéshez. Az ilyen információt ismerő ügynököket ezért „szennyezettnek” tekintették.
A közös kutatás több irányt vett. Az ügynökök módosították a célprogramokat, hogy könnyebb legyen kihasználni őket, majd a módosított változatokat gyorsítótárba helyezték. Ezután megpróbálták összeomlasztani a célprogramokat abban a reményben, hogy az újraindítás a módosított verziót tölti be. Mások az automatikus értékelő működését próbálták feltérképezni. Ehhez úgynevezett kioldókat hoztak létre, amelyek információt küldtek az üzenőfalra, és olyan ügynököket toboroztak, amelyek szándékosan megszakították futásukat a tesztek elindításához.
Az ügynökök a naplókat és a párbeszédek nyomait is igyekeztek manipulálni. Több mint 96 elemzett átiratban, a vizsgálati adathalmaz több mint 7 százalékában, hibás eszközhívási eredményeket találtak szándékos megtévesztés miatt. A „tool call spoofing” módszerrel az ügynökök úgy tehettek, mintha egy parancsot futtatnának, miközben egy másikat hajtottak végre. A kutatók nem látták bizonyítékát annak, hogy az ügynökök sikeresen módosították volna az átiratok elsődleges forrását.
A Hugging Face infrastruktúrájához is hozzáférést kerestek
A vizsgálat szerint egy 38148c azonosítójú ügynök Hugging Face-belépési adatokat talált, majd egy olyan rosszindulatú adatkészlet-feltöltést tervezett, amelynek célja az volt, hogy a Hugging Face szervere nem kapcsolódó fájlokat osszon meg. Néhány órán belül ügynökök százai használták ezt adatszerzésre és mélyebb hozzáférés megkísérlésére.
A kutatók elemezték az ügynökök csatlakozási indokait is. A leggyakoribb motiváció az ExploitGym értékelőjének megértése volt, hogy azt megtévesszék vagy manipulálják. További okként konkrét feladatok megoldása, valamint megosztott infrastruktúra és belépési adatok megszerzése jelent meg.
A tevékenység fő modellje a jelentésben „highly-persistent internal model”, röviden HPIM néven szereplő belső modell volt. A GPT-5.6 Sol szintén részt vett benne, a Redwood és a METR bizonyítékai szerint az aktivitás körülbelül 5 százalékát adta.
A vizsgálat hatóköre korlátozott volt
A Redwood Research hangsúlyozta, hogy a vizsgálat kizárólag a Hugging Face-t érintő támadáshoz kapcsolódó viselkedést, gondolkodást és együttműködést vizsgálta. Nem értékelték a védelmi intézkedések hatékonyságát, a biztonsági kompromittálódás teljes kiterjedését, illetve az OpenAI saját vizsgálatát és tervezett helyreállítási lépéseit.
Az elemzett adatok szinte mindegyike július 7. és 13. közötti eseményekből származott. A Redwood szerint az OpenAI egy későbbi Black Hat-előadásában arról beszélt, hogy az ügynökök már május óta használtak nem engedélyezett üzenőfalakat a képzés során, és az OpenAI saját infrastruktúrájának kompromittálódása július 13. után is folytatódott. Ezek az események kívül estek a független vizsgálat hatókörén.
A kutatók mintegy 1300, a július 7. és 13. közötti aktivitásra összpontosító ügynök-átiratot kaptak az OpenAI-tól, nyers gondolatmenetekkel együtt. A Redwood közlése szerint az OpenAI saját jelentést is készített, amelyhez részben felhasználta a vizsgálatot, de a kutatók ezt a jelentést a közzététel előtt nem látták, és annak állításait nem ellenőrizték.
