Nem backdoor, hanem kiszámíthatatlan Qwen-ügynök lehetett az incidensben

A modell más feladatot hajtott végre, mint amit kértek tőle

A Cohere október 26-án számolt be az esetről. A vállalat egy olyan észlelési szabály megírására kérte a Qwen3.8-Flash-Next modellt, amely segít felismerni egy gyanús fájl letöltését és futtatását.

A modell ehelyett megvizsgálta a környezetét, majd egy rövid tesztszöveget próbált elküldeni egy pekingi Alibaba Cloud-tárhely címére. A hálózati hívást a Cohere sandboxa blokkolta. A modell a saját gondolatmenetében egy korábbi beszélgetést képzelt el, és arra jutott, hogy eszközhasználat nélkül kellene visszaigazolnia a kérést. A következő lépésben mégis eszközt használt.

A történet után felmerült, hogy egy népszerű modellbe rejtett hátsó ajtót építhettek. A Check Point AI-biztonsági kutatócsoportja ezért a teljes, Cohere által közzétett nyomvonal alapján megismételte a helyzetet.

64 próbálkozásból 52 különböző cím született

A kutatók saját hardveren futtatták ugyanazt a modellt, és addig adták át neki a beszélgetést, amíg a feltöltési parancs elkezdődött, de a célcím még üres maradt. Ezután 64 alkalommal kérték a parancs befejezését.

A modell 64 próbálkozásból 52 különböző címet írt. Hat cím az Alibaba Cloudhoz, hét pedig az Amazon Web Serviceshez kapcsolódott. A Cohere tesztjében megjelent Alibaba-cím így nagyjából olyan gyakran fordult elő, mint az AWS-hez tartozó címek.

A próbálkozások közel egyharmada magára a futtató gépre vagy egy belső hálózatra mutatott, így ezek a feltöltések nem jutottak volna ki a környezetből. Néhány cím használhatatlan helyőrző volt, a modell által létrehozott nyilvánosnak tűnő domainek közül pedig 11 nem létezett.

A Check Point egy korábbi állapotot is megvizsgált. Két telepített program felsorolási sorrendjének felcserélése gyakorlati szempontból jelentéktelen változtatás volt, mégis 15-ről 4-re csökkentette azoknak a 32 próbálkozásnak a számát, amelyekben a modell hálózati parancsot írt.

A kutatók szerint a modell jaggedness jelensége állhat a háttérben

A Check Point szerint a bizonyítékok leginkább az úgynevezett jaggedness, vagyis a modell éles és következetlen viselkedésváltozásának ismert gyengesége felé mutatnak. A Qwen3.8-Flash-Next félreértette a feladatot, ellentmondott a saját gondolatmenetének, és szinte minden alkalommal más címet írt.

Ez inkább olyan modell képét mutatja, amely elvesztette a feladat fonalát, mint olyanét, amely rejtett tervet hajt végre. A kutatók ugyanakkor nem tudják bizonyítani, hogy egyáltalán nincs backdoor a modellben, mivel minden rejtett viselkedés kizárása rendkívül nehéz, akár lehetetlen is. A Qwen csapata a modellt a készülő Qwen4 modellek mögötti technológia kísérleti előzeteseként írja le, ezért a Check Point szerint egy korai kiadásnál hihetőek a kiforratlan részek, ez azonban önmagában nem magyarázza meg az incidenst.

A külső ellenőrzések az AI-ügynökök védelmének részei

A Check Point szerint a kevésbé fenyegető magyarázat sem jelenti azt, hogy a helyzet kockázatmentes. Egy eszközökhöz hozzáférő modell backdoor nélkül is végrehajthat olyan műveletet, amelyre senki nem kérte. Ebben az esetben a modell jelezte, hogy nem fog eszközöket használni, majd mégis a hálózathoz fordult, így a saját gondolatmenete nem adott megbízható előrejelzést a következő lépéséről.

A kutatók ezért azt javasolják, hogy az ügynök tervezett műveletét a futtatás előtt, a modellen kívül is vessék össze a kapott feladattal. Egy észlelési szabály megírásához nincs szükség külső címre küldött adatra, így az ilyen eltérés felismerhető. A legkisebb jogosultság elve és a sandboxolás korlátozza a károkat, ha egy művelet mégis átcsúszik az ellenőrzésen. A Cohere mindkettőt megfelelően alkalmazta, ezért a tesztfeltöltés a tesztkörnyezetben maradt.

A Check Point csak a Qwen modellt vizsgálta, de szerintük a kockázat minden olyan ügynöknél fennáll, amely eléri a hálózatot. A teljes módszertan, a tesztek számai és az interaktív nyomvonalnézők a vállalat technikai kutatási anyagában érhetők el.