Rejtett reklámot találtak egy OpenAI Codexet támadó csomagban

A reklám az ügynök utasításaiba került

A Check Point Research, röviden CPR, a jelenséget „prompt adware”-nek nevezte el. A kifejezés olyan módosításokra utal, amelyek természetes nyelvű utasításokon, globális promptokon, Skills összetevőkön vagy konfigurációs fájlokon keresztül tartósan befolyásolják egy AI-ügynök későbbi működését.

A hagyományos reklámprogramok szoftveres megoldásokkal jelenítenek meg hirdetéseket vagy befolyásolják, mit lát a felhasználó. A CPR által vizsgált módszer ehelyett az ügynök viselkedését meghatározó utasításokat változtatja meg. A Haiou arra készült, hogy több promptinjekciós technikával megkerülje az OpenAI Codex biztonsági korlátozásait, a kutatók azonban azt is felfedezték, hogy a csomag módosítja a Codex globális ügynöki utasításait.

Ennek eredményeként egy gyakori üdvözlés is kiválthatott egy, egy konkrét külső nagy nyelvi modell-átjárót népszerűsítő hirdetést. A Check Point szerint magát az átjárót nem tekintik ismerten rosszindulatúnak. A kockázatot az adja, hogy egy külső komponens tartósan módosíthatja az AI-ügynök által megbízhatónak tekintett utasításokat.

A vizsgálat túlmutatott a jailbreaken

A CPR kutatói nem kizárólag azt vizsgálták, hogy a Haiou sikeresen megkerüli-e a Codex védelmét. A csomag által végrehajtott változtatásokat is elemezték, így találták meg a reklámozási viselkedést. A hirdetés természetes nyelvű utasításokon és konfiguráción keresztül jelent meg, nem hagyományos, futtatható kódot tartalmazó payloadként.

A Check Point szerint a fejlesztő Claude Code-dal is kísérletezett. A CPR tesztjeiben a Claude Code felismerte a megkísérelt promptinjekciót, és nem követte a beillesztett utasítást. A kutatás alapján a tartós utasításmódosítás későbbi válaszokat befolyásolhat, és elvileg ajánlások terelésére, szolgáltatások népszerűsítésére vagy technikai tanácsok elfogultabbá tételére is használható a felhasználó tudta nélkül.

Az AI-ellátási lánc láthatósága is kérdésessé válik

A CPR nem sorolja a Haiou-t AI-ellátási lánc elleni támadásként. A kutatás szerint azonban hasonló mechanizmusok későbbi ellátásilánc-támadások részévé válhatnak, ha a felhasználók olyan külső Skills összetevőket vagy konfigurációkat bíznak meg, amelyek tudtuk nélkül további műveleteket hajtanak végre.

A kockázat különösen akkor jelentős, ha az AI-ügynök saját kódhoz, belső információkhoz vagy más érzékeny üzleti adatokhoz fér hozzá. A Check Point nem figyelte meg, hogy a Haiou vállalati információkat lopott volna. A kutatók azt emelik ki, hogy rosszindulatú felhasználás esetén hasonló technika bizalmas adatok kiszivárogtatására is alkalmas lehet.

A CPR különálló akadémiai kutatásokra is hivatkozik, amelyek szerint más LLM-átjárók felhasználói adatokat fogtak el, felhőhozzáférési kulcsokat tettek közzé, illetve egyes esetekben eszközhívásokat illesztettek be. A vállalatoknak ezért a modell és a szolgáltató mellett az utasításokat, Skills összetevőket, átjárókat és konfigurációkat is vizsgálniuk kell.

Mit tehetnek a szervezetek?

A Check Point szerint a vállalatoknak át kell látniuk, milyen AI-ügynökök és külső komponensek működnek a környezetükben. Ennek része lehet a használt promptok, Skills összetevők és konfigurációk felülvizsgálata, a jóváhagyott külső AI-eszközök és átjárók meghatározása, valamint a megbízható ügynöki utasítások tartós módosításainak figyelése.

A hozzáféréseket is az AI-kockázat részének kell tekinteni. A szervezeteknek azt kell mérlegelniük, hogy egy ügynök milyen kódhoz, adatokhoz és üzleti rendszerekhez fér hozzá, illetve mi befolyásolhatja a műveleteit. A CPR szerint a Haiou korai példát ad arra, hogy az AI-ügynököket körülvevő utasítások és külső komponensek is a bizalmi lánc részévé válnak.