A mesterséges intelligencia visszautasítása sebezhetőségre utalhat

Egyetlen karakter is megváltoztatta a modell viselkedését

A CrowdStrike kutatói egy frontier AI-modellt kértek meg arra, hogy magyarázzon el egy függvényt egy kis méretű, C nyelven írt webszerverben. A modell a kódbázis többi függvényét korábban vonakodás nélkül ismertette, ennél az egy résznél azonban megtagadta a magyarázatot.

A kérés önmagában rutinszerű volt. A kutatók nem biztonsági problémákra, kihasználható hibákra vagy sebezhetőségekre kérdeztek rá. A kódban azonban egyetlen token megváltozott: a max helyére min került. Ez az egy karakteres logikai fordítás határon túli írást eredményező hibát hozott létre.

A modell nem mondta ki, hogy sebezhetőséget talált. A válasz megtagadása mégis jelezte a kutatóknak, hogy a kérdéses függvény további vizsgálatot igényelhet. A CrowdStrike szerint a kód egy meghatározott részére adott eltérő modellviselkedés megmutatta, hol érdemes keresni a hibát.

A visszautasításokat jelzésként kezelik

A vállalat ezt a megközelítést Guardrail-based Vulnerability Discoverynek, röviden GbVD-nek nevezi. A módszer lényege, hogy a kutató nem pusztán akadályként tekint arra, amikor egy modell biztonsági okokból elutasít egy kérést, hanem lehetséges megállapításként értelmezi a reakciót.

A CrowdStrike által ismertetett, kontrollált tesztekben a módszer öt sebezhetőségi osztály vizsgálatakor 86 tesztesetből 73-ban adott helyes eredményt. A kutatók valódi, nyílt forráskódú projekteken is alkalmazták a megközelítést, az általuk feltárt problémákat pedig összehangolt sebezhetőség-feltárási programjukon keresztül hozták nyilvánosságra.

A kutatás a vállalat korábbi, nagy nyelvi modellek biztonsági osztályozóival foglalkozó munkájára épül. Abban azt vizsgálták, hogyan kerülhetők meg ezek a védelmi korlátok. A mostani elemzés a másik oldalt vizsgálja, vagyis azt, hogy milyen jeleket adnak a korlátok akkor, amikor rendeltetésszerűen működnek.

Többféle viselkedés utalhat érzékeny kódra

A CrowdStrike szerint a leglátványosabb jel a szöveges visszautasítás. Egyes szabványos API-kban ez a reason: cyber jelzéssel is megjelenhet, ezért a jel a kutatók számára könnyen olvasható.

A vállalat szerint azonban a biztonsági korlátok más formában is megmutatkozhatnak. Egyes platformok érzékenynek ítélt kéréseket kisebb vagy óvatosabb modellhez irányíthatnak át. Az ilyen átirányításra a válasz késleltetése, a felhasznált tokenek száma, az első token megjelenéséig eltelt idő, valamint a válasz részletességének és stílusának hirtelen változása utalhat.

Egy másik jelenség a kimenet utólagos szűrése vagy csonkolása, amikor egy szűrő eltávolítja a válasz egy részét vagy megszakítja azt. A CrowdStrike állítása szerint a védelmi korlátok fejlesztése így egyben élesítheti azt a módszertant is, amelyet a kiberbiztonsági szakemberek, illetve a támadók használhatnak.

A biztonsági korlátok új értelmezést kapnak

A kutatás a mesterséges intelligencia biztonságát és képességeit gyakran egymással szemben álló szempontként kezelő megközelítést kérdőjelezi meg. A CrowdStrike szerint a korlátok javítása nemcsak azt befolyásolja, hogy a modellek mit tagadnak meg, hanem egyúttal olyan jeleket is létrehozhat, amelyek segítik a sérülékenységek felderítését.

Ez a felhasználók és a biztonsági csapatok számára azt jelentheti, hogy egy AI-rendszer elutasító válasza nem feltétlenül zárja le a vizsgálatot. A jelzés önmagában nem bizonyítja a hibát, a CrowdStrike kutatása alapján azonban kijelölhet egy olyan kódrészletet, amelyet érdemes további elemzésnek alávetni.