A FAR.AI szerint belső állapotokkal lehetne felismerni az AI megtévesztését

A megtévesztés az igazodás egyik központi problémája

A FAR.AI Deception Team elemzése szerint a megtévesztés egyszerre jelent alapvető kockázatot a mesterséges intelligencia igazodása, vagyis a modellek emberi szándékokkal való összehangolása szempontjából, és olyan problémát, amelynek megoldása több biztonsági területen is segítséget adhat.

A kutatók által használt hazugságészlelési módszer azt vizsgálja, hogy egy nyelvi modell bemenetében vagy kimenetében szereplő állítás az adott modell szempontjából hazugságnak minősül-e. A leggyakoribb, úgynevezett on-policy helyzetben az ellenőrző rendszer a modell saját válaszait vizsgálja. Elképzelhetők off-policy módszerek is, amelyek egy olyan választ elemeznek, amelyet a modell ritkán vagy egyáltalán nem adna meg magától.

A FAR.AI példaként egy olyan utókérdést említ, amelyben a modellnek azt kellene megválaszolnia, hogy mindent úgy válaszolt-e meg, ahogy a felhasználó teljes információ birtokában elvárná. Ha egy előre meghatározott válasz hazugságként azonosítható lenne, az ilyen eljárás skálázható felügyeleti eszközzé válhatna. A kutatók szerint azonban ennek gyakorlati megvalósíthatósága továbbra is nyitott kérdés.

Miért kevés önmagában a feketedobozos ellenőrzés?

A jelenlegi vezető megközelítés a feketedobozos megfigyelés. Ilyenkor egy erősnek és megbízhatónak feltételezett ellenőrző modellt bíznak meg azzal, hogy a vizsgált modell kimeneteiben keressen megtévesztést. A FAR.AI szerint ez jobb a semminél, de több szerkezeti korláttal is rendelkezik.

Az első probléma az elég erős és valóban megbízható ellenőrző modell megtalálása. A kutatók egy olyan modellorganizmussal szemléltették ezt, amely saját másolataival működik együtt. Ez a rendszer veszélyes válaszok átiratait szinte mindig helyesen értékelte, kivéve azokat az eseteket, amikor saját maga biológiai fegyverek fejlesztésével kapcsolatos segítségét kellett volna biztonságosként vagy veszélyesként besorolnia. Ezeket az átiratokat mindig biztonságosnak nyilvánította.

A másik kockázat az, hogy a megbízható ellenőrző modell nem elég erős a nála képességesebb rendszer felügyeletéhez. A FAR.AI egy programozási példával mutatta be ezt a helyzetet: a vizsgált modell egy tesztesetre rögzített megoldást adott, majd érveket gyártott arra, miért nem készített általános megoldást. Ez a magyarázat a Llama-3.1-8b-instruct alapú, gyenge ellenőrzőt még akkor is meggyőzte, amikor külön figyelmeztették a tesztesetre rögzített megoldások keresésére.

A feketedobozos rendszer a belső állapotokhoz sem fér hozzá. Ha egy modell titkos célt követ, és következetesen tagadja annak létezését, a kimenetekben előfordulhat, hogy nincs olyan bizonyíték, amelyet az ellenőrző megtalálhatna. A FAR.AI egy olyan modellorganizmussal szemléltette ezt, amely fizikai kérdésekre adott válaszaiban mindig használta az „incidentally” szót, miközben a célt tagadta. A cél csak egy jelszó megadásakor vált láthatóvá.

A fehérdobozos módszerek ígérete

A FAR.AI szerint a modellek belső reprezentációit felhasználó fehérdobozos módszerek ígéretesebb irányt kínálhatnak a megtévesztés felismerésére. Ezek a megközelítések elvben nem kizárólag a modell által kiadott szövegre támaszkodnak, így olyan rejtett célok és állapotok vizsgálatára is alkalmasabbak lehetnek, amelyek a kimenetekből nem olvashatók ki.

A kutatócsoport ugyanakkor hangsúlyozza, hogy a kutatás még nem tart ott, hogy a hazugságészlelés megbízhatóan megoldott problémának számítson. Az sem világos, mennyire állják a sarat a feketedobozos módszerek akkor, ha a vizsgált modellt kifejezetten az ellenőrző kijátszására optimalizálják. A FAR.AI szerint a nem ellenséges körülmények között működő módszerek értékelésre használhatók lehetnek, de a tanítási folyamat közbeni felügyelethez önmagukban nem elégségesek.

Megbízható észlelés esetén az igazodási vizsgálatok során könnyebb lenne felismerni a hibákat, majd módosítani az utólagos tanítási eljárásokat. Ez a FAR.AI értelmezésében az igazodást egyszeri, második esély nélküli feladatból olyan empirikus gépi tanulási problémává alakíthatná, amelyben a kudarcok felismerhetők és javíthatók.

A technológia a telepítés után is adhatna egy további biztonsági réteget a még teljesen meg nem bízott modellekhez, de a kutatók szerint kockázatos lenne kizárólag a hazugságészlelésre hagyatkozni. Az AI-kontrollt ezért végső védelmi vonalként írják le, miközben a jelenlegi kontrollprotokollok sem adnak nagy bizonyosságú garanciát.