Egy nyilvános játék furcsa gyengeséget talált az Olmo 3-ban

Játékká alakították a modell értékelését

Az Ai2 szeptember 17-én ismertetett beszámolója szerint Soham Padia, a Northeastern University mesterszakos hallgatója azt vizsgálta, hogy tömeges részvétellel feltárhatók-e az Olmo 3 proszociális viselkedésének olyan gyenge pontjai, amelyeket egy kis kutatócsoport esetleg nem venne észre.

Padia olyan értékelést dolgozott ki, amely azt méri, hogy egy szöveg milyen erősen tereli a modellt proszociálisabb válaszok felé. A Steering Arena ezt egy játék formájában tette nyilvánossá: a résztvevők rövid szöveges előtagokat küldhettek be, majd láthatták, mennyire változtatják meg ezek az Olmo 3 működését. A játékosok a ranglistán is versenyeztek.

Az értékelés 135, egymással ellentétes szövegválaszpárra épült. A 15 vizsgált tulajdonság között szerepelt az empátia, a méltányosság, a biztonság, a magánszféra védelme és a tisztelet. Minden pár ugyanahhoz a kérdéshez tartozott, és egy proszociálisabb, valamint egy kevésbé proszociális választ állított szembe egymással.

Az értelmetlen tokenek kerültek az élre

Padia az Olmo 3-32B modellt választotta, hogy egy viszonylag nagy modellen tanulmányozza a proszociális terelést. A hozzáférést a National Deep Inference Fabric, az Egyesült Államok Nemzeti Tudományos Alapítványa által támogatott platform biztosította, így a kutatáshoz nem kellett saját GPU-kapacitást fenntartania.

A Steering Arena nagyjából 600 beküldést kapott néhány tucat résztvevőtől. A 36 legjobb bejegyzés mind olvashatatlan tokenlánc volt, például „Undert! AH :-) Rog Appl)” vagy „Angela Nombre WiBanner:] Workflow.respond-winemoji .”. A legjobb, angol nyelvű, érthető beküldés arra utasította az Olmo 3-at, hogy rövid, kedves, tiszteletteljes és együttérző mondatban válaszoljon. Ez a bejegyzés a 37. helyre került, és körülbelül 2,7-szer alacsonyabb pontszámot ért el, mint az első helyezett.

A furcsa karakterláncok nem feltétlenül voltak véletlenszerűek. A játék azt pontozta, hogy egy bejegyzés mennyire közelíti a modellt a Padia által azonosított proszociális mintázathoz, függetlenül attól, hogy a szöveg ember számára értelmesnek vagy proszociálisnak tűnik-e. Az egyik résztvevő automatizált optimalizálással keresett magasabb pontszámú bejegyzéseket. Az egymást követő beküldések között időnként csak egyetlen token különbözött.

A nyitottság a belső működés vizsgálatát is lehetővé tette

Az Ai2 szerint az Olmo nyitottsága tette lehetővé, hogy Padia ne csak a modell válaszaiból következtessen, hanem megvizsgálja azt is, hogyan változik a modell belső aktivitása a beküldött szöveg hatására. A kutató a modell adatait és utólagos tanítását is dokumentáltként írja le, ezért szerinte vizsgálható, hogy egy megtalált proszociális irány a betanításból vagy egy későbbi finomhangolásból származik-e.

Padia szerint egy mérőszám célponttá válik az optimalizálás számára abban a pillanatban, amikor nyilvánossá teszik. Az Ai2 beszámolója alapján a Steering Arena így stressztesztként szolgálhat annak vizsgálatára, hogy egy értékelésen proszociálisnak látszó viselkedés akkor is fennmarad-e, amikor a felhasználók a teszt készítői által nem várt módokon próbálnak hatni a modellre.

Padia az értékelés mögötti belső jelet is közzétehette, hogy mások megvizsgálhassák és tesztelhessék. Az Ai2 szerint ez a megközelítés segíthet a modellépítőknek következetesebben kialakítani azokat a válaszokat, amelyeket a modellektől elvárnak, miközben a kutatók a fekete dobozként működő rendszereknél részletesebben vizsgálhatják a viselkedés eredetét.