A Goodfire feltérképezte a DeepSeek R1 gondolkodási folyamatait

Két eszközzel vizsgálták az R1 működését

A Goodfire április 15-én tette közzé kutatását a DeepSeek R1 mechanisztikus értelmezhetőségéről. A terület célja, hogy a neurális hálózatok információfeldolgozását belső komponenseik visszafejtésével tegye érthetőbbé.

A vállalat két ritka autoenkódert, angolul sparse autoencoder, vagyis SAE-t készített. Az egyik az R1 általános gondolkodási képességeit vizsgáló, egyedi adathalmazon tanult, a másik pedig az OpenR1-Math matematikai gondolkodási adathalmazt használta. A Goodfire ezeket az első nyilvános értelmező modellekként mutatja be, amelyeket valódi reasoning modellen és ekkora méretű modellen tanítottak.

Az R1 671 milliárd paraméteres, nem desztillált változatának futtatása mérnöki szempontból is komoly feladat. A kutatók saját következtetési motorjukat és értelmezőmodell-tanítási infrastruktúrájukat használták. A projekt részeként a tanításhoz használt egyedi gondolkodási adathalmazt is nyílt forrásúvá tették.

A visszalépés és a gondolkodás is vizsgálható

Az SAE-k több olyan jellemzőt tanultak meg, amelyek a reasoning modellek működéséhez kapcsolódnak, például a korábbi gondolatmenet elhagyását és egy másik megközelítés kipróbálását, vagyis a visszalépést. A kutatók az egyes jellemzőkhöz tartozó legerősebben aktiválódó példákat SQL-adatbázisokban is közzétették, hogy az R1 nagy mérete miatt az önálló kutatók számára könnyebben használható legyen az anyag.

A Goodfire két kezdeti megfigyelést tett a modell irányításával kapcsolatban. Az R1 válaszának elején végzett beavatkozás gyakran nem működött megfelelően. A kutatók szerint hatékonyabban tudták módosítani a viselkedését, miután a modell elkezdte a válaszát egy olyan fordulattal, mint az „Okay, so the user has asked a question about…”.

A vállalat szerint az angol nyelvű gondolkodási nyomok több mint 95 százaléka „Okay,” kezdetű. Ez arra utalhat, hogy az R1 ezeket a gyakori fordulatokat inkább a feladat részének, mint a tényleges válasz kezdetének kezeli. A kutatók eltérő jellemzőeloszlást figyeltek meg a promptban, a gondolkodási nyomban és az asszisztens válaszában is.

A túlzott beavatkozás visszaállíthatja az eredeti viselkedést

A másik megfigyelés szerint egyes jellemzők túlzott erősítése nem fokozza korlátlanul a kívánt változást. A kutatók például azt látták, hogy a beavatkozás egy pontján az R1 visszatérhet az eredeti működéséhez. Csak még erősebb módosítás után válik a kimenet összefüggéstelenné.

A Goodfire munkahipotézise szerint a modell érzékeli, amikor a belső aktivációi túlságosan eltérnek a megszokottól, majd leáll és korrigálja a folyamatot. A kutatók ezt azzal hozzák kapcsolatba, hogy az R1 nehéz feladatoknál gyakran visszalép, ha egy gondolatmenet nem vezet eredményre.

A jelenség az értelmezhetőség és a biztonság szempontjából is fontos lehet. A Goodfire szerint a viselkedés célzott módosítása, például a tisztességtelen válaszok visszaszorítása, összetettebb módszereket igényelhet, ha a modellek képesek kikerülni a beavatkozásokat. A kutatók hangsúlyozzák, hogy további vizsgálatok szükségesek, és nyílt forrású eszközeikkel mások eredményeire is kíváncsiak.

A mechanisztikus értelmezhetőség a vállalat szerint segíthet a modellek képességeinek és korlátainak feltárásában, a váratlan hibák felismerésében és javításában, valamint célzottabb biztonsági beavatkozások kidolgozásában. Az SAE-k önmagukban nem oldják meg az értelmezhetőség teljes problémáját, de a Goodfire szerint fontos eszközt jelentenek a reasoning modellek belső működésének kutatásában.