A Google „alvásfázissal” tanítaná folyamatosan az LLM-eket

Az aktív és az alvó szakasz

A Google Research október 27-én ismertette a sleep framework nevű megközelítést. A kutatók szerint a jelenlegi nagy nyelvi modellek a bevezetésük után jellemzően statikusak maradnak, és egy rögzített tudáskorlátozással működnek. Emiatt nehezen alkalmazkodnak az új információkhoz és nem tudnak tartós képességeket kialakítani.

Az új keretrendszer két állapotot különít el. Az aktív, vagyis wake szakaszban a modell fogadja és feldolgozza a bemeneteket, az ideiglenes információkat pedig gyors, rövid távú memóriakomponensekben tárolja. Az alvásfázisban leállítja az új bemenetek feldolgozását, és a belső számításait a memória megszilárdítására, valamint az önfejlesztésre fordítja.

A Google hangsúlyozza, hogy az „alvás” és az „álmodás” elnevezése az idegtudományból származó hasonlat. A rendszer rögzített modellarchitektúrán és emberek által meghatározott tanítási szabályokon működik.

Új memóriahelyek és tudásmegszilárdítás

A megközelítés egyik célja a katasztrofális felejtés mérséklése. Ez akkor jelentkezik, amikor az új feladatok megtanulása jelentősen rontja a korábban elsajátított képességeket. A Google keretrendszere az alvásfázisban előre lefoglalt Mixture of Experts, vagyis MoE memóriablokkokat nyit meg, majd a modell számszerű súlyait saját maga által létrehozott gyakorlópéldák felhasználásával frissíti.

A modell kapacitását dinamikusan bővítik. Az új, alacsony rangú szakértők stabilabb, alacsonyabb frekvenciájú memóriablokkokba kerülnek, így az új tudás tárolása elvileg kevésbé zavarja a régebbi paramétereket. A rövid távú memóriában lévő információkat tudásdesztillációval továbbítják ezekbe az új paraméterekbe.

A folyamat része az on-policy desztilláció, amelyben a bővített tanulómodell a tanári eloszlásokból származó, saját maga által mintavételezett sorozatokon tanul. A learning to imitate módszer a szemantikai és abszolút hasonlóság alapján jutalmazza a modellt, többek között a Levenshtein-távolság alkalmazásával. A konszolidáció után az ideiglenes, magasabb frekvenciájú paramétereket visszaállítják, hogy új aktív munkamenetek számára szabadítsanak fel kapacitást.

Az „álmodás” önálló modellfejlesztést végez

Az alvás második része a dreaming, vagyis az álmodás. Ennek során az MoE-útválasztó véletlenszerűen nem szokványos szakértőket aktivál a szintetikus adatok létrehozásakor. A Google szerint ez arra kényszeríti a modellt, hogy egymástól távol eső tudásterületeket kombináljon, és rejtett mintázatokat tárjon fel.

A modell szintetikus tanítási példákat, úgynevezett álmokat generál, majd gradiensalapú adatkiválasztással kiszűri közülük azokat, amelyek a legnagyobb várható javulást hozhatják. A legjobbnak ítélt mintákon felügyelt finomhangolást végez, ezután pedig ellenőrzi, hogy javult-e a teljesítménye a későbbi feladatokon.

A kutatók elméleti magyarázatot is adnak a módszerhez. A memória megszilárdítását strukturált, alacsony rangú tömörítési problémaként írják le, amely a modell saját működését és a tanulási cél által jutalmazott szemantikai tulajdonságokat próbálja megőrizni. Az álmodás közben a véletlenszerű szakértőaktiválás többféle gradiensirányt tár fel, a szűrés pedig a leghasznosabb tanulási jeleket emeli ki.

A Google szerint hosszú kontextust is képes megőrizni

A Google Research beszámolója szerint az aktív interakció és az offline memória-konszolidáció váltakozása lehetővé tette az új tények folyamatos elsajátítását, a hosszú kontextusú tudás megőrzését akár 10M tokenig, valamint az összetett következtetés javítását.

A folyamatos fordítás tesztjeiben, korábban nem látott nyelveken, például mandzsu és kalamáng nyelven, a sleep framework több szakaszból álló értékelésekben közel nulla teljesítménycsökkenést tartott fenn. A Google szerint az ICL, a Cartridges és a felügyelt finomhangolás ezzel szemben súlyos katasztrofális felejtést mutatott a szekvenciális tanulás során.

A BABILong hosszú kontextusú megértési feladatán a módszer a beszámoló szerint közel tökéletes skálázódást mutatott 10M tokenig, és felülmúlta az olyan összehasonlítási alapokat, mint a GPT-4 és a Titans. A kutatók ezt annak tulajdonítják, hogy az alvásfázis közvetlenül paraméteres memóriába tömöríti a hosszú kontextus információit. A megközelítés így olyan modellek fejlesztését célozza, amelyek bevetésük után is képesek új tudást rögzíteni és korábbi képességeiket megtartani.