A StateBench azt vizsgálja, hogyan követik a modellek a változásokat
Az Ai2 bemutatta a StateBench nevű benchmarkot, amely azt méri, mennyire képesek a nyelvi modellek hosszú szövegekben követni a változó információkat. A teszt szerint a visszatérő és hibrid architektúrák közvetlen betanítással messzebbre általánosítanak, miközben a vezető modellek a nehezebb feladatoknál hosszabb bemeneteken jelentősen romlanak.
- A StateBench hosszú dokumentumok állapotkövetését méri.
- A benchmark négy, eltérő összetettségű feladatszintet használ.
- A vezető modellek a nehezebb feladatokon hosszabb bemeneteknél 13 százalékra vagy az alá estek.
- A közvetlenül betanított Gated DeltaNet és hibrid modellek több tízezer hozzárendelésig jól általánosítottak.
- A transzformerek közvetlen betanítással sem tanulták meg a legnehezebb szintet.
Négy nehézségi szintet különít el a benchmark
A StateBench olyan feladatokat tartalmaz, amelyekben egy dokumentumban szereplő entitások állapota idővel változik. Ez a probléma megjelenhet programkód olvasásakor, amikor egy változó új értéket kap, vagy egy történet követésekor, amikor a szereplők helyet változtatnak, illetve tárgyakat adnak át egymásnak.
A teszt négy szintet különít el. Az R-trivial feladatokban az érték nem változik. Az aperiodic szinten a modellnek a legutóbbi értéket kell megtalálnia. A soluble feladatoknál az új érték az előzőből épül fel, ezért a modellnek minden módosítást tovább kell vezetnie. A general finite szint referencia szerinti hozzárendeléseket is enged, így egy változó átveheti egy másik aktuális értékét.
Az Ai2 szerint a négy kategória elméletileg is különböző állapotkövetési műveleteket képvisel. Az összehasonlíthatóság érdekében ugyanabból az általános változósorozatból vezették le a könnyebb változatokat. A változók és az értékek száma, valamint a hozzárendelések helye azonos maradt, csak a hozzárendelés típusa változott.
A hosszabb bemenetek megmutatták a modellek gyenge pontjait
Az Ai2 több nyílt, előre betanított modellt vizsgált, köztük a 7 milliárd paraméteres Olmo 3-at és az ugyancsak 7 milliárd paraméteres Olmo Hybridet. Az előbbi transzformer, az utóbbi Gated DeltaNet rétegeket is használ. A modelleket ugyanazon az adaton tanították, és a betanítás során egyikük sem látott 64 000 tokennél hosszabb kontextust. A kutatók több modellt ennél hosszabb bemeneteken teszteltek.
A modellek többsége jól teljesített az R-trivial feladatokon, az aperiodic szinten viszont a bemenet hosszának növekedésével romlott a pontosság. A general finite feladatokon véletlenszerű találgatási szinten maradtak. A feladat megfogalmazása is számított: a 275 millió paraméteres hibrid és a Gated DeltaNet modellek RULER-stílusú R-trivial teszteken közel a plafonértéket érték el, ugyanazoknál a problémáknál táblázatszerkesztésként megfogalmazva viszont véletlenszerű szintre estek vissza.
A négy vizsgált vezető modell, a Gemini 3.8 Flash, a Claude Opus 5.5, valamint a GPT-6 Sol és Luna jól teljesített az R-trivial és az aperiodic feladatokon. A soluble és general finite szinteken azonban a pontosság a hosszabb bemeneteken élesen visszaesett, a leghosszabb general finite feladatoknál 13 százalékra vagy az alá.
Közvetlen betanítással nagyobb különbségek jelentek meg
A kutatók azt is tesztelték, hogy a nehézséget maga az architektúra okozza-e, vagy az előzetes betanítás nem tanítja meg a modelleket ezekre a feladatokra. Több, 275 millió paraméteres modellt tanítottak be a StateBench feladataira a semmiből. Két transzformer-változatot, két hibridet és két, eltérő memóriafrissítési korlátozással működő Gated DeltaNet-változatot vizsgáltak.
A modellek legfeljebb 256 hozzárendelésből álló sorozatokon tanultak, majd akár 64 000 hozzárendeléses bemeneteken is tesztelték őket. Ez a tanítási maximumnál 250-szer hosszabb sorozatot jelentett. A Gated DeltaNet és a hibrid modellek az R-trivial, az aperiodic és a soluble feladatokon a leghosszabb vizsgált sorozatokig csaknem tökéletesen általánosítottak. A transzformerek a könnyebb szinteket megtanulták, hosszabb sorozatokon viszont romlottak, és a general finite szintet közvetlen betanítással sem tanulták meg.
Az Ai2 eredményei szerint a Gated DeltaNet rugalmasabb memóriafrissítést használó változata a legnehezebb szinten is nagyjából a tanítási sorozatok hosszának tízszereséig maradt közel tökéletes. A kutatás egyben nyitott kérdéseket is hagy: továbbra sem tisztázott, hogy a korlátozottabb memóriafrissítésű Gated DeltaNet képes-e minden soluble feladat megoldására, illetve hogyan befolyásolja a teljesítményt a numerikus pontosság vagy a figyelmi rétegek hozzáadása.
