Új mérőszámot javasol a rejtett AI-gondolkodás követésére a Redwood

A láncolt gondolatmenet korlátai

A Redwood Research 2026. szeptember 10-én közzétett írása abból indul ki, hogy a láncolt gondolatmenet, vagyis a chain-of-thought, jelenleg fontos eszköz az AI-modellek felügyeletében. A modellek köztes szöveges lépései azonban nem feltétlenül mutatják meg, mi történik a háttérben. Bizonyos építészeti változtatások jelentősen csökkenthetik a láncolt gondolatmenet ellenőrizhetőségét.

A kutatócsoport szerint az AI-cégeknek átláthatóan kellene közölniük, hogy rendszereik felépítése milyen mértékben teszi lehetővé a látens gondolkodást és kommunikációt. Ennek támogatására a Redwood egy olyan gyakorlati mérési szabványt mutat be, amely a kimondatlan, soros megismerés mennyiségét közelíti.

A megközelítés alapja az opaque serial depth, vagyis az átlátszatlan soros mélység fogalma. Brown-Cohen és szerzőtársai 2026-os tanulmánya ezt úgy közelíti meg, hogy a számítási gráfban megkeresi a leghosszabb utat, amely nem halad át értelmezhető információs szűk keresztmetszeten. Ha a láncolt gondolatmenet tokenjeit értelmezhetőnek, a transzformermodellek rejtett állapotait pedig nem értelmezhetőnek tekintjük, egy hagyományos transzformer átlátszatlan soros mélysége arányos a rétegek számával.

Mit jelent az NLS depth?

A Redwood saját hozzájárulása annak pontosítása, mi számít értelmezhető szűk keresztmetszetnek. A kutatók azokat a csomópontokat tekintik természetes nyelvi gyökerűnek, amelyek szöveget vagy más, ember számára érthető médiát adnak ki, és amelyeket egy előzetes tanítási eloszlás alapozott meg.

Három fő feltételt határoznak meg. Először, a csomópontokat természetes nyelvi vagy hasonló, előzetes tanításból származó kimenetek létrehozására kell inicializálni. A Redwood ebbe a tág értelemben vett körbe a kódot, a JSON-fájlokat, a képeket és a hangot is beleérti. Másodszor, a kimeneti tér nem bővülhet olyan tokenekkel, amelyek jelentését nem az előzetes tanítási eloszlás alapozta meg. Harmadszor, a modellt nem módosíthatják úgy, hogy ezeket a tokeneket az eredeti előzetes tanítástól radikálisan eltérő adattípusként értelmezze.

A kutatók külön kiemelik, hogy a természetes nyelvi gyökerű csomópont tokenjeit nem szabad folyamatos, visszaterjesztett köztes állapotként kezelni. A meghatározás célja többek között az olyan megoldások kizárása, mint az abstract CoT, a COCONUT, a full-bandwidth transformer és a token superposition. Ezek a technikák a forrás szerint a kimeneti tér bővítésével működnek.

Az így meghatározott mérőszám neve Natural-Language-rooted node-Separated depth, röviden NLS depth. Ez azt fejezi ki, milyen hosszú számítási út marad az értelmezhetőnek tekintett csomópontok között, illetve azok megkerülésével.

Miért lehet hasznos a mérőszám?

A Redwood szerint az NLS depth nem helyettesíti sem a megfigyelhetőség, sem a láncolt gondolatmenet nélküli képességek mérését. Kiegészítő mutatóként azonban több előnye lehet. A kutatók szerint viszonylag egyértelmű és könnyen számszerűsíthető, miközben a megfigyelhetőség mérése nehezebben rögzíthető, például azért, mert nem világos, milyen feladatokon és milyen előhívási stratégiákkal kellene vizsgálni.

További előnye, hogy az NLS depth már a tanítás megkezdése előtt elbírálható. Ehhez az adott rendszer felépítésére, tanítási receptjére és tervezett használati konfigurációjára van szükség. Ez megkönnyítheti annak mérlegelését, hogy milyen modelleket érdemes egyáltalán betanítani.

A mérőszám bizonyos utólagos tanítási eljárásokra érzéketlen marad, még akkor is, ha azok a gyakorlatban olvashatóbbá vagy kevésbé olvashatóvá teszik a láncolt gondolatmenetet. A Redwood szerint ez korlátozás, ugyanakkor az NLS depth jó, bár tökéletlen közelítése lehet annak, mennyi átlátszatlan soros gondolkodásra képes egy modell.

A kutatócsoport szerint a módszer elválasztja a jelenlegi, természetes nyelvű láncolt gondolatmenetre építő architektúrákat az olyan különösen aggályos megoldásoktól, mint a full-bandwidth transformer felskálázott változatai. A Redwood ezért azt javasolja, hogy az AI-rendszerek fejlesztése során rendszeresen kövessék az NLS depth értékét. A kutatók arra is figyelmeztetnek, hogy a nagy NLS depth értékű modellekből végzett lepárlás során az alacsonyabb NLS depth értékű modellek is örökölhetnek bizonyos kockázatokat.