Apple-kutatás: a CoT-válaszokban a gondolatmenet hatása gyakran ugrásszerű
A chain-of-thought módszer nem egyenletesen viszi közelebb a nagy nyelvi modelleket a jó válaszhoz: az Apple kutatói szerint a gondolatmenetekben kitérők, hirtelen felismerések és szerencsés találatok is megjelennek. A munka azt is jelzi, hogy egy erősebb modell részleges gondolatmenete egy gyengébb modell teljesítményét is feloldhatja korábban megoldhatatlan feladatokon.
- Az Apple kutatói versenyszintű matematikai feladatok CoT-nyomait elemezték.
- A tanulmány a potenciál fogalmával méri, hogy a gondolatmenet egy része mennyire segíti a helyes választ.
- A kutatók kitérőket, éles érvelési ugrásokat és releváns indoklás nélküli helyes válaszokat is azonosítottak.
- Az Apple szerint már egy erősebb modell részleges CoT-jának 20%-a is segíthet egy gyengébb modellnek korábban megoldhatatlan feladatokon.
- A cikk 2026 februárjában jelent meg ICLR-tanulmányként.
Mit vizsgáltak az Apple kutatói?
Az Apple gépi tanulási kutatási oldalán szereplő, 2026 februárjában publikált ICLR-tanulmány a chain-of-thought, röviden CoT működését elemzi. A cikk szerzői Gregor Bachmann, Yichen Jiang, Seyed Mohsen Moosavi Dezfooli és Moin Nabi.
A CoT promptolás elterjedt technika a nagy nyelvi modelleknél, mert arra készteti a rendszereket, hogy a végső válasz előtt külön lépésekben írják le a gondolatmenetüket. Az Apple forrása szerint ez hasonlít az emberi érvelésre, de továbbra sem világos, pontosan milyen mechanizmusok állnak a módszer sikere mögött.
A kutatók versenyszintű matematikai kérdésekből származó CoT-nyomokat elemeztek. A céljuk az volt, hogy megértsék, a gondolatmenet mely részei járulnak hozzá ténylegesen a végső válaszhoz, és hogyan történik ez a folyamat.
A „potenciál” megmutatja, melyik rész segít a jó válaszban
A tanulmány bevezeti a potenciál fogalmát. Ez azt méri, hogy a CoT egy adott része mennyivel növeli a helyes befejezés valószínűségét. A kutatók ennek segítségével vizsgálták a gondolatmenetek belső dinamikáját.
Az Apple összefoglalója szerint több meglepő mintázat jelent meg. Az egyik a potenciál gyakori, erős nem monoton viselkedése, amelyet érvelési kitérők okozhatnak. A másik a nagyon éles, de olykor nehezen értelmezhető kiugrások jelenléte, amelyeket a forrás érvelési felismerésekként és ugrásokként ír le. A harmadik esetben a modell olykor releváns indoklás nélkül jut el a helyes válaszhoz, amit a kutatók szerencsés találatként azonosítanak.
A forrás alapján a potenciál egyes viselkedései könnyen értelmezhetők, és illeszkednek az emberi intuícióhoz, például a felismerések és a kitérők. Más jelenségek viszont emberi nézőpontból továbbra is nehezen érthetők.
Részleges gondolatmenet is segíthet egy gyengébb modellnek
A kutatók a CoT átvihetőségét is vizsgálták. Ebben azt mérték, mekkora potenciált mutat egy gyengébb modell akkor, ha egy másik, erősebb modell részleges CoT-ját kapja meg.
Az eredmények az Apple szerint összhangban vannak a korábbi megfigyelésekkel: már a részleges CoT 20%-a is képes lehet „feloldani” a gyengébb modell teljesítményét olyan problémákon, amelyeket az korábban nem tudott megoldani. A forrás ezt úgy értelmezi, hogy a CoT mögött álló mechanika jelentős része átvihető.
Ez a felhasználók és a piac számára azért fontos, mert a CoT nem pusztán hosszabb magyarázatként jelenik meg, hanem mérhetően befolyásolhatja, hogy egy modell eljut-e a helyes válaszig. A kutatás ugyanakkor óvatosságra is int az ilyen gondolatmenetek értelmezésében: a látható érvelés egyes részei lehetnek hasznos felismerések, kitérők vagy akár utólag nehezen magyarázható ugrások is.
