A tömöríthető stratégiák miatt nem feltétlenül tanulják túl magukat az AI-kutatóügynökök

A benchmarkok ismételt használata elvileg túlillesztéshez vezetne

A gépi tanulás egyik alapvető célja az általánosítás, vagyis hogy a modell korábban nem látott adatokon is jól teljesítsen. A túlillesztés, vagy angolul overfitting akkor történik, amikor egy modell jól teljesít a tanítás során használt adatokon, de új adatokon gyengén szerepel, mert valójában megjegyezte a példákat.

A kutatás szerint a validációs adatokat a fejlesztés során többször is felhasználják modelljelöltek összehasonlítására, hiperparaméterek hangolására és a következő kísérlet kiválasztására. Az egyszeri végső tesztelésre szánt adathalmaz ezzel szemben csak a folyamat végén lenne használható. Ha egy adathalmaz eredményeit újra és újra ellenőrzik, majd a fejlesztést ezek alapján módosítják, elvileg az is a tanítási folyamat részévé válik.

A gépi tanulási kutatás gyakorlata mégis hasonló módon működik: a közösség évekig változatlan benchmarkokon méri a modelleket, javítja a módszereket, majd újraértékeli őket. Az Amazon Science szerint friss tesztkészleteken vizsgálva a régi benchmarkok eredményeit, a javulások jellemzően átvihetők az új adatokra is.

A tömörítés megmutatja, hogy valódi tanulás történt-e

Martin Bertran Lopez és Aaron Roth kutatása ezt a problémát gépi tanulási kutatóügynökökkel vizsgálja. Ezek az LLM-alapú ügynökök önállóan futtatják ugyanazokat a benchmarkokra épülő optimalizálási ciklusokat, amelyeket a kutatói közösségek is használnak. Az ügynökök előnye, hogy visszaállíthatók: törölhető a memóriájuk, szabályozható, milyen információt látnak, és a kísérlet megismételhető.

A kutatók a „What fits (into few tokens) doesn't overfit: Compression and generalization in ML research agents” című tanulmányban azt vizsgálták, mi történik, ha a sikeres ügynök stratégiáját információs szűk keresztmetszeten keresztül kell továbbadni. A forrás szerint akár 16 tokenre is össze lehet préselni a stratégiát úgy, hogy egy friss, memóriával nem rendelkező ügynök újra előállítsa az eredeti teljesítményt.

Ez azért fontos, mert a valóban túlillesztett stratégia ilyenkor elveszítené a benchmarkon elért, adatspecifikus előnyét. Ha azonban a teljesítmény megmarad, az arra utal, hogy az ügynök a feladat szerkezetét tanulta meg, nem pedig az értékelési adatok válaszait jegyezte meg. A tömörítés így egyszerre kínál magyarázatot és diagnosztikai eszközt.

Az LLM-ek tudása rövid utasítások mögött is teljes folyamatot rejt

A kutatás magyarázata az Occam borotvájaként ismert elvhez kapcsolódik. Ha egy hipotézis kevés bitben leírható, és közben jól teljesít a tanítási adatokon, kisebb az esélye, hogy véletlenül vagy memorizálással jutott jó eredményre. Egy rövid leírásban egyszerűen nincs elegendő hely a teljes adathalmaz elrejtésére.

Egy gépi tanulási stratégia sok kísérlet eredményeként születhet meg, a végső recept mégis állhat néhány ismerős döntésből: egy architektúratípusból, optimalizálóból, tanulási ütemezésből, adatkezelési módszerből és szabályozási beállításból. A forrás szerint ez a rövid végső leírás kevésbé függ a benchmarkon végzett hosszú keresési folyamattól, mint azt a kísérletek teljes jegyzőkönyve alapján gondolhatnánk.

Ebben az LLM-ek háttértudása is szerepet kap. Egy kezdőnek egy teljes gépi tanulási folyamat reprodukálásához az alapfogalmakat is el kellene magyarázni, egy tapasztalt mérnöknek viszont elég lehet néhány konkrét beállítás. Az Amazon Science szerint a nagy nyelvi modellek a gépi tanulási eszközökről, algoritmusokról és szokásos hiperparaméterekről meglévő tudásuk miatt rövid, szakértői utasításokból is képesek lehetnek egy teljes folyamat rekonstruálására.