A METR módszert javasol az AI-kutatás felgyorsulásának mérésére

Négy kérdésre keresnék a választ

A METR október 14-én közzétett kutatási jegyzete szerint egy ilyen értékelésnek először azt kellene feltárnia, milyen gyorsan fejlődnek a belső képességek, és ez a fejlődés mennyivel gyorsult fel az utóbbi időben. Ezután azt vizsgálná, hogy a gyorsulás mekkora része vezethető vissza AI-alapú automatizálásra, és mekkora szerepet játszottak más tényezők.

A javaslat harmadik eleme a jövőbeli korlátok feltérképezése. Ilyen lehet például a tanítási számítási kapacitás vagy az ember által létrehozott adatok elérhetősége. Végül azt is ellenőrizni kellene, hogy a módszerek megbízhatóan észlelnének-e egy ennél sokkal nagyobb gyorsulást, ha az valóban bekövetkezne.

Belső modellek és kutatási mutatók kellenének

A képességek alakulását a METR szerint többféle mérés együttes használatával lehetne követni. Az értékelőknek hozzá kellene férniük a fejlesztő összes, határterületet érintő és belső használatú modelljének mérési eredményeihez, beleértve a különböző benchmarkokat és az olyan köztes mutatókat is, mint az előtanítási veszteség. Ezekből olyan összesített mérőszámokat is kiszámíthatnának, mint az ECI.

Az adatok között szerepelnének a benchmarkok részletei, például a mintakérdések, a pontozási szabályok és a modellek mintaválaszai. Az értékelők a kutatók tapasztalatait is vizsgálnák interjúkkal és felmérésekkel. Arra lennének kíváncsiak, hogy a belső modelleket használó szakemberek érzékelnek-e gyorsulást a képességek fejlődésében.

A módszerhez az algoritmikus fejlődés becsléseire is szükség lenne az előtanítás, az utólagos tanítás és más fontos területeken. A METR olyan, pontos dátumokkal ellátott adatokat tartana hasznosnak, amelyek megmutatják, hogyan változott idővel az egyes fejlesztések hatása, például a meghatározott teljesítményszint eléréséhez szükséges számítási igény.

Az AI szerepét több bizonyítékból becsülnék

Az AI hozzájárulásának elkülönítése nehéz, mert nem lehet közvetlenül megfigyelni, mi történt volna AI használata nélkül. A METR ezért több bizonyítékvonal együttes értékelését javasolja. Ide tartozna az AI-ügynökökre fordított felhasználás, lehetőleg csapat és időszak szerint, tokenekben és következtetési költségben megadva.

Fontosak lennének a kutatók konkrét beszámolói arról, hogyan segítik a modellek a kutatási előrehaladást. Emellett elemeznék a termelékenység durva mutatóit, például az egy kutatónapra jutó kódsorok számát vagy a munkatársak saját becsléseit az AI által elért javulásról.

Az értékelésnek közben más bemeneteket is számításba kellene vennie, mert a képességek vagy az algoritmikus fejlődés gyorsulását ezek is okozhatják. A METR a kutatócsoportok létszámának időbeli alakulását, az egyes modellek tanítására fordított számítási kapacitást, valamint a kísérleti számítási erőforrásokat is mérné.

A fejlesztő rendszerein is elvégezhető lehetne

A METR szerint biztonsági okokból az adatok elemzése történhetne a fejlesztő hardverén, akár a fejlesztő telephelyén. A javaslat alapján ehhez csak minimális hozzáférésre lenne szükség a fejlesztő infrastruktúrájához. Az értékeléshez szükséges adatok közé a belső képességek mérései, az algoritmikus fejlődés becslései, az AI hozzájárulására vonatkozó bizonyítékok, a fő kutatási bemenetek, a lehetséges szűk keresztmetszetek és a jövőbeli előrejelzések tartoznának.

A módszer a felhasználók számára közvetlenül nem új terméket vagy modellt jelent. A cél annak jobb megértése, hogy az AI mennyiben gyorsítja saját fejlesztési folyamatát, és a fejlődés ütemét milyen erőforrások korlátozhatják. A METR anyaga értékelési javaslatot ír le, és a forrás nem közöl egy már elvégzett ilyen vizsgálatról.