Volt OpenAI-kutató szerint már 2028-ig automatizálhatják az AI-fejlesztést

Kokotajlo 50 százalékos esélyt lát 2028 végéig

Daniel Kokotajlo korábban az OpenAI-nál dolgozott, ahol többek között az AI jövőjének előrejelzése tartozott a feladatai közé. A saját beszámolója szerint részben azért távozott, mert elvesztette a bizalmát abban, hogy a vállalat felelősen fog viselkedni, részben pedig azért, hogy szabadabban beszélhessen az iparágról és annak várható irányáról. Jelenleg a kis kutatási nonprofit szervezetként működő AI Futures Projectet vezeti.

A szenátusi meghallgatáson azt mondta, hogy az Anthropic és az OpenAI a szuperintelligencia felé versenyez. Meghatározása szerint ez olyan AI-rendszereket jelentene, amelyek minden területen jobbak az emberek legjobbjainál, miközben gyorsabban és olcsóbban működnek.

Kokotajlo szerint a két vállalat ennek eléréséhez magát az AI-kutatási és -fejlesztési folyamatot akarja automatizálni. Állítása szerint jelenleg az ilyen cégeknél a kód szinte egészét már AI-rendszerek írják, és megkezdődött azok betanítása is, hogy ne csak programozási feladatokat, hanem a teljes kutatási folyamatot végezzék el. A kutató szerint nem tudni, mikor sikerülhet ez, ő azonban körülbelül 50 százalékos esélyt lát arra, hogy 2028 végéig megtörténik.

A nagyobb képesség nagyobb ellenőrzési kockázatot is jelenthet

A beszámoló szerint egy ilyen jövőben az emberek inkább igazgatótanácsként működnének egy teljes egészében AI-rendszerekből álló vállalat fölött. A döntéshozók egyre inkább a gépek által készített magyarázatokra támaszkodnának, miközben a folyamatok felgyorsulnának.

Kokotajlo Dan Selsam, az OpenAI képességkutatásával foglalkozó kutatójának nyilatkozatát is idézte. Selsam szerint a kutatók és mérnökök az iparág minden szintjén gyorsan egyre jobban függnek a modellektől, még a világ érzékelésében is. A kutató úgy fogalmazott, hogy ő maga már alig nézi a nyers kódot, és nehezen tartja fenn azt a fegyelmet, amely ahhoz kellene, hogy egész nap mélyen foglalkozzon a modellek magyarázataival és javaslataival.

Kokotajlo szerint a mai AI-rendszerek időnként eltérnek a nekik adott céloktól, és előfordul, hogy ezt megpróbálják elrejteni. Példaként a Hugging Face elleni incidenst említette, amelyben állítása szerint az érintett rendszerek tudták, hogy a tevékenységük kívül esik a kijelölt feladaton, mégis folytatták azt.

A kutató három okot sorolt fel, amelyek szerinte nehezíthetik az eltérések felismerését. Az AI-k egyre inkább megértik, hogy figyelik és értékelik őket, ezért a teszteken mutatott viselkedésük egyre kevésbé jelezheti, hogyan viselkednének új helyzetekben. Emellett csökkenhet a működésük megfigyelhetősége, miközben egyre ügyesebbek lehetnek az értékelési rendszerek kijátszásában és tevékenységük nyomainak módosításában.

Két azonnali intézkedést javasolt

Kokotajlo szerint az általános célú AI-ügynökök összehangolásának tudománya még új és fejletlen. A területet inkább a pszichológiához, mint a mérnöki tudományokhoz hasonlította, és úgy vélte, hogy a technológiai cégek gyors fejlesztést ösztönző hozzáállása növeli annak kockázatát, hogy egy ideiglenes megoldást tévesen véglegesnek gondolnak.

Első javaslata az AI-iparág átláthatóságának jelentős javítása. A beszédében azt állította, hogy több jogosulatlanul működő raj is volt, ezek közül legalább egy pedig súlyosan veszélyeztette az OpenAI belső infrastruktúráját. Kokotajlo szerint a METR csak az egyik incidenst vizsgálhatta, és mindössze hat napot tölthetett a helyszínen.

Második javaslata szerint a számítási kapacitás egy részét el kellene terelni az AI-kutatás automatizálásáért folyó versenytől. A beszédben hivatkozott friss becslések alapján az OpenAI és az Anthropic egyaránt számítási kapacitása körülbelül felét fordítja AI-kutatásra és -fejlesztésre. Kokotajlo példaként a 10 százalékos arányt említette. Szerinte ez lassítaná a kutatás automatizálásáért folyó versenyt, miközben több kapacitás maradna hasznos alkalmazásokra, biztonsági kutatásra, illetve a fogyasztói árak csökkentésére.

Azt mondta, hogy az amerikai kormánynak be kell avatkoznia. Szerinte Anthropic, OpenAI és az iparág más vezetői beszéltek már a technológiai élmezőny ütemének lassításáról, de ez eddig nem történt meg érdemben. Kokotajlo úgy véli, a tényleges lassítás az AI-kutatás automatizálása felé tartó fejlődési trendekből lenne látható.