A 10 ezer AI-ügynök új szűk keresztmetszetet hozhat a tudományban

Tízezer ügynök dolgozott egy matematikai problémán

Az OpenAI szeptember 8-án közölte, hogy egy még ki nem adott belső modell javasolt megoldást a Navier-Stokes-egyenletek létezésére és simaságára vonatkozó problémára. Ez a Clay Mathematics Institute által 2000-ben kiválasztott hét Millennium-probléma egyike. A problémák mindegyikének helyes megoldásáért 1 millió dolláros díjat ajánlottak fel.

A kísérletben nagyjából 10 000 ügynök dolgozott párhuzamosan 88 órán keresztül. A számítás a Brookings által idézett adatok szerint több millió dollárba került. Sébastien Bubeck, az OpenAI munkatársa egy sajtótájékoztatón azt mondta, hogy ez hozzávetőleg ezerszerese annak, amit a vállalat korábban egyetlen problémára költött.

A javasolt bizonyítást még nem ellenőrizték. A matematikusok jelenleg vizsgálják, és a Clay szabályai szerint a megoldásnak először megfelelő kiadványban kell megjelennie, majd két évnek kell eltelnie, végül a szakma általános elfogadása is szükséges a díj odaítélésének mérlegeléséhez. Az OpenAI közölte, hogy nem kívánja igényelni a díjat.

722 kézirat egyetlen GitHub-közzétételben

Október 6-án az OpenAI 722 kéziratot tett közzé egyetlen GitHub-csomagban. A vállalat szerint ezek 372 nyitott problémánál mutattak előrelépést az algebra, a geometria, a számelmélet és az elméleti számítástudomány területén. A munkákat ugyanaz a belső modell készítette, az átlagos eredmény előállítása pedig az OpenAI becslése szerint nagyjából háromórányi ChatGPT Pro-számításba került.

A kéziratok közül mindössze 162-hez tartozott géppel ellenőrizhető Lean-formalizálás, amely lehetővé teszi, hogy számítógép erősítse meg a bizonyítást. A matematikusok azonnal bírálták a közzétételt. Az Association for Human Mathematics nevű csoport szerint ez „nem a tudományos munka, hanem a teljesítmény bemutatása”.

Egy nappal később az OpenAI visszavont három kéziratot. Egy belső ellenőrzés hibás előjelet talált, amely érvénytelenített egy érvelést, valamint két olyan konstrukciót is, amely erre épült.

Az eredmények gyorsabban születnek, mint ahogy az emberek fel tudják dolgozni őket

Niam Yaraghi, a Brookings szerzője szerint az esetek legfontosabb tanulsága nem maga a bizonyítás, hanem az előállítás és a megértés közötti eltérés. Az AI-ügynökök számának, a számítási kapacitásnak és a munkára fordított időnek a növelésével a kutatási eredmények előállítása ipari méretű folyamattá válhat. Az emberek viszont csak egyenként tudják megérteni és ellenőrizni ezeket, ráadásul ehhez többéves képzésre van szükség.

Az elemzés szerint az AI egyre inkább helyettesíti a kutatási munka egy részét, miközben felértékeli az eredmények befogadásához szükséges szakértelmet. A korábbi OpenAI-kísérletben kilenc matematikus ellenőrizte egy gép által készített, Paul Erdős egységtávolság-sejtését megcáfoló bizonyítást. A kutatók rövid, ember által ellenőrzött változatot és értelmezést készítettek hozzá. Thomas Bloom szerint az eredeti bizonyítás helyes volt, az emberek mégis jelentősen javítottak rajta, mert a bizonyítás megvitatása, értelmezése, továbbfejlesztése és következményeinek feltárása továbbra is emberi feladat.

A Brookings szerint a gépi eredmények mennyiségének növekedése mellett kevés olyan intézmény létezik, amely képes lenne ezeket ellenőrizni. Ez különösen akkor jelent problémát, amikor a bizonyítások hosszabbak vagy nehezebben olvashatók. A hír így a felhasználók és a tudományos közösség számára azt jelzi, hogy az AI teljesítményének növekedése önmagában nem oldja meg az eredmények hitelesítését és értelmezését.