Az AI ötleteket adott a kutatáshoz, a hallgatóknak kellett ellenőrizniük
Az Ai2 AutoDiscovery nevű mesterségesintelligencia-ügynöke tudományos adathalmazokat elemzett és hipotéziseket javasolt egy washingtoni egyetemi kurzuson. A hallgatóknak kellett eldönteniük, hogy az eredmények valódi felfedezést, véletlen egybeesést vagy adatproblémát jeleznek.
- Az AutoDiscovery tudományos adatokból hipotéziseket és további vizsgálati ötleteket generált.
- A Washingtoni Egyetemen 25 csapatból 10 dolgozott több héten át a rendszerrel.
- A hallgatók akkumulátorokat, polimereket, fehérjéket és reaktorkonfigurációkat vizsgáltak.
- A rendszer teljesítménye jelentősen függött az adatok típusától.
- A kutatói ellenőrzést, szakértelmet és kritikus gondolkodást nem váltotta ki az AI.
Tíz csapat dolgozott az AutoDiscoveryvel
Az Ai2 szeptember 14-i beszámolója szerint a Washingtoni Egyetemen tavasszal indították el a GenAI for Science: Ai2, UW Materials Challenge programot. A kezdeményezésben Luna Yue Huang, az anyagtudomány és mérnöki tudományok oktató docense vett részt.
Összesen 25 csapat javasolt saját adathalmazt és kutatási kérdést, közülük tízet választottak ki arra, hogy több héten át az AutoDiscoveryvel dolgozzanak. A többi pályázat hallgatói is csatlakozhattak a kiválasztott csoportokhoz. A döntésnél az adatok gazdagságát és tudományos sajátosságát, az értelmes eredmények esélyét, valamint a témák sokféleségét vizsgálták.
Az AutoDiscovery adathalmazokat elemez, hipotéziseket állít fel, kísérleteket javasol ezek ellenőrzésére, majd az eredményeket úgynevezett bayesi meglepetés alapján rangsorolja. Ez azt mutatja meg, mekkora a különbség a modell előrejelzése és a tényleges adatok között. A hallgatók közben megvizsgálták az érvelés hiányosságait, összevetették a megállapításokat a szakirodalommal, és felmérték, mennyivel csökkentette a rendszer a kézi adatelemzés szükségességét.
Akkumulátorok, polimerek és fényérzékeny fehérjék
Az egyik csoport lítiumionos akkumulátorok öregedését vizsgálta. Az AutoDiscovery arra utaló összefüggést talált, hogy az akkumulátor állapotának ellenőrzésére használt rendszeres diagnosztikai tesztek maguk is gyorsíthatják a cella romlását. Ez azonban csak korreláció volt, az ok-okozati kapcsolat bizonyításához kontrollált kísérletre lenne szükség.
Egy másik csapat hatmillió polimerszimuláció alapján egy évtizedek óta ismert szabály látszólagos kivételét találta. A két szokásos töltésbecslési módszer közötti eltérés az elektronokat erősen vonzó atomok, például az oxigén és a nitrogén esetében mutatkozott a legnagyobbnak. A hallgatók visszakeresték az eredeti tanulmányt, de nem találtak magyarázatot arra, miért térnek el ettől a polimerek, így egy nyitott kutatási kérdésre bukkantak.
A harmadik projektben olyan fehérjéket terveztek, amelyek csak fény hatására kapcsolnak be. Az AutoDiscovery azt találta, hogy a működő beillesztések néhány erős ponton rögzítették a fényérzékeny szakaszt, nem pedig sok gyenge kapcsolódási ponton. A minta minden, valós körülmények között tesztelt tervnél fennállt, és megfelelt a fehérjekötődés régóta ismert elvének.
A kutatói ítélőképesség továbbra is nélkülözhetetlen
A negyedik projekt megmutatta, mennyire függ az eredmény az adatok jellegétől. Egy 24 ezer szimulált atomreaktor-konfigurációt tartalmazó adathalmazon a hipotézisek nagyjából fele logikátlannak bizonyult, és egyik sem volt érdemes további vizsgálatra. A hallgatók ezt azzal magyarázták, hogy az AutoDiscovery valós mérésekhez viszonyítja a meglepetést, ezért a szintetikus számok megzavarták.
Valós reaktorfizikai mérésekkel viszont a rendszer sokkal jobban teljesített, és körülbelül 15 további vizsgálatra érdemes jelöltet talált. Ezek rangsorolása már a hallgatók feladata volt: megvizsgálták a fizikai hihetőséget és a logikai koherenciát, a legerősebb eredményeket összevetették a szakirodalommal, majd kiválasztották a közelebbi ellenőrzést érdemlő ötleteket.
Az Ai2 szerint a projektek közös tanulsága az volt, hogy az AutoDiscovery olyan elképzeléseket is felszínre hozott, amelyekre a kutatók talán nem gondoltak volna. A rendszer ugyanakkor nem váltotta ki a kutatót, az eredmények bizonyítékainak olvasása és az érvelés megértése továbbra is tapasztalatot és szaktudást igényelt.
Huang szerint a hallgatók tíz nap alatt nyers adathalmazokból szakirodalmi áttekintéssel, mennyiségi elemzéssel, kísérleti ellenőrzési tervekkel és indokolt beszámolókkal alátámasztott hipotéziseket készítettek. „A kritikus gondolkodás, a szisztematikus kísérlettervezés, a tudományos érvelés és a következtetések igazolásának képessége továbbra is egyedül az ember felelőssége” , mondta az oktató az Ai2 beszámolója szerint. A vállalat úgy látja, hogy az ilyen értékelések a tudományos AI-eszközök felelősebb fejlesztését is segítik.
