A ChatGPT javította a diákok válaszait, a kritikus gondolkodás az ötleteiket szélesítette

Valós üzleti feladaton tesztelték a ChatGPT hatását

A kísérletben több mint 1 000 elsőéves alapképzéses hallgató vett részt a Bocconi Universityn. A diákok egy valós üzleti eseten dolgoztak: marketingajánlásokat kellett kidolgozniuk az egyetem ajándékboltja számára.

A hallgatókat tanórák szerint véletlenszerűen négy csoportba osztották. Az egyik csoport ChatGPT hozzáférést kapott, GPT‑4o modellel, a másik oksági gondolkodási tréningen vett részt, a harmadik mindkettőt megkapta, a negyedik pedig egyiket sem.

Az oksági gondolkodás a kritikus gondolkodás egy formája, amely az ok és okozat összekapcsolására, valamint annak magyarázatára fókuszál, hogy egy adott megoldás miért működhet, vagy miért vallhat kudarcot. A tréning nem az AI használatáról szólt: a diákok egy játékot, példákat, kérdéseket és visszajelzést tartalmazó gyakorlaton keresztül tanulták az oksági gondolkodás fogalmait.

A beadott munkákat képzett emberi értékelők pontozták egy ötfokú rubrika alapján. A kutatók emellett automatizált szövegelemzést is használtak, amely a beadásokban szereplő ötletek számát és változatosságát, az oksági gondolkodás jeleit, valamint a három szakértő által készített ajánlásokhoz való hasonlóságot mérte.

A ChatGPT szakértőibbnek tűnő válaszokat eredményezett

Azok a hallgatók, akik hozzáfértek a ChatGPT-hez, csaknem egy teljes ponttal magasabb eredményt értek el az ötfokú skálán. Válaszaik több ötletet tartalmaztak, világosabb logikát követtek, és jobban hasonlítottak a szakértők által írt ajánlásokra.

Az OpenAI közlése szerint ez azt jelenti, hogy az AI segített a kezdőknek professzionálisabbnak látszó munkát készíteni. A forrás ugyanakkor kiemeli, hogy a hallgatók nem egyszerűen átadták a feladatot a ChatGPT-nek. Nekik kellett eldönteniük, mit kérdezzenek, értékelniük kellett a válaszokat, és ki kellett választaniuk, mi kerüljön a végső beadásba.

A kísérlet egyik fontos tanulsága, hogy a ChatGPT hozzáférés elsősorban a beadott munka minőségében, szervezettségében és szakértőkhöz való hasonlóságában mutatkozott meg. Ez különösen ott lehet jelentős, ahol a feladatok végső produktumát hagyományos értékelési szempontok alapján mérik.

A kritikus gondolkodási gyakorlat más eredményt hozott

Az oksági gondolkodási gyakorlat eltérő hatást váltott ki. Azok a hallgatók, akik elvégezték a tréninget, világosabban magyarázták el, hogy ötleteik miért működhetnek, illetve milyen helyzetekben bukhatnak el.

Ez a javulás ugyanakkor nem jelent meg magasabb pontszámban a használt értékelési rubrikán. A rubrika azt mérte, mennyire jól célozták az ajánlások a két standard marketingcélt: az egyetemi bolt ismertségének növelését és használatának fokozását.

Az automatizált szövegelemzés viszont olyan előnyt mutatott ki, amelyet a hagyományos értékelés nem ragadott meg. A tréningen részt vevő hallgatók csoportszinten szélesebb ötletkört produkáltak, és ötleteik jobban különböztek társaik megoldásaitól.

Ez azért fontos, mert egy hagyományos rubrika jutalmazhatja a világos, jól felépített választ, miközben figyelmen kívül hagyhatja, hogy a hallgató olyan ötlettel állt-e elő, amellyel más nem.

A két módszer együtt kiegészítette egymást

A kutatás szerint félrevezető lehet úgy feltenni az oktatási kérdést, hogy a diákok saját gondolkodást tanuljanak-e, vagy AI-használatot. A kísérlet alapján a két megközelítés különböző területeken hozott értéket.

A ChatGPT hozzáférés kifinomultabb, ötletekben gazdagabb és logikailag koherensebb válaszokat segített létrehozni. A kritikus gondolkodási tréning arra ösztönözte a hallgatókat, hogy szélesebb körű eredeti ötleteket dolgozzanak ki, megkérdőjelezzék a feltételezéseket, és megmagyarázzák, miért működhetnek az ötleteik.

Azok a hallgatók, akik mind a ChatGPT hozzáférést, mind a kritikus gondolkodási gyakorlatot megkapták, mindkét hatást mutatták. Ötletváltozatosságuk megegyezett azokéval, akik csak a gyakorlatot végezték el. Rubrikapontszámaik és ötleteik száma hasonló volt azokéhoz, akik csak ChatGPT hozzáférést kaptak.

A forrás szerint e csoport munkáiban erősebb logikai koherencia is látszott, valamint több bizonyíték arra, hogy a hallgatók magyarázatokat kerestek és megkérdőjelezték a feltételezéseket. Ez a csoport mutatott javulást a legszélesebb mérési körben.

Mit jelent ez az iskoláknak és a diákoknak?

A kísérlet az iskolák előtt álló szélesebb kihívásra is rámutat. Ha az AI segít a diákoknak csiszolt, szakértőinek látszó munkát készíteni, akkor a végső válasz önmagában kevesebbet árul el arról, mit ért valójában a tanuló.

Az OpenAI által ismertetett eredmények szerint a feladatoknak és az értékelési módszereknek alkalmazkodniuk kellhet ahhoz, hogy ne csak a hagyományos vagy legcsiszoltabb válaszokat díjazzák. A forrás alapján fontosabbá válhat az eredetiség, az érvelés, valamint többféle megközelítés mérlegelésének értékelése.

A kutatás fő üzenete az OpenAI megfogalmazása szerint: „Az AI segített a diákoknak jobbá tenni a válaszaikat. A kritikus gondolkodási tréning segített szélesebbé tenni az ötleteiket. A kettő egymást kiegészítő szerepet játszik abban, hogy felkészítse a diákokat a jövőre.”