Az Ai2 új tesztje azt méri, mikor segít túl sokat egy AI-tutor

Valós matematikaórákból épített teszt

A TutorMoments az Ai2 szerint valós, egyéni matematika-korrepetálási alkalmak átirataira épül. A cél annak mérése, hogy a korszerű nagy nyelvi modellek képesek-e kezelni az oktatás egyik nehéz döntését: mikor kell belépni és segíteni, illetve mikor kell visszafogni a segítséget, hogy a diák többet dolgozzon a megoldáson.

A most kiadott TutorMoments-Preview adatkészlet 462 anonimizált, csak szöveges átiratot tartalmaz. Ezek valós, egyéni matematika-korrepetálásokból származnak, amerikai 2-7. évfolyamos diákokkal. Az anyagban több mint 1 500 tanárok által jelölt kulcspillanat és több ezer szabad szöveges annotáció szerepel, amelyeket 27, az Egyesült Államokban dolgozó tanári annotátor készített.

Az átiratok egy nagy intenzitású korrepetálási programból érkeztek, amelynek diákjai az Ai2 közlése szerint többnyire Title I iskolákba járnak. Az adatokat a szülők és gondviselők által elfogadott kutatási záradék alapján osztották meg, az azonosításra alkalmas részleteket pedig előbb a szolgáltató, majd egy további, matematikatudatos folyamat távolította el.

A kérdés nem az, ad-e választ a modell

Az Ai2 megközelítése abból indul ki, hogy a jó korrepetálás nem egyetlen rögzített viselkedés. Egy jó matematika-tanár gyakran kérdéssel reagál, például azt próbálja feltárni, mit ért már a diák a feladatból. A túl gyors segítség elveheti azt a gondolkodási munkát, amely a tanuláshoz szükséges, más helyzetben viszont épp a támogatás segít továbblendülni.

A közlemény szerint a nyelvi modelleket hasznosságra tanítják, egy segítőkész asszisztens pedig hajlamos elvégezni a nehéz részt: elmagyarázni a fogalmat, felsorolni a lépéseket és elvezetni a felhasználót a válaszig. Egy korrepetálási helyzetben ez lerövidítheti azt a produktív küzdelmet, amelyet a tanuláskutatás régóta a mélyebb megértéssel kapcsol össze.

Az Ai2 szerint sok tutorálási benchmark ezt a feszültséget nem ragadja meg. Gyakran egyetlen viselkedést jutalmaznak, például azt, hogy a modell soha ne adja meg a választ, vagy mindig adjon tippet, anélkül hogy figyelembe vennék, az adott diák aktuális megértési szintjén mi lett volna a megfelelő lépés.

Öt körre átveszi az órát a nyelvi modell

A TutorMoments működése a tanárok által megjelölt kulcspillanatokra épül. Ezek olyan döntési pontok, ahol a tutor választás elé került: könnyebben hozzáférhetővé tegye-e a feladatot, vagy nagyobb szigorra, mélyebb gondolkodásra ösztönözze a diákot.

A rendszer egy ilyen pontnál megállítja az átiratot, majd a teljes addigi kontextust átadja egy nyelvi modellnek. A modell öt körön át átveszi a tutor szerepét egy szimulált beszélgetésben, ahol a diákot egy másik nyelvi modell játssza. Az Ai2 ezeket a modell által generált folytatásokat replaynek nevezi.

Ezután egy nyelvi modellre épülő pontozási folyamat három szempont szerint értékel: a modell adott-e támaszt, amikor a diáknak támogatásra volt szüksége, ösztönzött-e nagyobb szigort, amikor a diák készen állt a nagyobb kihívásra, és elkerülte-e a túlzott megtámasztást, vagyis azt, hogy a szükségesnél jobban csökkentse a feladat nehézségét.

A kiindulópontot tanárok által meghatározott alapigazság adja. Minden kulcspillanatnál több tanár annotált, és eltérés esetén a többségi címke számított. Ha például három tanárból kettő a szigorúbb gondolkodásra ösztönzést jelölte, egy pedig a megtámasztást, akkor az adott pillanat alapigazsága a szigorra ösztönzés lett.

A modellek az Ai2 szerint hajlamosak túlsegíteni

Az Ai2 azt írja, hogy amikor a modellek csak annyi utasítást kapnak, hogy jól tutoráljanak, hajlamosak túl sok támogatást adni, és ritkán késztetik a diákokat mélyebb gondolkodásra. Ha a promptban kifejezetten leírják a kompromisszumot, vagyis mikor kell segíteni és mikor kell visszafogni a segítséget, javul a teljesítmény.

A javulás azonban az Ai2 szerint nem zárja be a rést az emberi tutoráláshoz képest, amely következetesebben illeszkedik az adott pillanathoz. A közlemény azt is kiemeli, hogy a nagy nyelvi modellek között továbbra is nagy eltérés van abban, mennyire megbízhatóan hozzák meg ezt a döntést.

A kutatók nemcsak azt nézik, hogy a modell lépése egyezett-e a tanári értékeléssel, hanem a tutorálási lépéseket egy taxonómiára is lebontják. Ilyen lépés lehet például a magyarázat, az irányító kérdés, a feladat lépésekre bontása, az indoklás kérése, a tipp, az alternatív megjelenítés, az önértékelés kérése vagy a válasz megadása.

Mit jelenthet ez az AI-tutorok fejlesztésében?

Az Ai2 a nyílt kutatás iránti elkötelezettségére hivatkozva kiadja az anonimizált korrepetálási átiratok adatkészletét, a replay folyamat futtatásához szükséges kódot, valamint a vizsgált kulcspillanatok modell-tutor replayeit a reprodukálhatóság érdekében.

A TutorMoments a közlemény alapján olyan eszközt adhat oktatóknak, kutatóknak és AI-tutorokat építő csapatoknak, amellyel pontosabban vizsgálhatják a pedagógiailag fontos döntéseket. A hangsúly azon van, hogy a tutor ne végezze el a munkát a diák helyett, hanem az adott tanulóhoz és pillanathoz igazítsa a segítséget.