Interaktív játékban mutatták be az LLM-alapú viselkedésszimulációt
Interaktív online játékkal mutatták be az ADM+S kutatói, hogyan használhatók a nagy nyelvi modellek a felhasználói viselkedés szimulációjára. A résztvevők egy ajánlórendszer szerepét vették fel, és különböző tartalmakat ajánlottak fiktív felhasználóknak.
- Az ADM+S kutatói az RMIT University Open Day rendezvényén mutatták be munkájukat.
- A látogatók egy interaktív játékban ajánlórendszerként adhattak javaslatokat.
- A játék filmek, könyvek, zenék és termékek ajánlását is lehetővé tette.
- A kutatók szerint a szimulációnak a preferenciákat, a viselkedési mintákat és a kontextust is kezelnie kell.
- A kutatás a szintetikus adatok ajánló- és rangsorolási rendszerekben való használatához kapcsolódik.
A látogatók ajánlórendszerként próbálhatták ki magukat
Az ARC Centre of Excellence for Automated Decision-Making and Society, röviden ADM+S, kutatói az RMIT University Open Day rendezvényén mutatták be az LLM-alapú felhasználói viselkedésszimulációval kapcsolatos munkájukat. A „User Behaviour Simulation with LLMs” című bemutatót Chenglong Ma, Danula Hettiachchi és Xinye Wanyan készítette.
A bemutató központi eleme egy interaktív online játék volt. A Chenglong Ma által létrehozott játék fejlesztéséhez Danula Hettiachchi és Xinye Wanyan is hozzájárult. A látogatóknak egy ajánlórendszer szerepébe kellett helyezkedniük, majd egy felhasználói profil, valamint egy adott helyzet és környezet alapján kellett kiválasztaniuk egy ajánlható tételt.
A lehetőségek között filmek, könyvek, zenék és termékek szerepeltek. A játék visszajelzést adott arról, hogy az ajánlás mennyire felelt meg az adott felhasználó érdeklődésének és pillanatnyi igényeinek.
A személyre szabás határaira is rávilágítottak
A játék egyik célja az volt, hogy érzékelhetővé tegye a felhasználói modellezés egyik fő nehézségét: el kell dönteni, egy személyről rendelkezésre álló információk közül melyek befolyásolják valóban az ajánlást. A résztvevők saját döntéseiken keresztül vizsgálhatták, hogyan változtatja meg a kontextus az ajánlást, és milyen szerepet játszanak az egyes felhasználói jellemzők.
„Azzal, hogy a résztvevők maguk adtak ajánlásokat felhasználói profilok és kontextusok alapján, a tevékenység arra ösztönözte őket, hogy ugyanazokon a kérdéseken gondolkodjanak, amelyeket a kutatásunk is vizsgál: mely felhasználói jellemzők számítanak valóban, hogyan változtatja meg a kontextus a döntéseket, és mikor léphet át a személyre szabás a sztereotipizálás határán”, mondta Chenglong Ma.
A bemutató a kutatók szerint azt is érzékeltette, hogy a felhasználói szimuláció több egy LLM-ügynök véletlenszerű cselekvésre kérésénél. A modellezésnek figyelembe kell vennie a felhasználó preferenciáinak eloszlását, viselkedési mintáit és aktuális kontextusát.
A kutatás a szintetikus adatok szerepét vizsgálja
Danula Hettiachchi koordinálta és szervezte a bemutatót, emellett ötletekkel és visszajelzésekkel segítette az interaktív játék fejlesztését. Xinye Wanyan a diákokkal, szülőkkel és más látogatókkal való kapcsolattartásban vállalt fontos szerepet. Közérthető példákkal ismertette a kutatást, és végigvezette a résztvevőket a játékon.
„Az Open Day bemutatója hozzáférhető élménnyé alakította a szélesebb kutatási problémánkat”, hangzott el a kutatói bemutató kapcsán.
A munka kapcsolódik az ADM+S „Evaluating Automated Cultural Curating and Ranking Systems with Synthetic Data” című kiemelt projektjéhez. Ez a projekt azt vizsgálja, hogyan használhatók a szintetikus adatok az automatizált rangsorolási és ajánlórendszerek tanulmányozására és értékelésére, többek között a sokféleség, a méltányosság és a befogadás kérdéseit vizsgálva.
Az ADM+S szeptember 7-i beszámolója alapján a bemutató a kutatási témát gyakorlati döntési helyzeteken keresztül tette érthetővé a látogatók számára. A játék azt mutatta meg, hogy egy ajánlás minőségéhez a felhasználói preferenciák mellett a viselkedési minták és az aktuális helyzet figyelembevétele is hozzátartozik.
ARC Centre of Excellence for ADM+S: Researchers present work via LLM-based user behaviour simulation game
