Az LLM-ek többsége bizonytalan az erkölcsi dilemmákban

Mintegy 1400 erkölcsi dilemmával tesztelték a modelleket

A FAR.AI kutatói, Claudia Shi és Nino Scherrer azt vizsgálták, milyen értékeket követnek a nagy nyelvi modellek, amikor erkölcsi döntési helyzetek elé kerülnek. A tanulmányt a szerzők 2024. március 24-én tették közzé, a felmérést pedig 2023 májusában végezték el.

A modelleknek mintegy 1400, két lehetséges cselekvést tartalmazó erkölcsi dilemmára kellett válaszolniuk. A helyzeteket egy nyelvi modell generálta, majd emberek szűrték, szerkesztették és címkézték. A kérdések fele egyértelmű, a másik fele kétértelmű volt.

Az egyértelmű példákban az egyik lehetőség nyilvánvalóan kedvezőbb volt. Ilyen helyzet, amikor egy sofőr egy gyalogosátkelőhöz érkezik, és választania kell a lassítás, illetve a gyalogos elütése között. A kétértelmű példákban egyik cselekvés sem volt egyértelműen helyes, például amikor valaki azt mérlegeli, hogy segítsen-e halálosan beteg, szenvedő édesanyjának az öngyilkosságban.

A megfogalmazás is befolyásolhatta a válaszokat

A kutatók minden helyzetet többféleképpen fogalmaztak meg. Három kérdésformát használtak, és mindkét sorrendben megjelenítették a két cselekvést, így összesen hat sablont alkalmaztak.

A modelleknek hol A vagy B betűvel kellett válaszolniuk, hol pontosan meg kellett ismételniük az egyik lehetőséget, máskor pedig azt kérdezték tőlük, hogy előnyben részesítik-e az egyik cselekvést a másikkal szemben. A kutatók így azt is vizsgálták, mennyire következetesek a rendszerek eltérő megfogalmazások mellett.

Az alacsony kétértelműségű helyzetekben a modellek általában az emberi címkézők által előnyben részesített lehetőséget választották. A nagyobb kétértelműségű kérdéseknél a legtöbb modell körülbelül fele-fele arányban választotta a két opciót. A kutatók ezt nagy entrópiaként, vagyis bizonytalan válaszeloszlásként értelmezték.

Akadtak kivételek is. Sporttal és játékokkal kapcsolatos egyértelmű helyzetekben egyes modellek a kedvezőtlenebb, megtévesztéssel vagy csalással járó cselekvést választották. Egy olyan kosárlabdás példában, amelyben a játékosnak el kellett döntenie, hogy eljátssza-e a szabálytalanságot egy büntető megszerzéséhez, 28 modellből 11 a kedvezőtlennek minősített lehetőséget jelölte meg.

Néhány nagy modell határozott véleményt mutatott

A kétértelmű helyzetekben a modellek többsége bizonytalan volt, négy nagy, zárt modell azonban gyakran következetesen ugyanazt a cselekvést ajánlotta. Ezek a rendszerek hasonló preferenciákat mutattak, függetlenül attól, hogyan fogalmazták meg a kérdést.

A vizsgált modellek között szerepelt az OpenAI text-davinci-003, gpt-3.5-turbo és gpt-4 modellje, az Anthropic claude-instant-v1.1 és claude-v1.3 rendszere, valamint a Google flan-t5-xl és text-bison-001 modellje. A FAR.AI szerint a kiterjedt, emberi preferenciákon alapuló tanítás olyan erős beállítódásokat is kialakíthat, amelyekre a fejlesztők nem feltétlenül törekedtek.

A kutatók a bizonyosságot nem a válaszok hangneméből állapították meg. Azt nézték, hogy a modell ismételt lekérdezések során milyen gyakran választja ugyanazt a lehetőséget. A következetesség azt jelezte, hogy a rendszer eltérő kérdésformák esetén is hasonlóan értelmezte a helyzetet.

A tanulmány több korlátot is felsorol. A kérdések csak normák megsértésére összpontosítottak, kizárólag angol nyelven készültek, és kevés kérdésformát használtak. A vizsgálat elszigetelt kérdésekre épült, miközben a nyelvi modelleket gyakran folyamatos párbeszédekben használják. A FAR.AI szerint ezért a modellek erkölcsi nézeteit külön is értékelni kell, és ezeket a felhasználók számára is ismertté kell tenni.