A laikusok könnyebben elhiszik a téves orvosi AI-tanácsokat

Ugyanaz a magyarázat mást jelenthet laikusnak és orvosnak

Az MIT és más intézmények kutatói bőrbetegségek felismerését vizsgálták laikusok és alapellátásban dolgozó orvosok körében. A résztvevők orvosi képeket kaptak, és különböző formában megjelenő mesterségesintelligencia-támogatás mellett kellett diagnózist felállítaniuk.

A vizsgált rendszerek között volt olyan, amely csak az AI-előrejelzést és a hozzá tartozó megbízhatósági szintet mutatta, más hasonló képekkel támasztotta alá a döntést, egy hőtérkép a kép fontosabb részeit emelte ki, egy nagy nyelvi modell pedig közérthető szövegben magyarázta el az eredményt.

A laikusoknál minden magyarázati módszer javította a pontosságot, főként a nem rákos anyajegyek felismerésében. A kutatók szerint ez nagyrészt abból fakadt, hogy a résztvevők a modellre hagyatkoztak. Ha az AI tévedett, ez jobban rontotta a teljesítményüket, mint amennyit a helyes előrejelzések javítottak rajta.

A nagy nyelvi modell magabiztosabbá tette a téves válaszokat

A kutatásban a laikusok különösen erősen támaszkodtak a nagy nyelvi modell által készített magyarázatokra. Akkor is meggyőzőnek találták ezeket, amikor az AI diagnózisa hibás volt, és a homályos vagy általános megfogalmazásokat is meggyőzőbbnek ítélték. A hibás válaszok mellett ráadásul magabiztosabbak lettek.

Az orvosok másképp használták az eszközöket. Már volt saját diagnosztikai elképzelésük, ezért az AI-válaszokat a képzettségük alapján ellenőrizték. Kevésbé zavarta meg őket a hibás magyarázat, és a vizsgált módszerek közül akkor teljesítettek a legjobban, amikor csak a modell előrejelzését kapták meg, magyarázat nélkül. A nagy nyelvi modell magyarázatai javították a legkevésbé a teljesítményüket.

A kutatók azt is megállapították, hogy azok a résztvevők, akik maguk AI nélkül a leggyengébben teljesítettek, hajlamosabbak voltak a leginkább a rendszerre hagyatkozni. Az is számított, mikor kapták meg a magyarázatot. Ha azt már a saját diagnózisuk előtt látták, nagyobb eséllyel követték a modellt.

A kutatók szerint a rendszer kialakítása és időzítése is fontos

A tanulmány szerint az AI az embereknél jobban teljesített, amikor a betegség jelei finomak voltak. Az emberek viszont sokkal jobbak voltak olyan esetekben, amikor a képen atipikus tünetek vagy a diagnózishoz nem kapcsolódó jellemzők jelentek meg.

A kutatók egy, a sötétebb bőrtónusokkal szembeni torzítás mérséklésére kialakított, méltányossági korlátozásokkal működő modellt is teszteltek. Ez jelentősen javította a pontosságot, és csökkentette a bőrtónushoz kapcsolódó diagnosztikai különbségeket.

Az MIT közleménye szerint a részletesebb AI-magyarázatok helyett hatékonyabb lehet, ha a felhasználó először saját diagnosztikai hipotézist ad, a rendszer pedig ezután további lehetséges betegségeket ajánl megfontolásra. A tanulmány szerzői úgy vélik, hogy a magyarázatoknak a kritikus gondolkodást kell támogatniuk, különben a felhasználók vakon követhetik a hibás ajánlásokat.

A kutatás leírása a Nature Medicine folyóiratban jelent meg. Marzyeh Ghassemi, az MIT kutatója szerint a jó AI-rendszerek javíthatják a teljesítményt bizonyos egészségügyi helyzetekben, de ezt össze kell hangolni az algoritmussal szembeni túlzott engedelmesség kockázatával. A megállapítás különösen fontos a laikusok számára, akik AI-alapú keresőkkel önállóan is próbálhatnak bőrbetegségeket azonosítani.