Egyetlen értékelés is teljesen megváltoztathatja az AI vásárlási döntését
Egyetlen külső értékelés akár 99 százalékponttal is megváltoztathatta egy AI vásárlási ügynök termékválasztását. A Wharton kutatása szerint a források, azok sorrendje, a tárolt felhasználói információk és az eredmények átadásának módja egyaránt befolyásolhatja, mit ajánl vagy választ az ügynök.
- Egyetlen külső értékelés akár 99 százalékponttal módosíthatta egy termék kiválasztását.
- A több ajánlás nem feltétlenül eredményezett kiegyensúlyozottabb döntést.
- Ugyanazon források sorrendje négy modellnél jelentősen megváltoztatta a választási mintázatokat.
- A „Imádok túrázni!” felhasználói emlék négy modellt drágább, túrázáshoz ajánlott Garmin felé terelt.
- Az ajánlások összevont vagy egymást követő átadása is eltérő eredményekhez vezetett.
Nyolc okosóra közül sem volt stabil a választás
A Wharton School kutatói öt ellenőrzött vizsgálatban elemezték, hogyan választanak a fejlett AI-modellek egy fitneszórát. A kísérleteket az ACES nevű, szimulált e-kereskedelmi környezetben végezték, feltételenként 200 futtatással. Az első négy vizsgálatban hat modell vett részt, a különböző eszközhívási módokat elemző vizsgálatban pedig négy modell.
Forrásanyag nélkül mindegyik modellnek határozott kiinduló preferenciája volt a nyolc óra valamelyike iránt. Egyetlen, elsőként megmutatott értékelés azonban jelentősen módosíthatta ezt. A kutatók Reddit-beszélgetést, Wirecutter-összeállítást és életmódmagazinos ajánlót is vizsgáltak. A hatás modellenként és forrásonként eltért, a Wirecutter-feltételben azonban egy termék kiválasztási aránya akár 99 százalékponttal is megváltozott.
A több forrás sem feltétlenül kiegyensúlyozottabb
A kutatás szerint az AI-ügynökök nem egyszerűen átlagolták a különböző ajánlásokat, amikor két vagy három, eltérő terméket javasló forrást kaptak. A Wirecuttert is tartalmazó kombinációk gyakran továbbra is az ott ajánlott termék felé terelték a választást. Egyes modelleknél ez a hatás több forrás megjelenése után még erősebb lett.
Az információk sorrendje szintén számított. Ugyanannak a három forrásnak az átrendezése a hat modellből négy esetében jelentősen módosította a termékválasztási mintázatokat. Egy további modellnél kisebb, határesetnek számító hatást mértek, míg a Claude Haiku 4.5 nem mutatott jelentős sorrendérzékenységet.
Egy rövid felhasználói emlék felülírhatta a jobb ajánlatot
A kutatók azt is megvizsgálták, hogyan hat egy korábban eltárolt felhasználói információ. A módosított terméklistában szerepelt egy olyan óra, amely az ár, a csillagos értékelés és a vélemények száma alapján felülmúlta a látható alternatívákat. A rendszer memóriájában ugyanakkor szerepelt a felhasználó korábbi mondata: „Imádok túrázni!”
Ez az egy sor négy modellnél egy jóval drágább, túrázáshoz pozicionált Garmin felé tolta a választást. Két modellnél nem jelent meg ugyanez a reakció. A vizsgálat így azt mutatta, hogy a felhasználókról tárolt információ olyan termék felé is terelheti az ügynököt, amely nem a legolcsóbb vagy a látható adatok alapján legkedvezőbb lehetőség.
Az eszközök adatátadása is megváltoztatta az eredményt
A végső vizsgálatban négy modell ugyanazt a három ajánlást kapta meg kétféle módon. Az egyik esetben az eredmények egyetlen, összevont eszközhívásban érkeztek, a másikban három egymást követő hívásban. Mind a négy modellnél jelentősen eltérő választási mintázat alakult ki. Az összevont átadás erősebben favorizálta a Wirecutter által ajánlott terméket.
A Wharton szerint az eredmények azt jelzik, hogy az AI-vásárlási ügynökök ugyanarra a kérésre is eltérően válaszolhatnak a háttérben kapott tartalom, a források sorrendje, a tárolt felhasználói adatok és a technikai megvalósítás miatt. Ez az értékesítők számára nehezebbé teheti az ügynökös vásárlás előrejelzését vagy optimalizálását a hagyományos keresőoptimalizáláshoz képest. A vásárlási ügynököket fejlesztő vállalatoknak a kutatás alapján a következetességet is tesztelniük kell.
Wharton AI & Analytics Initiative: Your AI Shopping Agent Is Less Consistent Than You Think
