A Netflix új módszerrel méri a személyre szabott ajánlások értékét

Nehéz megmérni, mit okoz maga az ajánlás

A személyre szabott ajánlások régóta a Netflix felhasználói élményének központi elemei. A szolgáltatás nagy és folyamatosan változó katalógusában az ajánlórendszer segít a tagoknak megtalálni a számukra érdekes filmeket és sorozatokat. A Netflix szerint azonban annak megállapítása, hogy mekkora értéket teremtenek az ajánlások, mérési kérdés is.

Önmagában nem ad választ erre, hogy a megtekintések mekkora része származik ajánlott címekből. Az ajánlások ugyanis célzottak. Egy cím azért jelenik meg egy felhasználó kezdőlapján, mert a rendszer előrejelzése szerint érdekelheti az adott nézőt. Ha ezt követően megnézi, nem tudható biztosan, hogy az ajánlás miatt választotta, vagy eleve szerette volna megnézni.

A Netflix nem egy teljes körű kísérlettel próbálta megoldani a problémát, amelyben mindenki személyre szabás nélküli felületet kapna. A vállalat szerint ez jelentősen ronthatná a felhasználói élményt. Ehelyett egy viselkedési modellt épített, amely az alapvető nézői preferenciákat elkülöníti az ajánlások többlethatásától.

A modell a napi választásokat és a változó ízlést követi

A modell a Netflix-használatot napról napra meghozott döntések sorozataként kezeli. Egy adott napon a tag választ egy elérhető címet, vagy úgy dönt, hogy nem néz semmit. A cél annak becslése, hogy az egyes címeket milyen valószínűséggel választja az adott néző, figyelembe véve preferenciáit, korábbi megtekintéseit és a látott ajánlásokat.

A készítők alacsony rangú választási modellt, vagyis low-rank choice modelt alkalmaztak. Ez a címek és a nézők aktuális preferenciáinak megtanult reprezentációival dolgozik. A reprezentációk nem kizárólag előre megadott jellemzőkre, például műfajra, szereplőkre vagy nyelvre támaszkodnak, hanem magatartási adatokból tanulják meg a címek közötti finomabb hasonlóságokat.

A modell a nézők változó ízlését is kezeli. Más lehet valakinek a választási állapota egy krimisorozat befejezése után, mint egy stand-up műsor vagy gyerekfilm megtekintését követően. A rendszer ezért nem rögzített preferenciát rendel minden taghoz, hanem a korábbi megtekintési előzményeket aktuális állapottá foglalja össze.

Az ajánlás külön hatást kap a modellben. Ez a többlet növeli annak valószínűségét, hogy a néző kiválasztja az adott címet. A Netflix értelmezése szerint ez két mechanizmust foglalhat magában: az ajánlás felhívhatja a figyelmet egy korábban nem ismert címre, illetve jelezheti, hogy az jó választás lehet az adott néző számára.

A kísérletek szerint a modell jól becsüli a helyettesítést

A vállalat a modellt kisebb, véletlenszerű kísérletekkel ellenőrizte. Ezekben mesterségesen változtatták bizonyos címek láthatóságát, így egyes filmek és sorozatok több, mások kevesebb ajánlási megjelenést kaptak. A résztvevőket olyan kezelési csoportokba osztották, amelyeknél különböző kategóriák felé vagy azoktól elmozdították az ajánlásokat.

A tesztek azt mérték, hogy ha egy címcsoport kevésbé láthatóvá válik, a megtekintés mennyiben terelődik át más címekre, illetve mekkora része tűnik el teljesen a Netflixen töltött megtekintési időből. Ezt a mutatót a Netflix terelési aránynak, vagyis diversion ratio-nak nevezi.

A kutatók a modellt a kontrollcsoport adataiból becsülték meg, majd ugyanazokat a változtatásokat szimulálták vele, amelyeket a kísérletben alkalmaztak. A modell által előre jelzett terelési arányok korrelációja 0,86 volt a kísérleti becslésekkel, az R-négyzet értéke pedig 0,73. A Netflix szerint ez arra utal, hogy a modell képes pontosan megragadni, miként változik a választás, ha módosulnak az ajánlások.

A módszerrel más ajánlórendszerek is összevethetők

A validált modell lehetővé teszi olyan ellenpéldák vizsgálatát, amelyek közvetlenül nem figyelhetők meg. A kutatók feltehetik például, mi történne, ha egy adott cím nem kapna ajánlást, más címekből állna az ajánlott készlet, vagy a jelenlegi rendszer helyett egyszerűbb ajánlórendszert használnának.

Mivel a modell külön kezeli a nézői preferenciákat, a címek vonzerejét és az ajánlás hatását, a Netflix szerint nemcsak az összes megtekintésre gyakorolt hatás becsülhető meg. Az is vizsgálható, hogyan változik az, hogy a tagok mely címeket választják. A módszert a vállalat a International Journal of Industrial Organization folyóiratban megjelent új cikkben ismerteti, és a 2026-os ACM Conference on Economics & Computation rendezvényén is bemutatja.