Egyszerűbb modellek is lekörözték a Transformereket ajánlási teszteken

A kutatás azt vizsgálta, mit mérnek a benchmarkok

A szekvenciális ajánlórendszerek feladata annak előrejelzése, hogy a felhasználó milyen elemmel lép majd kapcsolatba legközelebb. A területen gyakran használnak olyan benchmarkokat, amelyek többek között az Amazon és a MovieLens adathalmazaira épülnek.

A Transformer-alapú modellek, például a SASRec, önfigyelési mechanizmussal elemzik a felhasználó korábbi interakcióit. Ez lehetővé teszi, hogy az előzmények elemeit egymás kontextusában értelmezzék. A Spotify Research arra keresett választ, hogy a benchmarkokon elért jó eredmények valóban ezt az összetettebb, magasabb rendű szekvenciamodellezést igénylik-e.

A kutatók három összetettségi szintet hasonlítottak össze: csak a legutóbbi interakciót használó modelleket, a korábbi elemekből külön-külön bizonyítékot gyűjtő páros modelleket, valamint az előzményeket közösen értelmező Transformereket.

Hét modellt vetettek össze öt adathalmazon

Az összehasonlításban összesen hét modell szerepelt. A legutóbbi interakcióra építő csoportba a Markov Chain, az FMC és az FMC+ tartozott. Ezek azt becsülik, milyen elem szokott következni az utolsóként látott elemből.

A páros modellek közül a Sequential Rules súlyozott elemközi átmeneti szabályokat használ, a Probabilistic Collaborative Transition Model, vagyis PCTM pedig az előzményekben megfigyelt átmenetekből becsüli a következő elem valószínűségét. Mindkét modell külön kezeli az előzmény egyes elemeiből származó bizonyítékokat, és recenciasúlyokat alkalmaz. A PCTM az adatok ritkaságát simítással kezeli, így kevés megfigyelés esetén nagyobb szerepet kapnak azonos kiinduló valószínűségek.

A Transformer-csoportot a SASRec és annak továbbfejlesztett változata, az eSASRec alkotta. A teszteket az Amazon Beauty, Sports és Toys, valamint a MovieLens-1M és MovieLens-20M adathalmazokon végezték el. Minden modellnél az eSASRec-kutatásban közzétett adatszétválasztást és értékelési protokollt használták.

Négy benchmarkon a páros modellek magasabb pontszámot értek el

A Spotify Research szerint az öt benchmark közül négyen legalább egy páros modell magasabb pontszámot ért el, mint mindkét tesztelt Transformer-reprodukció. A rangsorolási minőséget az NDCG@10 mutatóval mérték, amely akkor ad magasabb értéket, ha a felhasználó következő interakciója a tíz ajánlott elem között előrébb szerepel.

A kutatás eredményei szerint a legutóbbi interakció önmagában is hasznos jel. Az FMC+ például a Beauty adathalmazon közel került a SASRec eredményéhez, a Toys adathalmazon pedig mindkét Transformert felülmúlta. Ugyanakkor mind az öt adathalmazon mindkét előzményérzékeny páros modell magasabb pontszámot ért el a három, csak az utolsó elemre támaszkodó modellnél. Az erősebb páros modell a legjobb utolsóelem-modellhez képest körülbelül 20 és 46 százalék közötti javulást mutatott.

Mindhárom Amazon benchmarkon a két páros modell a két Transformert is megelőzte. A MovieLens-1M adathalmazon a PCTM 0,1815-ös értéket ért el, míg az eSASRec 0,1739-et, ami a forrás szerint hozzávetőleg 4,4 százalékos relatív javulás.

A MovieLens-20M kivételt jelentett

A MovieLens-20M adathalmazon a vizsgált Transformerek előnye megmaradt a tesztelt páros modellekkel szemben. Ez alapján a magasabb rendű szekvenciamodellezés előnye nem minden benchmarkon tűnik el, de a négy másik adathalmazon elért eredmények arra utalnak, hogy az erős benchmarkpontszám önmagában nem bizonyítja a közös, kontextusfüggő előzményértelmezés szerepét.

A szerzők hangsúlyozzák, hogy a bemutatott eredmények pontbecslések. A tanulmány nem közöl konfidenciaintervallumokat. A kutatás gyakorlati üzenete ezért az, hogy a Transformer-modellek értékelésekor egyszerűbb, páros átmenetekre épülő kontrollmodelleket is érdemes bevonni, különösen akkor, ha azt akarjuk megérteni, milyen modellezési képességet tesztel valójában az adott benchmark.