Az Apple kutatása szerint korlátai vannak a diffúziós modellek bizalmának

A tokenek közötti függőség okozza a problémát

Az Apple kutatói, Russ Webb, Amitis Shidani, Alice Bizeul és Dan Busbridge a Limits of Confidence in Diffusion című tanulmányban a diszkrét diffúziós modellek működését elemezték. A kutatás a remaskinget és az uniform-state samplereket is magában foglaló módszereket vizsgálja.

Ezek a rendszerek egy sorozatot több tokenpozíció egyidejű kitöltésével állítanak elő. Minden pozícióhoz külön eloszlást számítanak, majd ezekből az eloszlásokból választják ki, mely pozíciókat írják be az adott lépésben.

A vizsgált területeken, például képpontok, fonémák vagy szavak esetében, a tokenek között eleve lehetnek függőségek. A tanulmány szerint egy lépés akkor egyezik meg a tanítási eloszlással, ha az éppen kitöltött pozíciók feltételesen függetlenek a már rögzített tokenek ismeretében.

A különálló eloszlások nem írják le minden esetben a közös mintázatot

A kutatók matematikai érvelése szerint egy függő tokencsoport eloszlását nem lehet pozíciónkénti eloszlások szorzataként pontosan visszaadni. Ez azt jelenti, hogy ha több pozíció értékei egymással összefüggnek, az egyes pozíciókra külön kiszámított valószínűségek nem feltétlenül tartalmazzák a köztük fennálló kapcsolatot.

A tanulmány egy további korlátra is rámutat. A pozíciónkénti eloszlásokból önmagukban nem állapítható meg, hogy egy csoport függő-e. Két közös eloszlásnak azonosak lehetnek a pozíciónkénti peremeloszlásai, miközben eltérnek azok a kombinációk, amelyek ténylegesen előfordulnak bennük.

Ez a megállapítás a bizalmi sorrend használatát is érinti. A modell az egyes pozíciókhoz tartozó eloszlások alapján rangsorolhatja, mely tokeneket írja be, de ezek az értékek nem feltétlenül árulják el, hogy a kiválasztott pozíciók között közös függőség áll fenn.

A ScanAndAdd feladaton mért eltérések

Az Apple csapata a következtetéseket a ScanAndAdd nevű szintetikus feladaton ellenőrizte. Ennél a feladatnál a közös eloszlás zárt formában ismert, így összehasonlítható, mit kellene előállítania a modellnek, és milyen eloszlást eredményez a mintavételezés.

A kutatók azt találták, hogy a bizalmi rangsor által kiválasztott minden, legalább két még meghatározatlan pozícióból álló csoport függő volt. Ez közvetlenül érinti azt a feltételt, amely mellett egy lépés követheti a tanítási eloszlást.

A mért generált eloszlás teljes variációs távolsága a mintavételezési zajszintjének 29-szerese volt. Közben a mintánkénti mérőszámok értéke 1,0 lett. A kutatás így arra szolgál példaként, hogy a mintánként számított mutatók tökéletes értéke mellett is kimutatható eltérés lehet a teljes generált eloszlásban.

Mit jelent ez a diffúziós modellek értékelésében?

Az Apple tanulmánya szerint a diffúziós mintavételezés megítéléséhez nem elég kizárólag az egyes pozíciókhoz tartozó bizalmi értékeket vagy a mintánkénti mérőszámokat vizsgálni. A tokenek közötti közös függőségek meghatározhatják, hogy egy adott lépés mennyire követi a tanítási eloszlást.

A szerzők eredményei elsősorban módszertani korlátot írnak le. A kutatás egy olyan feltételt azonosít, amely mellett a több pozíciót egyszerre író lépés pontos lehet, és bemutatja, hogyan térhet el ettől a folyamat akkor, ha a kiválasztott pozíciók függnek egymástól. A ScanAndAdd eredményei azt is jelzik, hogy a globális eloszlás vizsgálata a mintánkénti mutatók mellett külön információt adhat.