Whareformer: így követi a robot szemszögéből eltűnő tárgyakat
A NAVER LABS Europe bemutatta a Whareformer nevű, transzformer-alapú modellt, amely hosszú, viselői nézőpontból rögzített videókban követi a tárgyakat akkor is, ha azok kikerülnek a képből vagy részben takarásba kerülnek. A kutatók szerint ez az első tanulásalapú megoldás az ehhez létrehozott OSNOM-feladatra.
- A Whareformer hosszú, egocentrikus videókban követi a tárgyakat.
- A modell akkor is fenntartja a tárgyak helyére vonatkozó információt, amikor azok eltűnnek a látómezőből.
- A rendszer frissíthető memóriát és párosítási modult használ.
- A modellt 56 videón tanították, majd 260 tesztvideón értékelték.
- A NAVER LABS Europe szerint a Whareformer SOTA teljesítményt ért el három adathalmazon.
A tárgyak eltűnés után is a rendszer emlékezetében maradnak
A kutatás az „Out of Sight, Not out of Mind”, röviden OSNOM feladatra összpontosít. Ennek célja, hogy a rendszer olyan tárgyakat kövessen egocentrikus videókban, amelyeket a kamerát viselő személy mozgat. A modellnek közben folyamatosan nyilván kell tartania az egyes példányok helyét, akkor is, ha azok átmenetileg eltűnnek a látómezőből, vagy erősen takarásba kerülnek.
Ez a helyzet eltér a hagyományos tárgykövetéstől, ahol a rendszer jellemzően az egymást követő képkockákon keresi ugyanazt az objektumot. Az OSNOM esetében a videóban korábban látott tárgyakról akkor is fenn kell tartani az információt, amikor közvetlen vizuális megfigyelésük megszakad.
Két komponens dolgozik együtt a Whareformerben
A Whareformer két fő részből áll. Az egyik egy frissíthető memória, amely a már létrehozott követési pályákat tárolja. A másik egy párosítási modul, amely az új megfigyeléseket előrecsatolt módon társítja a meglévő pályákhoz.
A rendszer egyszerre következtet a tárgyak változó megjelenésére, vagyis arra, hogy mi látható, valamint a frissített háromdimenziós helyzetükre, vagyis arra, hogy hol vannak. A modell egy tanulható, „New Track” nevű tokent is használ. Ennek feladata, hogy az újonnan megjelenő tárgyak felismerését és külön pályaként való kezelését segítse.
A NAVER LABS Europe szerint a modell kialakításában fontos szerepet kapnak a relatív távolságok és a folyamatosan változó pályareprezentációk. Ezekkel a megoldásokkal a Whareformer kis mennyiségű tanítóadaton is betanítható.
56 videón tanították, 260 hosszú tesztvideón értékelték
A kutatók 56 videóból álló adathalmazon tanították a Whareformert. A modell teljesítményét 260 hosszú tesztvideón vizsgálták, három adathalmaz felhasználásával: az EPIC-KITCHENS-100 nem látott videóin, az IT3DEgo adathalmazon és a HD-EPIC adathalmazon.
A közlemény szerint a Whareformer a korábbi módszerekhez képest jelentős abszolút javulást ért el, és a feladaton jelenleg legjobbként jelölt, SOTA teljesítményt mutatta. A NAVER LABS Europe közlése alapján ez azt jelenti, hogy a modell a tanítás során nem látott hosszú videókon is képes volt kezelni a tárgyak megjelenésének változását, eltűnését és újbóli felbukkanását.
A tanulmány szerzői Jacob Chalk, Saptarshi Sinha, Dima Damen, Yannis Kalantidis és Diane Larlus. A munkát a 19. European Conference on Computer Vision konferencián mutatják be, amelyet 2026. szeptember 8. és 12. között rendeznek a svédországi Malmöben.
A kutatás jelentősége a robotikai érzékelésben
A tartós tárgykövetés a robotok számára azért fontos, mert egy összetett környezetben az objektumok gyakran részben vagy teljesen kikerülnek a kamera látómezejéből. A NAVER LABS Europe robotikai kutatásai között szerepel a környezet, a tárgyak és az emberek vizuális érzékelése, valamint a háromdimenziós térben való tájékozódást támogató rendszerek fejlesztése.
A Whareformer eredményei a forrás szerint azt mutatják, hogy a tárgyak megjelenésére és térbeli helyére vonatkozó információ egyetlen, hosszú videón át frissíthető. Ez olyan robotikai rendszerek alapjául szolgálhat, amelyeknek változó környezetben kell nyomon követniük a tárgyakat, miközben azok időnként eltűnnek a közvetlen megfigyelésből.
NAVER LABS Europe: Where and what: long-term object tracking in egocentric videos
