A Samsung bemutatta, hogyan követi a My FanCam a kiválasztott személyt videóban

Személykövetés néhány koppintással

A Samsung Galaxy Z sorozatának egyik új kamerás funkciója a My FanCam, amelyet a vállalat szerint különösen a K-pop-rajongók körében emlegetnek sokat. A funkció lényege, hogy a felhasználó kiválaszt egy személyt egy videóban, a rendszer pedig automatikusan követi az illető mozgását a felvétel során.

A Samsung Newsroom interjúja szerint a megoldás nem csak koncertfelvételeknél használható. A cég példái között szerepel kedvenc előadó kiemelése, családi és baráti pillanatok szerkesztése, gyerekprogramok, utazások, edzések és régebbi videók újravágása is.

A fejlesztésben a Samsung Research Visual Technology Teamje, valamint a Mobile eXperience, azaz MX Business Multimedia Development Groupja vett részt. A Samsung három szakértőt szólaltatott meg: Hwangpil Parkot a Samsung Researchtől, valamint Seonghwan Kimet és Sherry Hongot az MX Business részéről.

AI-modell azonosítja és jegyzi meg a szereplőket

Hwangpil Park a Samsung Newsroomnak azt mondta, hogy a My FanCam működésének kulcsa egy olyan AI-modell, amely pontosan felismeri az egyes személyeket. A modell azonosítja és megjegyzi az emberek helyzetét és vizuális jellemzőit, így a videó során képes ugyanazt a személyt felismerni és tovább követni.

A felhasználói élmény tervezésénél a várakozási idő csökkentése volt az egyik fő szempont. Seonghwan Kim szerint a csoportos videóknál a felhasználók több szereplő között is válthatnak, de ha minden váltásnál újra kellene elemezni a videót, az ismételt várakozást jelentene. Ezért a My FanCam egyszerre több embert elemez, és az első elemzés után a felhasználó azonnal láthatja az eredményt, amikor másik személyre vált.

A Samsung szerint a szerkesztési folyamatot is egyszerűsítették. A felhasználó a jelenethez igazíthatja a képarányt, és olyan videót készíthet, amely jobban illeszkedik a saját igényeihez.

Valós videókon csiszolták a rendszert

A fejlesztés során a Samsung Research és az MX Business szoros együttműködésben dolgozott. Sherry Hong szerint a koncepció érettebbé válásával a heti megbeszélések napi egyeztetésekké alakultak, ahol minden reggel követték a haladást.

A teszteléshez sokféle valós helyzetet használtak. A Samsung interjúja szerint voltak, akik régi egyetemi videókat, például táncklubos felvételeket hoztak, mások új anyagokat készítettek, például hegymászással kapcsolatos videókat.

Park arról beszélt, hogy a kutatási környezetben jól működő technológia valós felvételeken másként viselkedhetett. Ilyen eltérést okozhatott a gyors mozgás vagy az, amikor emberek takarták egymást a képkockában. Az MX Business ezeket az eseteket megosztotta a Samsung Researchcsel, amely elemezte az okokat, finomította az AI-modellt és a követési módszereket, majd a változtatásokat termékkörnyezetben ellenőrizték.

Teljesen eszközön futó feldolgozás

Kim szerint a legnagyobb kihívás az volt, hogy az AI-terhelést külön szerver nélkül, teljes egészében az eszközön dolgozzák fel. A hosszabb videók több számítást igényelnek, ezért a feldolgozási sebességet, az energiafogyasztást és a hőtermelést is figyelembe kellett venni.

A Samsung Research a forrás szerint úgy optimalizálta az AI-modellt, hogy kevesebb számítással érje el a kívánt eredményt. Az MX Business közben a teljes folyamatot egyszerűsítette, a videó dekódolásától az adatátvitelen át az elemzésig, hogy csökkenjen a számítási terhelés, a teljesítményre gyakorolt hatás minimalizálása mellett.

A fejlesztők arra is számítottak, hogy a kiválasztani kívánt személy nem mindig látszik jól a videó elején. Iskolai előadásokon vagy sportnapokon például előfordulhat, hogy az érintett csak a felvétel közepén jelenik meg, vagy mások takarásában van. Ezért a My FanCam lehetővé teszi, hogy a felhasználó a videó bármely pontján olyan pillanatot keressen, amikor a személy jól látható, és ott jelölje ki.

Mit jelent ez a felhasználóknak?

A Samsung szakértői szerint a My FanCam nem igényli, hogy a felvétel készítésekor végig egy adott személyt kövessen a kamera. A felhasználó inkább magára a pillanatra figyelhet, majd utólag döntheti el, kit emelne ki a videóból.

Kim azt javasolta, hogy felvételkészítéskor érdemes nagy felbontású beállítást használni, és kissé tágabb képkivágással rögzíteni a jelenetet, hogy maradjon hely a személy körül. A kijelöléshez olyan képkockát ajánlott választani, ahol a kiválasztott ember nem fed át túlzottan másokkal, és az arca, felsőteste vagy teljes teste jól látható.

A funkció a Samsung szerint nem csak Galaxy készülékkel rögzített videókkal működik. Ez azt jelenti, hogy a felhasználók régi koncertfelvételeket, utazási videókat vagy más személyes anyagokat is új nézőpontból szerkeszthetnek meg, egy számukra fontos személyre fókuszálva.