Az Apple GHARP módszere valós időben animálja a 3D-s fejeket
Az Apple kutatói bemutatták a GHARP nevű módszert, amely néhány bemeneti képből és egy vezérlő arckifejezés-jelből valós időben animál 3D-s emberi fejeket. A rendszer két szakaszra bontja a feladatot, és az Apple szerint az Ava-256 tesztkészleten a korábbiaknál jobb minőséget ért el, miközben egy A100 GPU-n akár 13-szor gyorsabban működött.
- A GHARP néhány képből és egy arckifejezés-jelből animál 3D-s emberi fejeket.
- A módszer offline identitási és futásidejű animációs szakaszra bontja a feladatot.
- A testigazító hálózat az elmosódást és az időbeli villódzást okozó bizonytalanságot kezeli.
- Az Apple szerint a GHARP az Ava-256 tesztkészleten a legkorszerűbb minőséget érte el.
- A rendszer egy A100 GPU-n akár 13-szor gyorsabb, és nyolcadannyi Gauss-elemet használ.
Különválasztják az identitást és az animációt
A GHARP neve a Real-time Gaussian Head Animation from Large-scale Reconstruction Prior rövidítése. A módszer célja, hogy egy emberi fej 3D-s megjelenítését néhány, az adott személyről készült képből, valamint egy arckifejezést vezérlő jelből állítsa elő és animálja.
A rendszer első, offline futó szakasza felépíti a személy geometriájának és megjelenésének reprezentációját. Ez a lépés számításigényes lehet, mivel a rendszer több bemeneti nézetet egyesít egy tömör, rögzített méretű, kanonikus Gauss-reprezentációban. A második szakasz futás közben működik, és egy könnyű hálózat segítségével az arckifejezéshez kapcsolódó eltéréseket jósolja meg az elkészült reprezentációhoz képest.
Az Apple kutatói szerint ez a felépítés kedvező egyensúlyt teremt a részletesség, a minőség és a futási sebesség között. Az animációs szakasz hálózatát mobil eszközökre optimalizálták, így a módszer nem kizárólag nagy teljesítményű számítógépes környezetre készült.
A rekonstrukciós modell adja a térbeli alapot
A GHARP egy előre betanított rekonstrukciós modell szemantikailag strukturált látens terében végzi az animációt. Ebben a térben az arckifejezések változásai térben elkülönülnek, ami hatékonyabbá teszi az eltérések előrejelzését.
A rekonstrukciós előzmény egyenletes térbeli elrendezést biztosít a rendszer számára. Ennek köszönhetően a különböző bemeneti nézetek egyetlen kompakt, rögzített méretű kanonikus Gauss-reprezentációba olvaszthatók össze. A 3D Gaussian Splatting technikához kapcsolódó Gauss-elemek a fej megjelenésének és geometriájának reprezentálásában vesznek részt.
A kutatók az eredményeket az Asian Conference on Computer Vision, vagyis az ACCV konferencián mutatják be. Az Apple kutatási oldala szerint a tanulmány 2026 októberében jelent meg. A szerzők között Ali Benlalah, Sepehr Johari, Patricia Vitoria, Armin Kappeler, Artem Sevastopolsky, Alexander Jung, Gabriele Fanelli, Kevin Mader, Manuel Breitenstein, Claudia Plüss, Jan Rüegg, Simon Biland, Thomas Etterlin, Dmitry Kostiaev, Mathias Deschler, Brian Amberg és Sebastian Martin szerepel.
A test és a ruházat külön problémát jelent
A módszernek van egy olyan korlátja, amely az Apple leírása szerint az arckifejezés-vezérelt avatarrendszerekre általánosan jellemző. Az arckifejezést leíró kódok csak az arcra vonatkoznak, ezért a test póza és a ruházat helyzete nem határozható meg egyértelműen a bemenetből.
Ez bizonytalan leképezést eredményez az animációs hálózat számára. Ha a tanítás során több, egymásnak ellentmondó testmegjelenés kapcsolódik ugyanahhoz az arckifejezéshez, a hálózat ezeket átlagolhatja. Ennek következménye az Apple szerint elmosódás és időbeli villódzás lehet.
A GHARP ezt egy testigazító hálózattal kezeli. A hálózat megtanulja összehangolni a célképen látható személy testét a bemeneti referenciafotókkal, így megszünteti a tanítási jelben meglévő bizonytalanságot.
A szerzők szerint kevesebb Gauss-elemmel is gyorsabb
A tanulmány szerint a GHARP az Ava-256 tesztkészleten a legkorszerűbb minőséget érte el. A módszer egy A100 GPU-n akár 13-szor gyorsabban futott, miközben nyolcadannyi Gauss-elemet használt. Ezek az eredmények a kétlépcsős felépítés és a rekonstrukciós modell látens terének szerepét mutatják a futás közbeni animáció hatékonyságában.
Az Apple kutatási oldalán a GHARP mellett egy korábbi, 2026. május 8-án közzétett kapcsolódó munka, a HeadsUp is szerepel. Ez nagy léptékű, többkamerás felvételekből rekonstruál magas minőségű 3D-s fejeket, és tömör látens reprezentációt használ. A GHARP erre a rekonstrukciós alapra építve választja külön a személy azonosító jellemzőinek előállítását és a futás közbeni arcanimációt.
