A Meta Andromeda már több mint egymilliárd hirdetést értékel másodpercenként

A hirdetésajánlás első szűrője

A Meta Andromeda a személyre szabott hirdetéskeresésért felelős gépi tanulási rendszer. Ez az ajánlási folyamat első szakasza: a rendszer ezredmásodpercek alatt a jogosult hirdetések hatalmas halmazából kiválasztja az erős jelölteket, amelyeket egy későbbi, számításigényesebb rangsorolási szakasz vizsgál részletesebben.

A Meta szerint az új rendszer gyártási környezetben minden jogosult hirdetést értékel, miközben a rangsoroláshoz közeli modellminőséget nyújt a keresési szakasz sebességén. A vállalat közlése alapján az Andromeda 2025 óta 2,4 százalékkal növelte a konverziók számát a Facebookon.

A Meta 2024-ben indította el az Andromedát az NVIDIA GH200 Grace Hopper Superchipre építve. Az akkori rendszer a modell kapacitását négy nagyságrenddel növelte. Azóta a generatív mesterséges intelligenciára épülő kreatív eszközök több százmillió új hirdetés gyors létrehozását tették lehetővé, így a Meta hirdetésjelöltjeinek halmaza tovább bővült.

Mi változott az új modellben?

Az új Andromeda a nagy nyelvi modellekből ismert szakértői keverékét, vagyis mixture-of-experts, MoE architektúrát alkalmazza a hirdetéskeresésben. A Meta szerint az új felépítés a rangsorolási szinthez közelítő teljesítményt ér el, nagyjából 300-szor kevesebb következtetési művelettel, mint a 2024-es Andromeda.

A felhasználói oldalon egyetlen felhasználói torony helyett specializált felhasználói tornyok együttese dolgozik. Ezek többféle jelet használnak, köztük a hirdetésekkel kapcsolatos eseménysorokat, felhasználói csoportok reprezentációit, nagy nyelvi modellekből származó szemantikai jellemzőket és a Meta különböző felületein mért közös aktivitási jeleket.

A hirdetésjelöltek tornya valós idejű kiszolgálási környezetet is beépít a kódolásba. A rendszer ezután egy MoE-alapú, figyelmi mechanizmust használó kapuhálózattal választja ki az adott jelölt számára leginkább releváns felhasználói szakértőket. A Meta szerint ez a megoldás a korábbi sűrű neurális hálózatokhoz képest kisebb számítási igény mellett közel rangsorolási szintű teljesítményt ad.

Egyetlen GPU-folyamat a szűk keresztmetszetek ellen

A Meta közlése szerint az új modell egyetlen GH200 GPU-n másodpercenként több mint 10 milliárd hirdetést képes feldolgozni. A vállalat olyan architektúrát alakított ki, amelyben a modell futtatása és a rendszer működéséhez szükséges feladatok egyetlen, összevont GPU-kernelben futnak.

Erre azért volt szükség, mert milliárdos nagyságrendű áteresztőképességnél a memória sávszélessége válik meghatározó korláttá. A különálló GPU-kernellek közötti köztes tenzorok terabájtos nagyságrendű memóriaforgalmat okozhatnak másodpercenként. Az összevont kernel a köztes eredményeket a GPU regisztereiben és a szálblokkok megosztott memóriájában tartja, így nem kell azokat minden lépésben a nagy sávszélességű memóriába kiírni.

A 2026-os Andromeda tervezésében a Meta az NVIDIA-val működött együtt, hogy a keresési folyamat egyes elemeit a jelenlegi hardvergeneráció korlátaihoz igazítsa. A rendszer egyelőre a forrás szerint egyetlen GH200 GPU-n ér el több mint 10 milliárd hirdetéses másodpercenkénti modellkövetkeztetési sebességet.

Mit jelent ez a hirdetőknek?

A Meta szerint a nagyobb keresési sebesség és a pontosabb modell lehetővé teszi, hogy a rendszer ugyanazon késleltetési kereten belül nagyobb hirdetésjelölti halmazból válasszon. A vállalat értelmezése szerint ez automatikusan jobb teljesítményt jelenthet a hirdetők számára, mivel a rendszer több lehetséges hirdetés között tudja megtalálni a felhasználóhoz illő jelölteket.

Az új architektúra további modellbővítéseket is lehetővé tesz. A Meta szerint gazdagabb jellemzőkapcsolatokkal, további szakértői alhálózatokkal és mélyebb architektúrákkal növelhető a modell kapacitása anélkül, hogy a GPU-költség ugyanilyen arányban emelkedne. A cég állítása alapján minden ilyen modellfejlesztés növelheti a hirdetők számára biztosított értéket.