A Meta tétlen AI-kapacitással javítja a hirdetésajánlásokat

Globálisan szűkös, helyben mégis kihasználatlan kapacitás

A Meta október 12-én bemutatott mérnöki bejegyzése szerint az AI-következtetési rendszerek kapacitása összességében korlátozott lehet, miközben a flotta egyes részeiben jelentős tartalék marad kihasználatlanul. A vállalat ezeket a helyi tartalékokat egy közös, időszakosan elérhető kapacitáskészletbe gyűjti, majd hirdetésajánlások készítésére használja.

A jelenségnek több oka lehet. A rendszereket a csúcsterhelésre kell méretezni, miközben a forgalom napszakonként és évszakonként változik. A modellek fejlesztési és indítási ütemezése sem feltétlenül egyezik az infrastruktúra érkezésével. Régiónként eltérhet a gyorsítók és a támogató CPU-k aránya, továbbá a különböző gyártóktól, generációkból és architektúrákból származó gyorsítók sem mindig használhatók fel ugyanazokra a feladatokra.

Az így elérhető kapacitás bizonytalan erőforrás: bármikor visszavehető, rendelkezésre állása ingadozó, és hosszú távú garancia sem kapcsolódik hozzá. A Meta ezért olyan munkaterhelést választott, amely gyorsan képes növelni vagy csökkenteni az opcionális feladatok mennyiségét, közben pedig nagy léptékben is javítja az eredmény minőségét.

Két módszer a hirdetésajánlások javítására

Az első megoldás a Rank More Ads, röviden RMA. Egy felhasználói kéréshez a rendszer több millió jelölt közül választ ki néhány hirdetést, kevesebb mint egy másodperc alatt. Több rangsorolási szakaszt használ, amelyekben egyre összetettebb gépi tanulási modellek vizsgálják az egyre szűkebb jelöltlistákat.

Ha van szabad kapacitás, az RMA megnöveli a rangsorolási szakaszok által értékelt jelöltek számát. A Meta szerint így nagyobb eséllyel találhatók a felhasználó számára releváns hirdetések. A módszerhez általában CPU- és gyorsítókapacitásra is szükség van, mivel a többletjelöltek feldolgozása az adatlekérést és a jellemzők feldolgozását, valamint a következtetést is terheli.

A második módszer a Serve Better Models, röviden SBM. Ez a kérések egy részét nagyobb teljesítményű modellekhez irányítja, amikor több gyorsítókapacitás áll rendelkezésre. A rangsorolásba belépő hirdetések száma közben változatlan marad, ezért az upstream CPU-terhelés viszonylag stabil. Az SBM olyan kéréseket részesít előnyben, amelyek a Meta modellje szerint várhatóan többet profitálnak az erősebb modellből.

A két megoldás eltérő erőforrásigényt kezel. Az RMA CPU- és gyorsítókapacitást is felhasznál, az SBM pedig elsősorban a gyorsítók szabad kapacitását. A Meta időszakosan módosítja a két módszer közötti elosztást a mért teljesítmény és az elérhető erőforrások alapján.

Az alapvető kiszolgálás védelme

A rendszer egyik alapkövetelménye, hogy az opportunista kapacitás elvesztése legfeljebb az extra rangsorolási munkát csökkentse, az alapforgalom kiszolgálására fenntartott kapacitást viszont ne terhelje túl. Ezt elkülönített útválasztási célokkal, két külön visszacsatolási körrel és gyors, helyi terheléscsökkentéssel támogatják.

Az SBM esetében fizikai elkülönítést alkalmaznak. Az alapmodellt és a nagyobb teljesítményű modellt külön útválasztási célok szolgálják ki. A dedikált példányokat az alapmodell forgalmára méretezik, az időszakosan elérhető kapacitás példányai pedig a nagyobb teljesítményű modellhez kiválasztott kéréseket kezelik. Ha a tartalékkapacitás csökken, a rendszer mérsékli az erősebb modellhez irányított kérések arányát, amelyek ezután az eleve rendelkezésre álló alapmodellt használják.

Az RMA-nál logikai elkülönítés működik. A rendszer kiszámítja, mennyi többlet-rangsorolási munkát bírnak el az időszakosan elérhető kapacitásra telepített példányok, majd ez alapján globális keretet állít be. Így a hirdetésajánlás javulhat a meglévő infrastruktúra jobb kihasználásával, miközben az alapforgalomhoz szükséges kapacitás védve marad.