A Google nyílt forrású GPU-motort ad ki eszközön futó MI-hez

Egy közös GPU-réteg több platformhoz

A Google AI Edge csapata október 8-án jelentette be az ML Drift kiadását. A könyvtár Apache 2.0 licenc alatt érhető el, és a LiteRT GPU-gyorsításának alapját adja. A fejlesztők önálló könyvtárként is használhatják saját grafikai és következtetési futtatókörnyezeteikhez.

A Google szerint az eszközökön futó MI fejlesztését megnehezíti a hardverek, GPU-architektúrák, illesztőprogram-verziók és alacsony szintű programozási felületek sokfélesége. Az ML Drift egységes réteget kínál az OpenGL ES, az OpenCL, a Metal és a WebGPU fölött, így ugyanaz az alap több platformon is használható. A cél a valós idejű, interaktív alkalmazások támogatása, a fejlett videóeffektektől a generatív MI-ig.

Új felépítés a komplex modellekhez

Az ML Drift egyik alapja a tenzorvirtualizáció. Ez elválasztja a tenzor logikai megjelenítését attól, hogy a GPU memóriájában fizikailag hogyan helyezkedik el. A Google szerint a fordító inicializálásakor működő dinamikus sablonok így egységes shadermodellt tesznek lehetővé, miközben csak minimális futásidejű többletterhelést okoznak.

A rendszer bővíthető egyedi műveletekkel is. A fejlesztők közvetlen regisztrációs felületeket és alacsony szintű árnyalóprogramozási hozzáférést kapnak. Az ML Drifthez egy SKILL.md útmutató is tartozik, amely a Google szerint segít a kódoló ügynököknek egyedi shaderek létrehozásában, regisztrálásában és ellenőrzésében.

A korábbi TFLite GPU-delegálttal szemben az új LiteRT ML Drift GPU-gyorsító natív 5D tenzortámogatást kínál. Ez olyan összetett feladatok futtatását segíti, mint a térfogati és térbeli MI-t használó 3D konvolúciós hálózatok, valamint a YOLO 11n, a MobileViT v2 és a Swin Transformer v2.

A nagy nyelvi modelleknél az ML Drift külön kezeli az előfeltöltési és a dekódolási szakaszt. A Google leírása szerint a rendszer futás közben vált a kernel- és memóriakiosztások között, a dekódolásnál pedig egyedi KV-gyorsítótár-elrendezést és kernelbe épített aktivációs kvantálást alkalmaz.

Mobilon, böngészőben és asztali gépen is működik

Az ML Drift eredetileg a mobil- és peremeszközökre, vagyis korlátozott erőforrású hardverekre készült. A Google ugyanakkor a WebGPU Dawn implementációjának segítségével a böngészőn kívül, natívan is futtatja ugyanazt a kódbázist. A vállalat szerint ez Windows és Linux alatt is lehetővé teszi a használatot, miközben macOS-en a natív Metal-háttér áll rendelkezésre.

A Google Gemma-modelljeivel végzett mérésekben az ML Drift akár 12 százalékkal alacsonyabb memóriahasználati többletet ért el más keretrendszerekhez képest. A vállalat szerint a korábbi GPU-háttéren futó klasszikus modellek migrációja egyszerű, és ezek a munkaterhelések teljesítményjavulást kaphatnak.

Már több Google-termékben és Adobe-alkalmazásban használják

A Google közlése szerint az ML Drift naponta több millió eszközön fut, többek között a Chrome, a YouTube Shorts, a Google Photos, a Google Meet és az AI Edge Gallery működésében. A YouTube Shorts szegmentációra épülő effektjeinek átállítása a vállalat mérése alapján akár 40 százalékkal csökkentette az átlagos képkocka-késleltetést Androidon és iOS-en.

A Google Photos képfeldolgozási és szegmentációs folyamataiban az ML Drift a korábbi GPU-delegálthoz képest akár 2 másodperces gyorsulást hozott. A Chrome az ML Driftet a Gemini Nano modellek hardveresen gyorsított, beépített MI-felületeihez, köztük a Prompt, a Summarize és a Writer API-khoz használja.

Az Adobe Lightroom és az Adobe Photoshop több mobilos MI-funkcióját is frissítette az ML Drifttel. A Google szerint a Select Subject, a Select Sky és az Adaptive Portrait használatakor akár 30 százalékkal gyorsabb eszközön futó teljesítményt értek el. A nyílt forrású motor így a Google saját termékei mellett külső fejlesztők mobilos és asztali MI-funkcióinak alapjául is szolgálhat.