A Google bemutatta a LiteRT.js böngészőben futó AI-rendszert

2026. július 9.Forrás: Google for Developers

A Google bemutatta a LiteRT.js-t, a LiteRT JavaScript-kötését, amely .tflite modellek közvetlen futtatását teszi lehetővé mobil- és asztali böngészőkben. A vállalat szerint a helyi feldolgozás nagyobb adatvédelmet, szerverköltség nélküli működést és alacsony késleltetést kínál.

A lényeg röviden

A LiteRT.js .tflite modelleket futtat közvetlenül a böngészőben.
A rendszer JavaScriptből és TypeScriptből használható.
CPU-, GPU- és kísérleti NPU-gyorsítást is támogat.
A Google méréseiben akár háromszoros gyorsulást ért el más webes futtatókörnyezetekhez képest.
A LiteRT.js npm-csomaggal, dokumentációval és bemutatókkal indult.

AI-modellek közvetlenül a böngészőben

A LiteRT.js a Google LiteRT eszközkészletét hozza el a webfejlesztők számára JavaScript- és TypeScript-alkalmazásokban. A rendszer a gépi tanulási és AI-modelleket teljes egészében helyben, a böngészőben futtatja, így az inferencia során nincs szükség szerveroldali feldolgozásra. A Google szerint ez fokozott adatvédelmet, nulla szerverköltséget és valós idejű felhasználási esetekhez nagyon alacsony késleltetést jelenthet.

A megoldás különösen azoknak lehet hasznos, akik már rendelkeznek .tflite formátumú modellekkel. A Google a LiteRT.js-t a TensorFlow.js továbbfejlesztéseként mutatja be a .tflite modellek végrehajtására. A korábbi, JavaScript-alapú kernelekre támaszkodó webes megoldásokkal szemben a LiteRT.js a LiteRT natív, többplatformos futtatókörnyezetét teszi elérhetővé WebAssemblyn keresztül.

CPU, GPU és NPU is használható

A LiteRT.js a LiteRT teljesítményoptimalizálásait és hardveres gyorsítását használja. CPU-n az XNNPACK, a Google eszközön futó CPU-gyorsításra optimalizált könyvtára dolgozik, GPU-n pedig az ML Drift és a WebGPU biztosítja a gyorsítást. A fejlesztők a WebNN API-n keresztül NPU-kat is célozhatnak, ez a lehetőség a forrás szerint jelenleg kísérleti állapotban van Chrome-ban és Edge-ben.

A Google közlése szerint a LiteRT.js támogatja a PyTorch-modellek egy lépésben történő átalakítását a LiteRT Torch segítségével. Az AI Edge Quantizerrel a fejlesztők modellenként és rétegenként beállíthatják a kvantálást, ami a vállalat szerint kisebb modellméretet és jobb teljesítményt tesz lehetővé az általános modellminőség megőrzése mellett.

A kezdeti kiadás része az új LiteRT.js npm-csomag, valamint több bemutató. A JavaScript API olyan feladatokra használható, mint a szöveggenerálás, a tárgyfelismerés és a hangfeldolgozás.

A Google szerint akár háromszoros gyorsulás is elérhető

A Google saját méréseiben a LiteRT.js a klasszikus számítógépes látási és hangfeldolgozási modelleknél akár háromszor gyorsabb volt más webes futtatókörnyezeteknél CPU- és GPU-inferencia esetén. A teszteket egy 2024-es, M4 Apple Silicon chippel szerelt Apple MacBook Prón, ellenőrzött böngészős környezetben végezték.

A vállalat különböző végrehajtási háttereket is összehasonlított: az XNNPACKen futó CPU-t, a WebGPU-t és az Apple CoreML-en keresztül használt WebNN-t. A közlés szerint a WebGPU vagy WebNN használata 5 és 60 közötti gyorsulást hozott a hagyományos CPU-s végrehajtáshoz képest olyan feladatoknál, mint a tárgykövetés, a hangátírás és a képfeldolgozás. A Google hangsúlyozza, hogy az egyéni eredmények a helyi GPU-tól, a hőmérséklet miatti teljesítménycsökkenéstől és a böngésző illesztőprogramjának optimalizálásától is függhetnek.

A bemutatók között szerepel az Ultralytics YOLO-integráció, a Depth Anything V2 modellre épülő valós idejű mélységbecslés és a Real-ESRGAN segítségével végzett, négyszeres képfelskálázás. A Google a jövőben a WebNN-integrációt, az NPU-k natív teljesítményét és az eszközön futó generatív AI támogatását fejlesztené tovább. A LiteRT-LM.js a közlés szerint a nagy nyelvi modellek böngészős használatához ad JavaScript API-t.