Az Arm vizuálisan keresi az edge MI-modellek hibáit

2026. október 20.Forrás: Google for Developers

Az Arm nyílt forráskódú adaptereket készített a Google AI Edge Model Explorerhez, hogy a fejlesztők vizuálisan ellenőrizhessék az edge eszközökre szánt MI-modellek átalakításait. Az eszköz a gráfhibák, a processzoros visszaesések és a hardveres teljesítményszűk keresztmetszeteinek feltárását is támogatja.

A lényeg röviden

Az Arm TOSA, VGF és PTE formátumokhoz készített Model Explorer-adaptereket.
A vizuális gráf segített megtalálni az ExecuTorch Arm backendje által bevezetett TRANSPOSE operátorokat.
Az osztott nézet a CPU- és NPU-delegált gráfok összehasonlítását támogatja.
A cikluspontos nyomok egy TRANSPOSE csomópontot azonosítottak az Ethos-U NPU fő szűk keresztmetszeteként.
Az adapterek PyPI-n vagy GitHubon keresztül használhatók.

A modellfordítás rejtett problémáit keresik

A helyben futó gépi tanulási modellek többféle hardveren működhetnek, az alacsony fogyasztású edge eszközöktől a grafikus processzorokon át a fizikai MI-rendszerekig. A hatékony futtatáshoz több fordítási lépésre lehet szükség, például kvantálásra, gráf-leképezésre, operátorfúzióra és hardveres delegálásra.

Az Arm a Google AI Edge Model Explorer hierarchikus gráfmegjelenítését és bővítményrendszerét használta fel saját köztes reprezentációinak és hardveres profilozási adatainak vizsgálatához. A Google Developers Blog október 20-i bejegyzése szerint a fejlesztők így ellenőrizhetik, hogy a gráf átalakítása nem hozott-e létre nem kívánt műveleteket, például további TRANSPOSE operátorokat. Azt is megvizsgálhatják, hogy a modell teljes egészében az NPU-ra vagy GPU-ra került-e, illetve maradtak-e részei a CPU-n.

Három adaptert készített az Arm

Az Arm több modellformátumhoz fejlesztett adaptert a Model Explorerhez: a TOSA, a VGF és a PTE formátumhoz. Ezekkel a mérnökök a teljes exportálási folyamatot a modellgráfon követhetik, és közvetlenül az egyes csomópontoknál vizsgálhatják a műveletek tulajdonságait.

Egy PyTorch segítségével betanított Neural Super Sampling modellt az ExecuTorch Arm backendjén keresztül VGF-fájlként exportáltak a Vulkan ML Extensions számára. A VGF-gráf vizsgálatakor az Arm mérnökei olyan TRANSPOSE operátorokat találtak, amelyeket az ExecuTorch Arm backendjének módosítása vezetett be. A Model Explorerrel azonosítani és kijavítani tudták a regressziót a nyers naplófájlok kézi elemzése nélkül.

Az Ethos-U85 NPU-ra optimalizált, Ultralytics YOLO-alapú látásmodellnél az osztott nézet a CPU- és az NPU-ra delegált gráfot jelenítette meg egymás mellett. A CPU-változat az egyes rétegeket külön mutatta, míg az NPU-változat a hálózatot egyetlen EthosUBackend blokkba csoportosította a kvantálási és visszaalakítási csomópontok között. Ez a részlegesen támogatott LiteRT- vagy ExecuTorch-modellek nem delegált operátorainak felismerését is segíti.

A ciklusszintű teljesítmény is láthatóvá válik

Az Arm a Fixed Virtual Platform szimulátorán futtatott modellekből származó, cikluspontos végrehajtási nyomokat is rá tudta helyezni a gráfra. A Model Explorer node data pluginja színezett hőtérképen jelölte a terhelést, így egyetlen TRANSPOSE csomópontként azonosították az Ethos-U NPU késleltetésének fő forrását.

A Google közlése szerint a Google AI Edge Model Explorer és az Arm nyílt forráskódú adapterei már használhatók saját, helyben futtatott modellek vizsgálatára PyPI-n vagy GitHubon keresztül. A beépített LiteRT, PyTorch és Hugging Face Transformers adapterek mellett elérhetők az Arm TOSA, VGF és PTE bővítményei is. A felhasználói útmutató a gráf navigációját és az egymás melletti nézetet is bemutatja.