Az Ultralytics a peremhálózati YOLO-modellek éles bevetéséről beszélt

A teljes telepítési folyamatot mutatták be

Az eseményt szeptember 11-én rendezték meg Sencsenben, egy korábbi sanghaji állomást követően. Az Arm Create az Arm fejlesztői rendezvénye, amely a felhőben, a peremhálózaton, a mobil eszközökön és a fizikai mesterséges intelligencia területén alkalmazott AI-rendszerek építésével, optimalizálásával és telepítésével foglalkozik.

Az Ultralytics részéről Ziyue Wang marketingmunkatárs és Rick Hou vezető gépi tanulási mérnök vett részt. Hou a „Deploying Ultralytics YOLO: Real-Time Vision AI at the Edge” című előadásban a betanított modellek peremhálózati eszközökön történő futtatásának teljes folyamatát ismertette, az exportálástól a gyártási környezetben végzett ellenőrzésig.

A vállalat szerint az első lépés a megfelelő exportformátum kiválasztása. Ez függ a céleszköztől, a következtetési motortól és az alkalmazás teljesítményigényétől. A kvantálás a modell numerikus pontosságát csökkenti, például FP32-ről FP16-ra vagy INT8-ra, így kisebb modellméretet és gyorsabb eszközoldali következtetést tehet lehetővé, minimális pontosságvesztés mellett.

A valós eszközön végzett tesztelés kulcsfontosságú

Az Ultralytics előadása szerint a valós idejű számítógépes látás teljesítményét nem önmagában a modell határozza meg. A késleltetésre és az áteresztőképességre az előfeldolgozás, a futtatási környezet és a hardveres gyorsítás is hatással van. A fejlesztőknek ezért a teljes következtetési folyamat szűk keresztmetszeteit kell azonosítaniuk.

A vállalat hangsúlyozta, hogy a mérési eredmények csak kiindulópontot jelentenek. A végső próba az, hogyan működik a modell azon az eszközön, amelyre szánják, valós működési körülmények között. Az Ultralytics szerint a tényleges célhardveren végzett validálás az Arm Create egyik visszatérő tanulsága volt.

Rick Hou egy modellpanelben is részt vett az Arm, az Alibaba Qwen, a Tencent és a ModelBest képviselőivel. A beszélgetésben nem közvetlenül hasonlították össze a modelleket, hanem azt vizsgálták, hogy egy adott munkafolyamathoz milyen modellre van szükség, hol érdemes futtatni, és hogyan viselkedik telepítés után. Az Ultralytics az élperemhálózati látás szempontjait képviselte, ahol a késleltetés, a hatékonyság és az eszközön nyújtott megbízhatóság kiemelt szempont lehet.

Az Arm AI Portal előre optimalizált modelleket kínál

Az Arm Create sencseni eseménye néhány nappal követte az Arm AI Portal elindítását. A portál célja, hogy segítse a fejlesztőket és az AI-ügynököket az Arm számítási platformján használható AI-szoftverek felfedezésében, optimalizálásában és telepítésében.

A fejlesztők feladatspecifikus, előre optimalizált modelleket találhatnak, amelyekhez teljesítmény- és pontossági adatok is tartoznak. A portálon összehasonlítható a késleltetés, a memóriaigény és a modellméret, emellett kódpéldák és telepítési munkafolyamatok is elérhetők.

Az induláskor az Ultralytics YOLO is szerepelt az előre optimalizált modellek között az Alibaba Qwen és a Google Gemma mellett. Az Ultralytics ökoszisztéma-partnerként támogatja a portált.

A vállalat közlése szerint az Ultralytics YOLO26n két beállításban több mint 40 százalékos teljesítményjavulást ért el egyetlen szál használatával. Az egyik mérésben FP16-ot hasonlítottak FP32-höz egy SME2 FP16-ot támogató vivo X300 okostelefonon, a másikban INT8 vegyes kvantálást FP32-höz egy NEON-t használó Raspberry Pi 5-ön.

Az Ultralytics szerint az Arm AI Portal csökkentheti a modellek keresésére, összehasonlító mérésére és kézi hangolására fordított időt. Ez gyorsabb utat jelenthet a modell kiválasztásától az Arm-alapú hardveren történő telepítésig.