Öt döntés, amely meghatározza az AI-alkalmazások működését

A modell körül épül fel a működő alkalmazás

Az Arm szeptember 11-én közzétett összefoglalója szerint egy AI-alkalmazás tervezését olyan szempontok alakítják, mint a késleltetés, a költség, az adatvédelem, az energiafelhasználás és a célzott telepítési környezet. A vállalat sanghaji és sencseni rendezvényein a fejlesztők felhőalapú, peremhálózati, mobil-, grafikai és fizikai AI-megoldásokról beszéltek.

Az Arm a fejlesztési lehetőségek között említi az Arm AGI CPU-t, a Neoverse CSS N4 platformot, az Arm CSS for Mobile 2 megoldást és a mobil eszközökhöz szánt Arm Mali G2-Ultra NX neurális képességeit. Az új Arm AI Portal olyan modellek felfedezését segíti, amelyeket Arm-alapú platformokra validáltak és optimalizáltak. A portál a célplatform illeszkedéséről, a kódról és a telepítési munkafolyamatról is ad információt.

Az Arm Create sanghaji előadása négy kérdés köré rendezte a fejlesztési feladatot: melyik intelligencia illik a feladathoz, hol fusson a munka, hogyan működjenek együtt az egyes elemek rendszerként, és megfelelően teljesít-e az alkalmazás a valódi célkörnyezetben.

Öt szempont a fejlesztési és telepítési döntésekhez

1. Az infrastruktúra megtervezése az ügynökalapú alkalmazásokhoz. Az ilyen rendszerek kódot generálhatnak, eszközöket hívhatnak meg és önállóan hajthatnak végre műveleteket. Emiatt az elkülönítés, a párhuzamos futtatás, a biztonság, az állapotkezelés, az erőforrás-gazdálkodás és a költség is fontos kérdéssé válik. A Tencent Cloud Cube Sandbox példája azt mutatta be, hogyan kezelhető az alkalmazás körüli kontrollált végrehajtási környezet.
2. A munkaterheléshez illő modell kiválasztása. Egy mobilalkalmazás gyors válaszokat igénylő funkciója, egy nagy dokumentumkészleten gondolkodó felhőügynök és egy peremhálózati képfeldolgozási feladat eltérő modellt kívánhat. Az Arm szerint a választást a feladat és a futtatási hely határozza meg, nem önmagában a modell mérete.
3. A teljes alkalmazás mérése és optimalizálása. Lassulást okozhat a futtatókörnyezet, az adatmozgatás, az előfeldolgozás, az alkalmazási logika vagy a számítási háttér is. Az Arm Performix és az Arm Performance Studio a munkaterhelés idő- és erőforrásigényének vizsgálatát támogathatja, míg az SME2 és a neurális grafikai eszközök a teljesítmény javításában kaphatnak szerepet.
4. A munkafolyamatok megfelelő helyre telepítése. Egyes részeknek az eszközön, másoknak közeli peremhálózati infrastruktúrán, megint másoknak a felhőben lehet a helyük. A késleltetés, az adatvédelem, az offline működés, a helyi vezérlés, a költség és a rendelkezésre álló számítási kapacitás mind befolyásolja a döntést.
5. A hordozhatóság megőrzése és a célhardveren végzett ellenőrzés. Az alkalmazás a helyi prototípustól a felhőn át mobil-, peremhálózati, grafikai vagy fizikai AI-célpontokra is eljuthat. Az Arm szerint célszerű a modellek, futtatókörnyezetek, eszközök és teljesítménymérési folyamatok minél nagyobb részét egységesen tartani, majd a teljes rendszert a tényleges környezetben validálni.

A fizikai környezetben derül ki, működik-e a rendszer

Az Arm Create eseményein az Aston Martin Formula One™ Team és a Unitree példáin keresztül azt mutatták be, hogy a szoftvernek, a hardvernek, az adatoknak, az érzékelésnek és a vezérlésnek kiszámíthatatlan valós környezetben is együtt kell működnie. A fizikai AI-laborok a szimulációból robotra vezető munkafolyamatokat, a telepítést, a megbízhatóságot, a telemetriát és az eszközök felderítését is érintették.

Az Arm szerint az SME2, a KleidiAI, a Performix, az Arm MCP Server, a neurális grafikai eszközök, az Arm Device Connect és az Arm AI Portal a fejlesztési folyamat különböző részeit támogatják. A vállalat közlése alapján az Arm Create Shanghai felmérésének válaszadói közül 97% mondta azt, hogy az esemény javította a tudását az AI-alkalmazások építéséről, optimalizálásáról és telepítéséről.

A fejlesztők számára a rendezvény fő üzenete, hogy a telepítési célpontok változásakor is érdemes megőrizni a folytonosságot a kódban, az eszközökben, a szakértelemben és a teljesítménymérési folyamatban. A végső ellenőrzést azonban annak a környezetnek kell elvégeznie, ahol az alkalmazás ténylegesen működni fog.