Megjelent az ONNX v1.23.0, új figyelmi és 6 bites adattípusokkal

Új képességek a transformer-modellekhez

Az LF AI & Data Foundation közlése szerint az ONNX v1.23.0 szeptember 18-án jelent meg. A nyílt modellreprezentációs formátum új kiadása arra összpontosít, hogy pontosabban írja le a modern architektúrák operátorait, adattípusait és figyelmi mintázatait, így a modellek könnyebben cserélhetők a különböző keretrendszerek és futtatókörnyezetek között.

A kiadás egyik újdonsága a SwiGLU operátor. Ez közös reprezentációt biztosít egy olyan aktivációs függvényhez, amelyet a modern neurális hálózatok széles körben használnak. Az attention, vagyis figyelmi műveletek támogatása szintén bővült: az ONNX már kezeli a lokális figyelmi ablakokat, valamint javítások érkeztek a kauzális maszkoláshoz, az explicit maszkokhoz, a külső kulcsérték-gyorsítótárakhoz és a bfloat16 kezeléséhez.

Hatékonyabb alacsony pontosságú számítás

Az ONNX v1.23.0 az IR Version 14 bevezetésével két új tenzorelemtípust ad a specifikációhoz: a FLOAT6E2M3-at és a FLOAT6E3M2-t. A frissítés ezek szerializált reprezentációját is tartalmazza. A 6 bites lebegőpontos formátumok olyan modellek leírását segíthetik, amelyek a kisebb pontosság révén hatékonyabb következtetésre törekednek, a forrás azonban konkrét teljesítmény- vagy méretadatokat nem közöl.

Bővült a bfloat16 és az előjeles egész számok támogatása is, így több operátor képes alacsonyabb pontosságú számításokat kifejezni. Az operátorkészlet további elemei is frissültek. Az Optional, a Celu, az Einsum, a BitShift, a SpaceToDepth és a Mod módosításai szélesebb értéktartomány és többféle modellviselkedés reprezentációját teszik lehetővé.

Megbízhatóbb modell-ellenőrzés és átalakítás

A kiadás a modellfejlesztés mindennapi eszközeit is érinti. Javításokat kapott a referenciaimplementáció, az ellenőrző, az elemző, az alakzatkövetkeztetés, az inline-oló és a verziókonvertáló. Ezek a változtatások a hibás modelleket és a nehezen kezelhető szélső eseteket célozzák, hogy a keretrendszerek és az eszközök fejlesztői kiszámíthatóbban dolgozhassanak.

Az LF AI & Data Foundation szerint az új verzió az ONNX közösségének arra irányuló munkáját folytatja, hogy a formátum kövesse a nagyobb transformer-alapú modellek, a hatékonyabb alacsony pontosságú következtetés és a sokféle eszköz közötti modellátalakítás igényeit. A teljes kiadási jegyzet és a v1.22.0-ról v1.23.0-ra vonatkozó változáslista a GitHubon érhető el.

A közlemény szerint az ONNX v1.23.0 kiadási jegyzeteiben 28 közreműködőt tüntettek fel. A projekt fejlesztői a közösségtől további visszajelzéseket várnak arról, milyen képességeket kellene támogatnia a formátumnak, illetve mely pontokon nehéz jelenleg a modellek átalakítása vagy telepítése.