Megjelent az ONNX 1.23.0, új Transformer- és 6 bites támogatással

Új elemek a Transformer-modellekhez

Az ONNX, vagyis az Open Neural Network Exchange új verziójának egyik központi újdonsága a SwiGLU operátor. Ez közös reprezentációt biztosít a modellkészítők és a modellt felhasználó rendszerek számára egy olyan aktivációs függvényhez, amelyet a modern neurális hálózatok széles körben használnak.

Az új kiadás az attention, vagyis a figyelmi mechanizmus támogatását is bővíti. Megjelentek a lokális figyelmi ablakok, emellett javult a kauzális maszkolás, az explicit maszkok, a külső kulcsérték-gyorsítótárak és a bfloat16 kezelése. Ezek a módosítások az ONNX Steering Committee szerint pontosabb modellreprezentációt tesznek lehetővé a gyorsan fejlődő Transformer-architektúrák esetében.

6 bites adattípusok és szélesebb operátortámogatás

Az ONNX 1.23.0 az IR Version 14 részeként két új, 6 bites lebegőpontos tenzorelemtípust vezet be. A FLOAT6E2M3 és a FLOAT6E3M2 típusokhoz a sorosított reprezentáció támogatása is elkészült. A kiadás ezzel több lehetőséget kínál az alacsony pontosságú modellek kifejezésére.

Bővült a bfloat16 és az előjeles egész számok támogatása is, így több operátor képes alacsonyabb pontosságú számításokat reprezentálni. Frissült többek között az Optional, a Celu, az Einsum, a BitShift, a SpaceToDepth és a Mod operátor. Az LF AI & Data Foundation szerint ezek a változtatások az ONNX-grafokban megjeleníthető értékek és modellviselkedések körét szélesítik.

Megbízhatóbb modell-ellenőrzés és átalakítás

A fejlesztők több olyan összetevőt is javítottak, amelyek a modellek ellenőrzésében és a különböző keretrendszerek közötti átalakításban vesznek részt. Fejlesztések érkeztek a referencia-implementációhoz, az ellenőrzőhöz, az elemzőhöz, az alakzatkövetkeztetéshez, az inline-oláshoz és a verziókonvertálóhoz.

A módosítások a hibás modelleket és a nehezen kezelhető szélső eseteket célozzák. A kiadás célja, hogy kiszámíthatóbban működjenek a modellátalakítási és -ellenőrzési folyamatok a keretrendszer- és eszközfejlesztők számára.

Az ONNX 1.23.0 teljes változáslistája a GitHubon érhető el. A kiadáshoz 28 közreműködőt neveztek meg a kiadási jegyzetekben, mellettük pedig a projekt szerint azok is hozzájárultak a munkához, akik felülvizsgálták, tesztelték, dokumentálták és megvitatták a módosításokat. A frissítés így a felhasználók számára elsősorban a modernebb Transformer-modellek, az alacsony pontosságú inferencia és a modellkonverzió területén hoz bővebb ONNX-támogatást.