Fejlesztői közösséget nyitott AI-chipes platformjához a femtoAI

Chip, modellek és fordító egy platformon

A kaliforniai San Brunóban működő femtoAI október 6-án jelentette be, hogy a sikeres béta program után mindenki számára elérhetővé teszi fejlesztői közösségét. A platformhoz a femtoAI Sparse Processing Unit, röviden SPU, chip kiértékelő készlete, tömörített modellek, fordító és a Sparsity Studio nevű eszköz is hozzáférhető.

A fejlesztők a vállalat szerint önállóan használhatják a femtoAI teljes eszközkészletét. Saját modellt is bevihetnek, választhatnak a femtoAI előre elkészített modelljei közül, vagy akár alapoktól kezdve fejleszthetnek újat. A munkát felhasználóbarát eszközök és dokumentáció segíti.

A fejlesztői közösség része egy fórum is, ahol a femtoAI szakértői és a fejlesztők folyamatosan megvitathatják a kérdéseket és tapasztalatokat. Az érdeklődők a developer.femto.ai oldalon ismerhetik meg a vállalat eszközeit és rendszereit.

A femtoAI szerint tízszeres megtakarítás érhető el

A femtoAI szabadalmaztatott, neurális hálózatokra alkalmazott ritkítási eljárásokat, valamint fejlett modellkompressziós technikákat használ. A vállalat állítása szerint ezek a módszerek valós, tízszeres csökkenést eredményeznek az energiafogyasztásban és a memóriaigényben, miközben nem kell engedni a pontosságból.

A Sparsity Studio mérőeszköz arra szolgál, hogy a fejlesztők megvizsgálhassák, milyen tényleges energia- és memória-megtakarítást hoz a femtoAI ritkítási technológiája. A fejlesztők emellett saját SPU-chip kiértékelő készletet is rendelhetnek.

„A femtoAI-nál nemcsak hardveres és szoftveres eszközeinkben, valamint alkalmazásainkban kínálunk fejlett ritkítást, hanem fejlett modellkompressziós technikákat is alkalmazunk” - mondta Sangnam Choi, a femtoAI audio- és érzékelési területért felelős alelnöke. Choi szerint ezek segítségével például az OpenAI Whisper nyílt forráskódú modelljét tízszer kisebb memóriaigénnyel telepítették, és helyi hangutasításokra szabott megoldásokat is fejlesztettek.

Audio- és érzékelési termékekben már használják

A femtoAI közlése szerint fejlesztői platformja már hozzájárult a vállalat audio- és érzékelési munkájához. A technológiát a Legato okosszemüveg-startup, a Marshall fejhallgató- és fülhallgatógyártó, valamint a NewSound is használta AI-alapú audio-megoldások fejlesztésére.

A vállalat szerint ezek a megoldások tízszer kevesebb tárhelyet és tízszer kevesebb energiát igényelnek. A Legato Hearing vezérigazgatója, Mehul Trivedi azt mondta, hogy a femtoAI könnyen használható eszközei, új funkciói és támogatása segített olyan hallási teljesítményt elérniük a Legato hallókészülékében, amely az adott készülékformátumban korábban nem volt lehetséges, ráadásul rövid fejlesztési idő alatt.

A platform a készülékbe épített AI fejlesztését célozza

A fejlesztői közösség megnyitásával a femtoAI több vállalat és fejlesztő előtt teszi elérhetővé teljes veremű AI-chip- és kompressziós platformját. A cég szerint ez gyorsíthatja az új, mesterséges intelligenciára épülő termékek piacra vitelét.

A femtoAI 2018-ban alakult a Stanford University Brains in Silicon Lab kutatóinak közreműködésével, központja a Szilícium-völgyben található. A vállalat platformját viselhető eszközökhöz, háztartási készülékekhez, okosszemüvegekhez és robotikához kínálja. A közlemény alapján a fejlesztői hozzáférés ezeknél a termékkategóriáknál a kisebb memóriaigényű és alacsonyabb fogyasztású AI-megoldások létrehozását támogathatja.