Telefonokra hozza a nagy modellek képességeit a MiniCPM-V 4.7
Megjelent a MiniCPM-V 4.7, a ModelBest és az OpenBMB közösségének új, nyílt forráskódú multimodális modellje. A 35B-A3B és 1B változatban elérhető rendszer körülbelül 3 GB memóriával rendelkező telefonokon és táblagépeken is használható.
- A MiniCPM-V 4.7 35B-A3B és 1B változatban jelent meg.
- A 35B-A3B körülbelül 3 GB memóriával rendelkező eszközökön is fut.
- A modell képeket, dokumentumokat, diagramokat és hosszú videókat is kezel.
- Az optimalizációk iPad Pro M4-en átlagosan körülbelül ötszörös sebességnövekedést hoztak.
- A modell súlyai és a futtatási, valamint finomhangolási kód nyilvánosan elérhető.
Nagy multimodális modell mobil eszközökre
A ModelBest és az OpenBMB közössége október 15-én jelentette be a MiniCPM-V 4.7 kiadását. A modell a nyílt forráskódú, eszközön futó multimodális sorozat legújabb tagja, és 35B-A3B, valamint 1B változatban érhető el.
A 35B-A3B változat a gyártó szerint az első olyan nyílt forráskódú multimodális MoE-modell, amelyet úgy terveztek, hogy a modellminőség csökkentése nélkül fusson közvetlenül az eszközön. Tokenenként körülbelül 3 milliárd paramétert aktivál, miközben a legtöbb szakértő az SSD-n marad, és csak szükség esetén töltődik be. A vállalat szerint így nagymodelles multimodális képességek kerülnek iOS- és Android-eszközökre.
A MiniCPM-V 4.7 általános képfeldolgozásra, STEM-feladatok megoldására, optikai karakterfelismerésre, dokumentumok és diagramok értelmezésére, valamint hosszú videók megértésére használható. Az 1B változat a MiniCPM-V 4.6-ra épül, és könnyebb eszközökre készült. Általános képfeldolgozást, OCR-t, diagramok elemzését és több kép együttes értelmezését támogatja.
A gyorsítást szakértőbetöltés segíti
A ModelBest Lookahead Expert Scheduling, röviden LES nevű eljárása előre jelzi, hogy a következő rétegnek mely szakértőkre lesz szüksége, és ezeket már az aktuális réteg számítása közben betölti. A közlemény szerint a rendszer a legtöbb esetben a szükséges szakértők több mint 80 százalékát előre előkészíti, ehhez pedig nincs szükség további tanításra.
Az eredeti útválasztó továbbra is véglegesíti a szakértők kiválasztását, ezért a kimenetek a ModelBest szerint azonosak a LES bekapcsolt és kikapcsolt állapotában. Az eljárás rétegenkénti kvantálással és a szakértők folytonos tárolásával együtt működik.
A kombinált optimalizációk egy iPad Pro M4 készüléken, 16 GB memóriával, átlagosan körülbelül ötszörösére növelték a generálási sebességet. A modell ezen az eszközön másodpercenként több mint 17 tokent, az iPhone 17 Pro Max készüléken pedig több mint 13 tokent ér el.
Fejlesztők számára is elérhető a teljes modellcsomag
A MiniCPM-V 4.7 támogatja a 4-szeres és a 16-szoros vizuálistoken-tömörítést. Ez lehetővé teszi, hogy a fejlesztők a részletességet vagy a sebességet részesítsék előnyben. A 16-szoros tömörítés mellett a modell 90,9 pontot ért el az MMBench, és 90,4 pontot az OCRBench teszten.
Az új Self-Replay Fine-Tuning módszer a modell saját, jó minőségű válaszait is beépíti a tanítási adatokba. A közlemény szerint ez segít új feladatok megtanulásában az általános képességek megőrzése mellett, a költsége pedig közel áll a hagyományos felügyelt finomhangoláséhoz.
A kiadás az AMD, az Apple, az Arm, a Houmo AI, az Intel, a Rockchip és az NVIDIA azonnali támogatását élvezi. A FlagOS szoftvereszközön keresztül a CIX Technology, a Huawei, a Hygon, az Iluvatar CoreX, a Kunlunxin, a MetaX, a Moore Threads, a Sunrise, a T-Head és a TsingMicro AI- és peremhálózati chipjeihez is rendelkezik Day-0 támogatással.
A modell súlyai, a futtatókód és a finomhangoláshoz szükséges kód nyilvánosan letölthető. A fejlesztők így értékelhetik és saját eszközeiken telepíthetik a MiniCPM-V 4.7-et.
PR Newswire: ModelBest and OpenBMB Launch MiniCPM-V 4.7, Bringing a 35B Multimodal MoE Model to Phones and Tablets With About 3 GB of Memory
