Az Apple bemutatta első hárommodalitású diffúziós modelljeit
Az Apple kutatói bemutatták az első, a semmiből előtanított hárommodalitású maszkolt diffúziós modelleket. A rendszer szöveges, kép-szöveges és hang-szöveges adatokon tanul, és egy 3 milliárd paraméteres modell eredményeit is ismertették.
- Az Apple kutatói az első, a semmiből előtanított hárommodalitású MDM-eket mutatták be.
- A modellek szöveges, kép-szöveg és hang-szöveg adatokon tanultak.
- A kutatás a modalitásarányokat, zajütemezéseket és kötegméreteket is vizsgálta.
- Egy 3 milliárd paraméteres modell 6,4 billió tokenen tanult.
- A kísérleti modell szöveggenerálási, T2I- és T2S-feladatokon ért el erős eredményeket.
Háromféle adat egy modellben
Az Apple Machine Learning Research oldalán közzétett tanulmány a diszkrét diffúziós modellek fejlesztési lehetőségeit vizsgálja. Ezek a modellek az autoregresszív nyelvi modellek alternatívájaként jelentek meg. A korábbi munkák egy része egyetlen modalitásra épített alapmodellt finomhangolt kétmodalitású generálásra.
Louis Béthune, Victor Turrisi és szerzőtársaik ettől eltérő megközelítést alkalmaztak. A tanulmány szerint ez az első olyan hárommodalitású Masked Diffusion Model, vagyis maszkolt diffúziós modell, amelyet a kezdetektől szöveges, kép-szöveg és hang-szöveg adatokon tanítottak elő. A kutatók a NeurIPS konferenciához kapcsolódó tanulmányban a többmodalitású modellek skálázódási törvényszerűségeit is elemezték.
A képzés és a következtetés beállításait vizsgálták
A munka több, a modell tanítását meghatározó tényezőt rendszerez. A kutatók elemezték a modalitások keverési arányát, a zajütemezéseket és a kötegméret hatását. Emellett optimalizált alapértelmezett beállításokat adtak a következtetési mintavételezéshez.
A kötegméret vizsgálata egy új, sztochasztikus differenciálegyenleten alapuló újraparaméterezéshez vezetett. A szerzők szerint ez megszünteti az optimális kötegméret külön hangolásának szükségességét, amelyet korábbi munkákban jeleztek. A módszer különválasztja a fizikai és a logikai kötegméretet.
A fizikai kötegméretet gyakran a számítási kapacitás, a GPU kihasználtsága, a lebegőpontos műveletek hatékonysága és a falióra szerinti futási idő alapján választják meg. A logikai kötegméret ezzel szemben azt szolgálja, hogy a sztochasztikus optimalizálás során kiegyensúlyozza a gradiensek varianciáját. Az Apple kutatói szerint az újraparaméterezés e két szempontot választja szét.
3 milliárd paraméteres modell 6,4 billió tokenen
A kutatók egy előzetes modellt is előtanítottak az egységes modellkialakítás képességeinek bemutatására. A 3 milliárd paraméteres modell 6,4 billió tokenen tanult. A tanulmány szerint a modell szöveggenerálásban, T2I-feladatokban és T2S-feladatokban is erős eredményeket ért el.
Az Apple közlése ezt a munkát a többmodalitású diszkrét diffúziós modellek eddigi legnagyobb léptékű, szisztematikus nyílt vizsgálataként írja le. A kutatás szerzői között az Apple munkatársai mellett a Cambridge-i Egyetem, az MIT és a Google DeepMind kutatói is szerepelnek. A tanulmány 2026 októberében jelent meg a NeurIPS konferencia anyagai között.
Mit jelenthet ez a felhasználóknak?
A bemutatott irány egyetlen modellkialakításban kezeli a szöveges, kép-szöveg és hang-szöveg adatokat. A kutatás közvetlen eredményei elsősorban a modellfejlesztéshez kapcsolódnak: a szerzők skálázódási megfigyeléseket, modalitáskeverési szempontokat és következtetési beállításokat közölnek.
A tanulmány alapján a 3 milliárd paraméteres kísérleti modell többféle generálási feladaton is működött, de a forrás nem jelent be hozzá fogyasztói terméket, kiadási dátumot vagy felhasználói hozzáférést. A közölt eredmények ezért jelenleg kutatási irányt és módszertani alapot jelentenek az egységes, többmodalitású diszkrét diffúziós modellek további fejlesztéséhez.
