Az Apple módszere 128-szor gyorsabb szöveggenerálást ígér
Az Apple kutatói bemutatták az FS-DFM nevű módszert, amely kevés lépéssel gyorsítja fel a diffúziós nyelvi modellek szöveggenerálását. A vállalat szerint a rendszer nyolc mintavételi lépéssel a 1024 lépéses alapmodellhez hasonló perplexitást ér el, akár 128-szor gyorsabban.
- Az FS-DFM a diszkrét flow-matching kevés lépéses változata.
- Nyolc mintavételi lépéssel a 1024 lépéses alapmodellhez hasonló perplexitást ért el.
- Az Apple szerint a mintavétel akár 128-szor gyorsabb lehet.
- A módszert 1024 token generálásán, hasonló méretű modellekkel vizsgálták.
A szöveggenerálás sebességét célozza az FS-DFM
Az Apple kutatási oldalán közzétett tanulmány a hosszú szövegek gyorsabb és pontosabb előállítását vizsgálja. A munka az autoregresszív nyelvi modellek, valamint a diffúziós nyelvi modellek korlátaira épít.
Az autoregresszív modellek minden egyes új tokent külön modellfuttatással állítanak elő. Ez soros működést jelent, amely hosszú szövegeknél korlátozza az áteresztőképességet és növeli a késleltetést. A diffúziós nyelvi modellek ezzel szemben több pozíciót párhuzamosan képesek kezelni, ezért gyorsabb megoldást kínálhatnak.
A hagyományos diszkrét diffúziós eljárásoknál ugyanakkor a jó minőség eléréséhez jellemzően több száz vagy több ezer modellkiértékelésre van szükség. Ez a soros lépések számát csökkenti, de sok ismételt számítást igényel.
A modell a lépésszámhoz igazítja a működését
Az FS-DFM jelentése Few-Step Discrete Flow-Matching. A módszer központi eleme, hogy a mintavételi lépések száma kifejezett paraméterként jelenik meg, a modellt pedig úgy tanítják, hogy többféle lépéskeret mellett is következetesen működjön.
Az Apple leírása szerint így egyetlen nagyobb módosítás olyan állapotba juttathatja a folyamatot, amelyhez sok kisebb lépéssel is el lehetne jutni. A kutatók emellett olyan frissítési szabályt alkalmaztak, amely a valószínűséget a megfelelő irányba mozgatja, és igyekszik elkerülni a túllövést.
A módszer része a tanári irányítás lepárlása is. A tanítás során hosszú futású pályákból származó útmutatást használnak, hogy a kevés lépésben működő modell megtanulja követni a részletesebb folyamatot. A kutatók szerint ezek az elemek együtt stabilabbá, pontosabbá és könnyebben szabályozhatóvá teszik a kevés lépéses mintavételt.
Nyolc lépéssel egyező perplexitás a 1024 lépéses alapmodellel
A nyelvi modellezési mércéken az FS-DFM nyolc mintavételi lépéssel a 1024 lépéses diszkrét flow-matching alapmodellével azonos szintű perplexitást ért el. Az összehasonlítás 1024 token előállítására vonatkozott, hasonló méretű modellek használatával.
Az Apple közlése szerint a módszer akár 128-szor gyorsabb mintavételt tesz lehetővé, és ezzel együtt a késleltetésben, valamint az áteresztőképességben is javulást hoz. A forrás nem közöl konkrét futási időt vagy hardveres mérési eredményt.
A tanulmány szerzői Amin Karimi Monsefi, Nikhil Bhendawade, Manuel R. Ciosici, Dominic Culver, Yizhe Zhang és Irina Belousova. A publikáció az ICLR konferenciához kapcsolódó, 2025 októberében megjelent tanulmányként szerepel az Apple kutatási oldalán, a forráskód pedig GitHubon is elérhető.
Mit jelenthet ez a felhasználóknak?
Az eredmények alapján az FS-DFM azoknál a feladatoknál lehet fontos, ahol hosszú szövegek előállításánál egyszerre számít a minőség és a válaszidő. A kevesebb mintavételi lépés csökkentheti a szükséges modellkiértékelések számát, miközben a tanulmányban a 1024 lépéses alapmodellhez hasonló perplexitást mértek.
A kutatás egy módszert mutat be, nem pedig egy konkrét felhasználói termék vagy szolgáltatás bejelentését. A forrás az FS-DFM teljesítményét nyelvi modellezési mércéken ismerteti, ezért abból nem derül ki, hogy a technológiát mikor és milyen Apple-termékben alkalmazhatják.
