Megjelent az EAGLE-4, új mérési adatbázissal a gyorsabb szöveggenerálásért

Miért fontos a spekulatív dekódolás?

A nagy nyelvi modellek a szöveget autoregresszíven állítják elő, vagyis egyszerre egy tokent jósolnak meg. Kis kötegméretnél az ehhez használt mátrixműveletek a memóriasávszélesség miatt kevésbé használják ki a GPU számítási kapacitását.

Több felhasználó kéréseinek összevonása javíthatja az átviteli teljesítményt, ugyanakkor csökkentheti az egyes felhasználók által tapasztalt tokenenkénti generálási sebességet. A spekulatív dekódolás egy kisebb, könnyű modellel előzetesen több tokent készít elő, amelyeket a célmodell közösen ellenőriz.

Az ellenőrzés során több token feldolgozása jut a modell súlyainak egyetlen beolvasására, így jobban kihasználható a korábban kihasználatlan GPU-kapacitás. A megfelelő ellenőrzési eljárással a módszer megőrzi a célmodell kimeneti eloszlását.

Az EAGLE-4 felépítése

Az EAGLE-4 az EAGLE-3 megközelítésére épül. A könnyű előrejelző modell a célmodell rejtett állapotait és a tokenbeágyazásokat használja a lehetséges folytatások becslésére. Az EAGLE-3 három, eltérő mélységű réteg rejtett állapotait vonta össze, és olyan tanítási technikákat alkalmazott, amelyek a hosszabb elfogadott szekvenciákat célozták.

A közzétett Qwen 3.8 27B modell két változtatást alkalmaz. A csúszóablakos figyelem korlátozza az előrejelző által használt kontextust, az alacsony rangú jelöltfej pedig először kisebb reprezentációban rangsorolja a szókészletet, majd csak a kiválasztott jelöltekhez számít teljes logitokat. Ezek a módosítások a figyelmi réteg, illetve a következő token előrejelzésének költségét célozzák.

A kiadott modellben még nem szerepel több előrejelző réteg, a kevert szakértői architektúra, illetve a Latent ReLU. A szerzők szerint ezek a funkciók a jövőbeli modellekben jelenhetnek meg.

A faalapú ellenőrzés alkalmazkodik a terheléshez

Egy egyszerű lánc minden pozíciónál egyetlen folytatást választ, ezért egy korai eltérés megakadályozhatja a későbbi tokenek elfogadását. Az EAGLE ezzel szemben fát használ, amely több lehetséges folytatást is kínál a célmodellnek. A kiválasztott csomópontokat egyetlen célmodell-előrelépésben ellenőrzik.

Egy egyedi figyelmi maszk biztosítja, hogy az egyes jelöltek a közös előzményhez, saját őseikhez és önmagukhoz férjenek hozzá, miközben a testvérágakat és a többi ágat ne lássák. Az ellenőrzés után a rendszer megtartja az elfogadott folytatást, felszabadítja az elutasított gyorsítótár-bejegyzéseket, és új kört indít.

Az EAGLE-4 vezérlőrétege a GPU-n mért késleltetés alapján alakítja a fát. A kiszolgálás előtt egyszeri, offline kalibráció készít költségtáblát, amely többek között a kötegméret, a kontextushossz és a jelöltek száma szerinti ellenőrzési késleltetést tartalmazza. A rendszer ennek alapján szélesíti vagy mélyíti a fát, illetve szükség esetén egyszerű láncra vált.

Mérési eredmények kreatív feladatokon

A fal.ai és a Fireworks adatbázisain végzett kísérleteket NVIDIA B300 GPU-kon, négyes tenzorpárhuzamossággal futtatták. A fal.ai Prompt Enhancement SpecBench 400 példát tartalmaz 18 különböző adatbázisból, négy kategóriában: szövegből videó, képből videó, szövegből kép és képből kép. Minden kategóriában 100 példa szerepel.

A Fireworks összeállítása chat, kódolási, STEM, matematikai és hosszú kódolási feladatokat tartalmazott. A 20 hosszú kódolási promptból 18 volt használható, így összesen 138 prompttal dolgoztak.

A faalapú módszer minden vizsgált feladatrészen javította az elfogadási hosszt. Az összesített relatív javulás 9,6 százalék volt a Fireworks adathalmazán, illetve 12,4 százalék a fal.ai szöveges részhalmazán. A 16 tokenes ellenőrzési keretnél a javulás 21,1, illetve 26,1 százalékra nőtt a láncos megoldáshoz képest.

A kreatív promptok nehezebbnek bizonyultak az előrejelzők számára. A legnagyobb entrópiájú negyedben az elfogadási hossz 2,66, a legalacsonyabb entrópiájú negyedben 2,97 volt. A Fireworks adathalmazán az első token találati aránya a fa használatával 72,5 százalékról 85,3 százalékra emelkedett.

Az eredmények alapján a módszer különösen olyan rendszerekben lehet hasznos, amelyek rövid promptokat bővítenek részletesebb leírásokká. A forrás szerint a kép- és videógenerálás gyorsulásával ez a promptbővítési szakasz egyre nagyobb részt képviselhet a teljes válaszidőből, ezért a kis kötegméret melletti gyors dekódolás közvetlenül befolyásolhatja az interaktív használatot.