EAGLE-3
Az EAGLE-3 címke a gyorsabb szöveggeneráláshoz és a spekulatív dekódoláshoz kapcsolódó fejlesztéseket gyűjti. A téma azért fontos az MI világában, mert a dekódolási módszerek és a hardveres optimalizálás hatással lehetnek a nyelvi modellek válaszidejére és működésére.
A címke alatt az EAGLE fejlesztési vonalának újabb eredményei, mérési adatbázisai és a hozzá kapcsolódó rendszerek vizsgálatai jelennek meg. Ide tartozik az EAGLE-4 megjelenése, valamint a vLLM AMD GPU-kon végzett kutatása a spekulatív dekódolásról.
Megjelent az EAGLE-4, új mérési adatbázissal a gyorsabb szöveggenerálásért
A fal.ai, a Fireworks együttműködésével, közzétette az EAGLE-4 technikai elemzését és egy 400 példát tartalmazó nyilvános adatbázist. A fejlesztés a spekulatív…
A vLLM az AMD GPU-kon vizsgálta a spekulatív dekódolást
A vLLM az AMD Instinct MI300X és MI355X GPU-kon vizsgálta a spekulatív dekódolást, amely egyetlen célmodell-futtatásban több előre jelzett tokent is ellenőrizhet. A…