Négy tanulmánnyal jelentkezett a FuriosaAI az ICML 2026-on

A következtetési folyamatok hatékonyabb elemzése

A FuriosaAI 2026. augusztus 6-án közzétett beszámolója szerint mind a négy tanulmányt a vállalat Algoritmuscsapatán belül működő AI Research Group készítette. A kutatásokat az ICML 2026 konferencián mutatták be, amelyet Szöulban rendeztek meg.

Az egyik munka, a ReJump, a nagy nyelvi modellek következtetési folyamatait fa-struktúraként írja le. A módszer a nem szomszédos állapotok közötti átmeneteket, vagyis az úgynevezett ugrásokat is figyelembe veszi. Ez olyan működési minták elemzését teszi lehetővé, mint a visszalépés, az ellenőrzés és a számítás.

A vállalat szerint a ReJump a Best-of-N kiválasztási stratégiák teljesítményét akár 9,1 százalékkal javította következtetési feladatokon. A megközelítés célja, hogy a modellek értékelése ne csak a végső pontosságra épüljön. A strukturált elemzés azt is megmutathatja, hogyan keresnek a modellek a lehetséges megoldások között, mikor gondolkodnak túl egy feladaton, illetve miként ellenőrzik a köztes lépéseket.

Kevesebb memória a diffúziós nyelvi modelleknél

A LoSA a blokkos, diffúziós nyelvi modellek hosszú kontextusú szöveggenerálásával foglalkozik. A FuriosaAI szerint ezeknél a modelleknél a kulcs-érték gyorsítótár, vagyis a KV-cache növekedése jelentős memóriaigényt okozhat a zajcsökkentési lépések során.

A módszer megkülönbözteti az aktív és a stabil tokeneket. A stabil tokenekhez tartozó prefixfigyelmet újra felhasználja a gyorsítótárból, míg a ritka figyelmet csak az aktív tokenekre alkalmazza. A vállalat szerint ezzel a nem autoregresszív, blokkos diffúziós modellek hosszú kontextus esetén is skálázhatók anélkül, hogy a memória korlátai miatt romlana a sebesség.

A LoSA társszerzői között a FuriosaAI részéről Minjae Lee és Wonjun Kang szerepelnek. A kutatásban a University of California, Berkeley és a University of Texas at Austin munkatársai is közreműködtek.

Gyorsabb tanítás és megerősítéses utótréning

Az AsyncOPD az on-policy desztilláció, vagyis a tanár- és diákközötti modellátadás tanítási folyamatát vizsgálja. A rendszer szétválasztja a mintagenerálást és a tanulói frissítéseket, így nem kell minden lépésnek szigorúan szinkronban történnie. A tanulmány a késleltetés hatásait, valamint a fordított KL-becslők optimalizálását is elemzi véges tanári pontszámgyorsítótárak mellett.

A FuriosaAI állítása szerint az AsyncOPD a szigorúan szinkron alapvonalakhoz képest 1,6-szoros és 3,8-szoros közötti tanítási áteresztőképességet ér el. A cél a tanár-diák desztilláció során jelentkező szinkron várakozás csökkentése, ami felgyorsíthatja a következtetési képességekre irányuló utótréninget.

Az EfficientRollout a megerősítéses tanulás utótréningjének mintagenerálását gyorsítja rendszerismerő spekulatív dekódolással. A megoldás egy 4 bites kvantált, önálló vázlatkészítő modellt, rendszerfüggő spekulatív dekódolást és a vázlat hosszának dinamikus módosítását kombinálja. A vállalat szerint a módszer veszteség nélkül akár 19,6 százalékkal gyorsítja a mintagenerálást, a teljes tanítást pedig 12,7 százalékkal.

A kutatástól a gyártási környezetig

A FuriosaAI szerint a négy tanulmány közös iránya a teljes szoftveres és hardveres verem összehangolása. A kutatások különböző pontokon avatkoznak be: a ReJump a következtetés elemzését, a LoSA a memóriahasználatot, az AsyncOPD a tanítási folyamatot, az EfficientRollout pedig a megerősítéses utótréning végrehajtását célozza.

Az ICML hete alatt a vállalat több mint 100 kutatót, rendszertervezőt, mérnököt és együttműködő partnert fogadott gangnami központjában egy kötetlen találkozón. A FuriosaAI ezt az akadémiai kutatás és a gyártásra kész végrehajtás közötti együttműködés egyik formájaként mutatta be. A közlemény szerint a vállalat a jövőben is kutatási konferenciákon és közösségi eseményeken kívánja folytatni ezt a munkát, azzal a céllal, hogy fenntarthatóbbá tegye a mesterséges intelligencia használatát.