A Fireworks AI szerint betanított Glimmer megelőzte Jevet

Ingyenes betanítás november végéig

A Fireworks AI október 20-án ismertette első Free Weights Club kísérletét. A programban a Muse Glimmer 30B felügyelt finomhangolása (SFT) november 30-ig ingyenesen elérhető. A vállalat célja, hogy a felhasználók saját adataikkal is kipróbálhassák a modell utólagos betanítását.

Az első kísérletben a cég azt vizsgálta, hogy a történelmi Kalshi-piacok adataival betanított Glimmer képes-e pontosabban előre jelezni későbbi eseményeket. A Fireworks az így kapott változatot tuned Glimmernek, az eredeti modellt base Glimmernek nevezte.

Az ismeretlen témákon is jobb eredményt ért el

A tanítóadatbázis 20 051 kérdésből és 6461, 2026. január 4. előtt lezárt eseményből állt. A kalibrációhoz 6232 kérdést használtak 2000 olyan eseményből, amelyek január 11-én vagy később nyíltak meg, és április 1. előtt zárultak le. Az értékelési halmaz 33 712 kérdést tartalmazott 8765 eseményből.

A teljes tesztkészleten a tuned Glimmer 64,8 százalékos pontosságot ért el. A base Glimmer 56,4, Jev pedig 45,9 százalékot produkált. A 3567 kérdésből álló, 113 korábban kizárt témacsaládot tartalmazó részhalmazon a tuned Glimmer 58,3 százalékot ért el, szemben a base Glimmer 53,2 és Jev 47,1 százalékával.

A Fireworks külön kalibrálta a tuned Glimmer valószínűségi becsléseit. Amikor a modell legalább 80 százalékos valószínűséget rendelt egy válaszhoz, az a teljes teszten és az ismeretlen témák részhalmazán is az esetek 86,8 százalékában helyesnek bizonyult. Ilyen magas küszöböt a teljes teszt kérdéseinek 14,4, az ismeretlen témák kérdéseinek pedig 6,1 százaléka ért el.

A történelmi visszatesztben is nyereséget mutatott

A vállalat egy hipotetikus, 1000 dolláros keretet osztott szét a modellek által kiválasztott fogadások között. Csak az 50 százaléknál nagyobb becsült nyerési eséllyel rendelkező kimenetelek kerülhettek be, a magasabb valószínűségek pedig nagyobb allokációt kaptak. A Fireworks a vételi árat és a modellezett díjakat is figyelembe vette.

A visszateszt végén a tuned Glimmer kerete 1071 dollárra nőtt, ami 7,1 százalékos eredmény. A base Glimmer 950 dollárnál, Jev pedig 919 dollárnál zárt. A számítás nem modellezte a likviditást, az árfolyamcsúszást vagy a korábbi díjak változását, a teszt pedig átfedő történelmi fogadásokat is tartalmazott.

Az eredmény bizonytalanságát teljes események újramintavételezésével becsülték. A tuned Glimmer 90 százalékos eseményszintű intervalluma 1,6 és 12,4 százalék közé esett. Az ismeretlen témák külön visszatesztje 15,2 százalékos hozamot adott, intervalluma azonban mínusz 2,9 és plusz 33,5 százalék között húzódott, így veszteséges kimenetelt is tartalmazott.

Gyorsabb döntések a System One használatával

A kísérletben a rendszernek rögzített válaszlehetőségek valószínűségeit kellett kiszámítania, ezért a Fireworks szerint nem volt szükség szöveges válasz generálására. A System One API közvetlenül az opciók valószínűségeit olvassa ki, és több, közös háttérrel rendelkező kérdést is képes egyetlen kérésben kezelni.

Egy külön, szintetikus tesztben a System One 2-3-szor gyorsabb medián szerveroldali feldolgozást mért a hagyományos BF16 chatkiegészítéseknél. Azonos adaptert és egyetlen B200 GPU-t használtak. Kérésekként 16-32 kérdésnél a rendszer akár 3,6-szor több döntést adott másodpercenként. A Fireworks hangsúlyozza, hogy ez a mérés különálló a Jevvel végzett Kalshi-összehasonlítástól.