A Modal nyílt forráskódú Training API-t indított Spindle néven
A Modal bemutatta a Spindle-t, egy nyílt forráskódú, Tinker-kompatibilis oktatási szervert, amely a felhasználó Modal-munkaterében fut. A szolgáltatás tokenenkénti díjazás helyett GPU-időre épül, és több párhuzamos kísérlet futtatására készült.
- A Modal bemutatta a nyílt forráskódú, Tinker-kompatibilis Spindle Training API-t.
- A Spindle a felhasználó Modal-munkaterében fut, és GPU-idő alapján számol.
- A multi-LoRA több tanítási futás közös GPU-használatát teszi lehetővé.
- A Modal méréseiben a Spindle akár 80 százalékkal is olcsóbb volt a Tinkernél.
- A szolgáltatás jelenleg bétaállapotban van.
A Spindle a Tinker és a nyers infrastruktúra között helyezkedik el
A Modal október 22-én jelentette be a Spindle-t, amely a Thinking Machines Tinker rendszerének kompatibilis, nyílt forráskódú alternatívája. A fejlesztők a tanítási ciklust továbbra is egyszerű Python-kódban írhatják meg, miközben a Spindle a háttérben kezeli az elosztott tanítást.
A rendszer a Modal munkaterében fut, ezért a szerver tulajdonosa és működése testre szabható. A telepítéshez a spindle deploy parancsot kell kiadni, ezután a meglévő tanítási szkript a szerverhez kapcsolható. A Modal szerint a Spindle teljes paraméteres tanítást és több LoRA-futást támogat számos nyílt modell esetében.
A Spindle a Modal által lefedett utólagos modellképzési rendszer középső rétege. Aki nem szeretne saját tanítási ciklust írni, használhatja a Modal Dojo könyvtárat, amelyhez elegendő egy modellt és egy adatkészletet megadni. Aki teljes kontrollt akar a fürt felett, on-demand többcsomópontos fürtöket és az RL-futtatásokhoz használható sandboxokat vehet igénybe.
Elosztott tanítás és több modell futtatása közös GPU-kon
A Spindle vezérlősíkja kezeli a kéréseket és munkameneteket, valamint a Modal Functionsre épülő konténeres automatikus skálázást. A háttérben külön tanító motorok és következtetési készletek dolgoznak, amelyeknek nem kötelező azonos gyorsítókat vagy pontossági beállításokat használniuk.
A rendszer a Modal Clusters, Modal Volumes és Modal Servers építőelemeire támaszkodik. Ezek dinamikusan elérhető, RDMA-kapcsolatú csomópontok ütemezését, gyors és tartós ellenőrzőpont-mentést, valamint következtetési réteget biztosítanak. A fejlesztés során a Modal több javítást is beküldött a Miles és az SGLang nyílt forráskódú projektekbe.
A Spindle egyik központi funkciója a multi-LoRA. Ennek segítségével több ügyfél osztozhat ugyanazon a tanítói infrastruktúrán. A Modal egy DAPO-math feladaton azt mérte, hogy négy kliens mellett a tanító körülbelül 88 százalékos kihasználtsággal működött. Nyolc kliens fölött ebben a beállításban már jelentősen romlott az egy kliensre jutó áteresztőképesség.
A Modal szerint több futás mellett csökkenhet a költség
A Modal összehasonlításai szerint egy Qwen3.8-27B modellen futtatott, egyfordulós DAPO-math feladat ára 1 millió kimeneti tokenenként 9,77 dollár volt Tinkeren. A Spindle négy klienssel, 4 darab H200-as tanító és 12 darab B200-as következtetési GPU-val 3,57 dollárra csökkentette ezt az értéket, ami 63 százalékos mérséklés a Tinkerhez képest. Nyolc klienssel, 8 darab H200-as tanító és 8 darab H200-as következtetési GPU mellett az ár 1,99 dollár volt.
Legfeljebb 40 fordulós keresési ügynöknél a Tinker mérési értéke 5,06 dollár volt. A Spindle négy klienssel 4,06, nyolc klienssel 3,80 dollárt ért el. A 256 ezres kontextusú SWE-Gym feladatnál a Modal becslése szerint a Tinker értéke 10,79 dollár, míg a Spindle négy klienssel 6,17, nyolc klienssel 5,82 dollár volt.
A Modal szerint a GPU-k kihasználtságának növelése csökkenti az egy tokenre jutó költséget, ezért a Spindle elsősorban sok párhuzamos kísérletet futtató csapatoknak lehet hasznos. A szolgáltatás jelenleg bétaállapotú. A cég további teljesítményjavításokat, fejlettebb automatikus skálázást, új funkciókat és tanítási recepteket ígér, a felhasználókat pedig hibajelentésekre és új modellkonfigurációk beküldésére ösztönzi.
Modal: Introducing our Training API
