Általánosan elérhetővé tette Training API-ját a Fireworks AI

Saját tanítási ciklus, kezelt infrastruktúrával

A Fireworks augusztus 31-i bejelentése szerint a Training API általánosan elérhetővé vált. A szolgáltatás célja, hogy a gépi tanulással foglalkozó csapatok saját adataikkal és tanítási ciklusukkal dolgozhassanak, anélkül, hogy maguknak kellene felépíteniük a teljes infrastruktúrát.

A ciklus Pythonból, tetszőleges környezetből vezérelhető. A fejlesztők teljes kontrollt kapnak a veszteségfüggvény, a jutalmazás (reward), az adatok és a környezet felett. A Fireworks eközben kezeli a nagy teljesítményű számítási hátteret, a gradienseket számító és a modellt frissítő tanítót, valamint a betanított modellből mintákat előállító futtatási környezetet.

A vállalat a két oldal közötti kapcsolatot is menedzseli. Ide tartozik a súlyok szinkronizálása, a sikertelen modellcserék utáni helyreállítás, valamint a tanítás és a futtatás összehangolása. A Fireworks szerint így a csapatoknak elsősorban a tanulási jel finomítására kell összpontosítaniuk.

Szerver nélküli és dedikált számítási lehetőség

A Training API kétféle számítási opciót kínál. A Serverless mód akkor lehet megfelelő, ha a gyors kísérletezés az elsődleges szempont. Ebben a módban LoRA-adapterek taníthatók megosztott infrastruktúrán, tokenenkénti díjazással, és a mintavételezés ugyanabban a munkamenetben fut. A Fireworks ezt kísérletekhez, nagyobb futtatások előkészítéséhez és a tanítási, valamint futtatási szakaszokat váltogató megerősítéses tanulási ciklusokhoz ajánlja.

A vállalat szerint egy ígéretes ellenőrzőpont közvetlenül éles modellfuttatásba helyezhető a kezelőfelületen vagy az API-n keresztül. A több LoRA-t támogató telepítés lehetővé teszi, hogy az egyes ügyfelekhez vagy felhasználási esetekhez külön hangolt modell tartozzon, önálló infrastruktúra felállítása nélkül.

A Dedicated mód teljes paraméteres tanításhoz, a szerver nélküli modellkészleten kívüli modellekhez, nagyobb kontextushosszhoz vagy LoRA-ranghoz, illetve tartós, nagy áteresztőképességű munkaterheléshez készült. Ilyenkor a Fireworks a futtatáshoz dedikált, rugalmas kapacitást biztosít, a számlázás pedig GPU-órák alapján történik. A Dedicated használatához a Fireworks Lab konzultációja és kapacitásbiztosítása szükséges.

A Fireworks szerint az összehangolás kulcsfontosságú

A Fireworks közlése szerint a megerősítéses tanulásban a modell tanítása és futtatása folyamatosan összekapcsolódik. A futtatási szakaszban előállított minták alapján frissülnek a súlyok, majd ezek kerülnek vissza a következő mintavételi körbe. A vállalat szerint emiatt különösen fontos, hogy a tanító és a futtató rendszer ugyanazt a numerikus működést használja.

A szolgáltatás összehangolja a numerikus formátumokat, köztük a BF16-ot, a blokkos FP8-at és az NVFP4-et. A Fireworks a számítási magok illesztését is kiemeli, mivel az azonos pontosság mellett az eltérő lebegőpontos összeadások, magválasztás vagy párhuzamosítás más eredményhez vezethet.

A vállalat a szakértői keverékmodellek futtatásánál a Router Replay megoldást használja az aktivált szakértők kiválasztásának megőrzésére a futtatási és a visszaterjesztési szakasz között. A Fireworks állítása szerint a tréningre indított modelleket folyamatosan ellenőrzi, és a tanítás, valamint a futtatás közötti Kullback, Leibler-eltérést, vagyis KLD-t méri.

A specializált modellek szerepe a vállalati fejlesztésben

A Fireworks több példát is bemutatott arra, hogyan használják a vállalatok a saját feladatra hangolt modelleket. A Harvey a Kimi K3 modellt hangolta jogi, hosszú munkafolyamatokra, a Vercel pedig egy nyílt modellt finomhangolt a v0 automatikus javítójához. A Heidi nyílt modellekre helyezte át klinikai dokumentációs rendszerét, a Factory pedig két kisebb LoRA-adaptert készített egy nyílt Qwen-alapmodellre.

A bemutatott esetekben a Fireworks szerint a specializált tanítás a minőséget, a késleltetést, a költséget vagy a viselkedés következetességét javította. A vállalat egy Figma-idézetet is közölt. Sumithra Bhakthavatsalam, a Figma AI-kutatási menedzsere szerint a Fireworks önkiszolgáló API-ja felgyorsította a kísérletezést és növelte a termelékenységet, így a csapat több időt fordíthatott tudományos és kutatási feladatokra, kevesebbet pedig az infrastruktúra hibakeresésére.