A Baseten 15 másodpercre gyorsította a delta súlyszinkronizálást
A Baseten szerint a GLM-5.3 körülbelül 770 GB-os ellenőrzőpontjának delta súlyszinkronizálása 36 másodpercről 15 másodpercre gyorsult. A szolgáltatás közbeni szünet 6 másodpercről 0,8 másodpercre csökkent, miközben a felszabaduló gazdagép-memóriát a vállalat KV-gyorsítótárra használja.
- A GLM-5.3 delta szinkronizálása 36 másodpercről 15 másodpercre gyorsult.
- A kiszolgálás szünete 6 másodpercről 0,8 másodpercre csökkent.
- A GPU lett a súlyok egyetlen szülőpéldánya, CPU-s teljes másolat nélkül.
- Az AgentX tesztben a KV-gyorsítótár találati aránya 2 százalékról 92 százalékra nőtt.
- Kimi K3 két GB300-as csomóponton, 75 másodperces teljes szinkronnal futott.
A GPU lett az egyetlen szülőpéldány
A Baseten október 30-i technikai bejegyzése szerint az új megoldás a GPU-n már megtalálható súlyokra épül. A korábbi kialakítás a teljes szülő-ellenőrzőpontot a gazdagép memóriájában is megtartotta, hogy ebből állítsa elő az új értékeket. Egy körülbelül 770 GB-os GLM-5.3-modellnél ez minden replikán ugyanekkora memóriaigényt jelentett.
Az új indulási folyamatban a modell egy helyi lemezes példányból töltődik be. A rendszer minden kiszolgált tenzort ellenőriz az alkalmazás GPU-s elrendezésén keresztül, tenzoronként Adler-32 ellenőrzőösszeget rögzít, majd törli a másolatot. Ezt követően a GPU-memória tartalmazza az egyetlen szülőpéldányt.
Delta érkezésekor a natív dekóder közvetlenül a zstd parancsait járja be, és csak a módosított elemek pozícióját, valamint XOR-maszkját tartja meg. A sűrű XOR-tenzort nem állítja elő, és nem olvassa ki a modell változatlan súlyait. A rendszer a régi értékeket csak a módosított pozíciókból gyűjti össze, alkalmazza az XOR-maszkot, majd az eredményt ellenőrzi a betanító által közölt összeggel.
A szünet 0,8 másodpercre rövidült
A Baseten korábbi megoldásában a CPU-s másolat új szabályzattá emelése frissítésenként körülbelül 45 másodpercig tartott. Ez akadályozta a következő delta alkalmazását, és a GPU-s, valamint a CPU-s példányt egyszerre kellett frissíteni.
Az új rendszerben a frissítés előkészítése még a régi szabályzat kiszolgálása közben zajlik. A rövid szünet alatt a rendszer lezárja az új kérések fogadását, helyben szünetelteti a futó kéréseket, beírja az új értékeket, frissíti a származtatott súlyokat, közzéteszi az új verziót, majd újra megnyitja a fogadást. GLM-5.3 esetében ez 0,8 másodpercet vesz igénybe, a korábbi 6 másodperc helyett.
A delta ellenőrzőösszegek kiszámítását is optimalizálták. A Baseten szerint minden módosított bájt hatása az Adler-32 összegre állandó időben meghatározható a pozíció, a régi érték és az új érték alapján. Így a változatlan bájtokat nem kell beolvasni. Kimi K3 esetében egy 30 GB-os delta feldolgozása körülbelül 230 másodpercről 100 másodpercre gyorsult.
Több memória jut a KV-gyorsítótárra
A CPU-s ellenőrzőpont elhagyása a Baseten szerint a kiszolgálás számára is memóriát szabadít fel. A korábbi kialakításban egy 8×B300-as csomóponton a modell másolata és egy 1,1 TB-os gazdagépoldali KV-gyorsítótár nem fért el együtt, ezért a gyorsítótárat 275 GB-ra kellett csökkenteni.
Az új kialakításban a GPU-ról kiszoruló KV-oldalak a gazdagép memóriájába kerülhetnek, majd azonos előtagú kérés esetén visszatölthetők. A Baseten mérése szerint egy 150 ezer tokenes előtag CPU-memóriából 0,48 másodperc alatt tölthető vissza, míg új előfeldolgozással 4,9 másodpercig tartana.
Az AgentX tesztben, 48-as párhuzamosságnál a KV-gyorsítótár találati aránya 2 százalékról 92 százalékra nőtt, a GPU-nkénti kimeneti áteresztőképesség pedig 3,2-szeresére emelkedett. Kimi K3 esetében a 1,7 TB-os, kiszolgált MXFP4-elrendezés két GB300-as csomóponton fut, csomópontonként négy GPU-val. Egy 8,4 GB-os delta alkalmazása a kérés indításától az új súlyok kiszolgálásáig 75 másodpercet, ezen belül 4,1 másodperces szünetet igényelt.
Baseten: The fastest delta weight syncs in the world
