A Baseten változtathatatlan adatköteteket kínál modelltelepítésekhez

Egyetlen verzió, több telepítés

A Baseten Delivery Network, röviden BDN, a modellkiszolgáló infrastruktúrán belül képes tartalmak terítésére. A vállalat szerint a Sealed Volumes célja, hogy megszüntesse a modelladatok másolataiból adódó eltéréseket. Ilyen adat lehet egy finomhangolt modell ellenőrzőpontja, LoRA-adapter, vektorindex, tokenizer, embeddingindex vagy keresőtábla.

A szolgáltatás egy könyvtár, egy Hugging Face-repozitórium, egy felhőtárhely vagy egy training checkpoint tartalmát egy változtathatatlan verzióként rögzíti. A verziót a tartalma alapján képzett digest azonosítja. A telepítés konfigurációs fájljában erre a digestre lehet hivatkozni, így minden replika ugyanazokat a fájlokat, csak olvasható módban, kapja meg.

A kötetek névterekben élnek, például a weights névtérben, és több verziót tartalmazhatnak. A prod címke egy adott verzió olvasható neve lehet, de a Baseten szerint a telepítésekben a digestet érdemes rögzíteni. Ez a konténerregisztrációk címkéihez és képdigestjeihez hasonló működés.

Kevesebb adatmásolás és egyszerűbb visszaállítás

A BDN a fájlokat darabokra bontja, és minden darabot a tartalma alapján tárol. Ha egy új checkpoint csak részben tér el a korábbitól, a feltöltés során csak a megváltozott darabok kerülnek továbbításra. A már tárolt fájlokat és darabokat a rendszer nem küldi át újra.

A Sealed Volume a konfigurációban megadott útvonalra csatolódik, ezért a fájlok a konténer indulásakor elérhetők. A bájtok olvasás közben a BDN gyorsítótárazási rétegeiből érkeznek. A Baseten leírása szerint így az indulási idő nem függ közvetlenül a kötet méretétől. A kötetek ugyanazt a három gyorsítótárréteget használják, mint a BDN súlyblokkjai: a csomópont lemezét, a fürtön belüli gyorsítótárat és a tükrözött eredeti tárhelyet.

Új verzió publikálásakor a prod címke az új verzióra állítható, a digestre rögzített telepítések azonban a korábbi adatokat használják mindaddig, amíg a konfigurációt nem módosítják és újra nem telepítik. A korábbi verzió visszaállításához annak digestjét kell megadni. A törölt verziók a Baseten szerint 7 napig visszaállíthatók.

Modellek, indexek és ellenőrzőpontok kezelésére

A Baseten két paranccsal mutatja be egy Hugging Face-modell publikálását. A szinkronizálás tartós háttérfeladatként fut, ezért a fájlok nem töltődnek le a felhasználó gépére. A szolgáltatás Hugging Face, S3, GCS, Azure Blob, Cloudflare R2 és CoreWeave tárolóival is használható. Privát forrásokhoz Baseten-titok szükséges, S3 és GCS esetén pedig OIDC-alapú hozzáférés is adható.

A Sealed Volumes a modell súlyain túl előre elkészített TensorRT-LLM-motorokhoz, lefordított gráfokhoz, embeddingindexekhez, szókincsfájlokhoz, tokenizer-konfigurációkhoz, biztonsági osztályozókhoz, értékelési adatokhoz és fordítási gyorsítótárakhoz is használható. A Baseten Startup Cache például a replikák lefordított kerneljeit és rögzített gráfjait publikálja Sealed Volumeként.

A megoldás a tanítás és a kiszolgálás közötti folyamatban is használható. Egy saját fürtön futó tanítási feladat a CLI és egy API-kulcs segítségével publikálhat checkpointot, a Basetenen futó feladatok ellenőrzőpontjai pedig közvetlenül a Baseten tárhelyéről szinkronizálhatók. A változások darabolt feltöltése miatt a gyakran publikált checkpointoknál minden verzió külön címezhető marad, miközben csak a módosult adatok mozognak.