A Baseten ütemezett automatikus skálázással csökkenti a cold start késését
A Baseten ütemezett automatikus skálázást vezetett be a kiszámítható forgalmú alkalmazásokhoz. A funkció előre növeli a futó replikák minimális számát, hogy a várt forgalmi csúcsok idején kevesebb kérést érjen cold start miatti késés.
- Az ütemezett autoscaling a forgalmi csúcs előtt növeli a minimális replikaszámot.
- Az ütemezés lehet ismétlődő vagy egyszeri.
- Környezetenként legfeljebb 10 ütemezés állítható be.
- Napi, óránkénti és egyszeri időablakok használhatók.
- A beállítás dashboardon, CLI-n vagy Management API-n keresztül végezhető el.
Előre elindított replikák a forgalmi csúcsok előtt
A Baseten 2026. október 30-án bemutatott megoldása azoknál a munkaterheléseknél lehet hasznos, amelyeknél előre jelezhető, mikor növekszik meg a forgalom. Az ütemezett autoscaling segítségével a rendszer már a várható terhelés előtt elindíthat további replikákat.
Az automatikus skálázás a beérkező forgalomhoz igazítja a replikák számát. Amikor nő az igény, az új replikáknak időre van szükségük a számítási erőforrások lefoglalásához, a kiszolgálószoftver elindításához és a modell betöltéséhez. Ezt az időt nevezi a Baseten cold startnak. Az ezalatt várakozó kérések teljes válaszideje hosszabb lehet.
Az ütemezés lehet ismétlődő, például minden hétköznap reggel, vagy egyszeri, például egy termékbemutató előtt. A Baseten szerint így a további kapacitás már a forgalom megérkezése előtt rendelkezésre állhat.
Munkaidőre és egyszeri eseményekre is beállítható
A funkcióval meghatározott időpontokban módosíthatók az autoscaling beállításai, külső cron-feladat fenntartása nélkül. Ismétlődő forgalmi csúcs esetén például munkaidőben magasabbra állítható a minimális replikaszám, éjszakára pedig csökkenthető.
A Baseten példaként egy megbeszélések átírására szolgáló alkalmazást említ. Ennél a replikák a megbeszélések kezdete előtt skálázhatók fel, majd a csúcsidőszak után visszaállíthatók alacsonyabb szintre.
Egyszeri időablak is létrehozható termékbevezetéshez, terheléses teszthez vagy új telepítésre történő átálláshoz. A beállítás ideiglenes kapacitásnövelést tesz lehetővé az előre tervezett esemény idejére.
Legfeljebb 10 ütemezés hozható létre környezetenként
Minden ütemezéshez időablakot, valamint minimális és maximális replikaszámot kell megadni. A minimális érték azt határozza meg, hogy az automatikus skálázó legalább hány replikát tartson futásban az adott időszakban. A maximális érték korlátozza az összes futtatható replika számát.
Amikor nincs aktív ütemezés, a környezet az alapértelmezett beállításokat használja. Egy környezetben legfeljebb 10 ütemezés hozható létre, és ezeknek közös időzónát kell használniuk.
A Baseten napi, óránkénti vagy egyszeri időablakokat támogat. Az időablakok nem fedhetik át egymást, és legalább öt percig kell tartaniuk. A konfiguráció a vezérlőpulton, a parancssori felületen vagy a Management API-n keresztül végezhető el.
A felhasználók előre tervezhetik a kapacitást
A funkció a kiszámítható forgalmú alkalmazások üzemeltetőinek adhat közvetlen eszközt arra, hogy a várható terhelés előtt növeljék a futó replikák számát. Így az autoscaling az előre ismert napi csúcsokhoz és egyszeri eseményekhez is hozzáigazítható.
A Baseten azt javasolja, hogy a felhasználók a várható forgalom érkezése előtt indítsák el a replikákat a cold start késéseinek mérsékléséhez. A beállításhoz a vállalat dashboardos, CLI-s és Management API-s útmutatót kínál.
