A CoreWeave új kapacitáscsomagokkal kezelné az AI-terhelés ingadozását

A változó terheléshez igazított kapacitás

A CoreWeave 2026. október 22-én mutatta be Flexible Capacity Plans nevű konstrukcióit. A vállalat abból indul ki, hogy az AI-munkafolyamatok terhelése hullámokban változik. A modelltréning és az értékelés ismétlődő ciklusokban zajlik, a következtetés, vagyis az inference terhelése pedig napszakonként, régiónként és az egyes termékesemények hatására is ingadozhat.

A CoreWeave szerint ilyenkor a fő probléma nem maga a változékonyság, hanem az, hogy a kapacitás gyakran csak akkor biztosítható, ha az ügyfél folyamatosan fizet érte. Ha a csúcsterhelés idején nem garantált a hozzáférés, a csapatok vagy állandó kapacitást kötnek le a korai ötletek védelmére, vagy kisebbre szabják a projektet, mert a skálázást túl kockázatosnak látják.

Flex Reservations és Spot

A CoreWeave ügyfelei eddig két megszokott működési mód közül választhattak. A Reservations a folyamatosan szükséges alapkapacitást fedi le, az On-Demand pedig változó, legjobb erőfeszítésű kiegészítő kapacitást kínál. A Flexible Capacity Plans ehhez két további lehetőséget ad.

A Flex Reservations előzetesben indul. Az ügyfél meghatároz egy felső kapacitási határt, a CoreWeave pedig ezen belül garantálja a hozzáférést. A konstrukció holding fee-t, vagyis a garanciát fenntartó díjat, valamint a ténylegesen futó példányok használati díját tartalmazza. A vállalat ezt olyan munkaterhelésekhez szánja, amelyek egyenetlenül használják a kapacitást, még növekedési szakaszban vannak, vagy bizonytalan az elfogadásuk üteme.

A Spot mostantól általánosan elérhető, alacsonyabb költségű lehetőség az olyan feladatokhoz, amelyek elviselik a megszakítást. A CoreWeave szerint a megszakításról több perccel korábban értesítés és egyértelmű jelzés érkezik, így a csapatok a példány leállítása előtt áthelyezhetik a munkát. A Spot a CoreWeave Kubernetes Service-ben node pool típusként érhető el, előzetes leállítási jelzésekkel és működési korlátokkal. A vállalat kísérletekhez, visszatöltésekhez, kötegelt feladatokhoz és túlcsorduló terheléshez ajánlja.

Kapacitás a teszteléstől az éles működésig

A CoreWeave szerint az AI-környezetekben jellemzően több kapacitásmodell együtt jelenik meg. Az állandó terheléshez Reservations, a védendő csúcsokhoz Flex, az áthelyezhető vagy legjobb erőfeszítésű munkákhoz pedig Spot és On-Demand használható. A vállalat ARENA szolgáltatását a munkaterhelések valós körülmények közötti, teljes körű kipróbálására pozicionálja, a Flexible Capacity Plans pedig az ezt követő felfutási és skálázási szakaszt célozza.

Ez különösen az inference esetében fontos, mivel az éles modellkiszolgálás folyamatos üzemeltetési feladat. A forgalom változik, a késleltetési célok szigorodhatnak, a modellek fejlődnek, a költségeket pedig nap mint nap követni kell. A CoreWeave szerint az infrastruktúra részleteinek elrejtése megnehezítheti a használt GPU-osztályok, a futtatási viselkedés, a kiszolgálási idő és a teljesítmény költségtényezőinek átlátását.

Három út az inference futtatására

A vállalat háromféle inference-megközelítést emel ki. A Serverless Inference a Weights & Biases rendszerében, CoreWeave-infrastruktúrára építve, lehetővé teszi nyílt forráskódú modellek igény szerinti futtatását, egyszerű tokenalapú fizetéssel. A CoreWeave szerint a felhasználók LoRA-típusú adaptereket is használhatnak anélkül, hogy külön inference-infrastruktúrát kellene felépíteniük és üzemeltetniük.

A Dedicated Inference előzetesben érhető el azoknak a platformcsapatoknak, amelyek meghatározott GPU-osztályokon, nyílt futtatókörnyezeteken és infrastruktúrához igazított költségmodellel szeretnének dolgozni. A harmadik lehetőség az inference közvetlen futtatása a CoreWeave Kubernetes Service-ben. Ez nagyobb kontrollt ad az alkalmazáskomponensek és a modellek együttes telepítése felett.

A CoreWeave ügyfeleként a Cline példáját hozza fel. Saoud Rizwan, a Cline alapítója szerint a vállalat a Serverless Inference in Weights & Biases szolgáltatást használja a legbiztonságérzékenyebb ügyfelek vállalati környezeteihez. A CoreWeave állítása szerint a különböző inference-megközelítések mellett is ugyanaz a cél: átlátható végrehajtás, az infrastruktúrához igazított gazdaságosság, valamint a teljesítmény és a költség láthatósága valós terhelés mellett.