A CoreWeave egyetlen adatkészletet tenne elérhetővé több felhőben

Az AI-fejlesztést a töredezett adatok lassítják

A CoreWeave október 22-i közleménye szerint az AI-modellek fejlődésével az infrastruktúra egyik fő kihívása továbbra is az adatok mozgatása. A vállalat úgy látja, hogy az adatok gyakran különböző felhők, régiók és tárhelyszintek között töredeznek, ezért a fejlesztőcsapatoknak adatkészleteket kell duplikálniuk, kiszámíthatatlan kimenőforgalmi költségekkel kell számolniuk, és külön gyorsítótárazási rendszereket kell létrehozniuk.

A CoreWeave erre kínálja a teljesen menedzselt, kifejezetten AI-munkaterhelésekhez kialakított CoreWeave AI Object Storage szolgáltatást. A vállalat szerint a rendszer egyszerűséget, skálázhatóságot és átlátható számlázást kínál, miközben az adatok régiók, felhők és tárhelyszintek közötti mozgatását is támogatja.

Akár 7 GB/s GPU-nként, automatikus tárhelyszintekkel

A szolgáltatás elosztott architektúrát használ, amely külön kezeli a számítási kapacitást és a tárhelyet, miközben alacsony késleltetésű hozzáférést biztosít az adatokhoz. Az adatok a GPU-csomópontok között oszlanak el, így a rendszer párhuzamos olvasást és írást tesz lehetővé. A CoreWeave állítása szerint az átviteli sebesség GPU-nként elérheti a 7 GB/s-ot, a szolgáltatás pedig több százezer GPU-ig skálázható.

A teljesítményben fontos szerepet kap a Local Object Transport Accelerator, vagyis a LOTA. Ez a GPU-fürtök csomópontjain futó proxy, amely S3-végpontként működik, és helyi gyorsítótárat hoz létre a GPU-csomópontok lemezein. A gyakran használt objektumokat a számítási kapacitáshoz közel helyezi el, így a CoreWeave szerint a GPU-k folyamatosan hozzájuthatnak a szükséges adatokhoz.

A számlázás automatikusan, a használat alapján sorolja a fájlokat különböző szintekre: a Hot kategóriába az elmúlt 7 napban elért adatok, a Warm kategóriába a 7 és 30 nap között használt adatok, a Cold kategóriába pedig a legalább 30 napja nem elért adatok kerülnek. A CoreWeave szerint ez a meglévő ügyfelek tipikus AI-munkaterheléseinél több mint 75 százalékkal csökkenti a tárhelyköltséget.

Egy adatkészlet több régióból és felhőből

Az új funkciók célja, hogy az ügyfeleknek ne kelljen minden régióban külön másolatot fenntartaniuk ugyanarról az adatkészletről. A CoreWeave szerint egyetlen adatkészlet bárhonnan elérhető, helyi lemezes teljesítményhez hasonló hozzáféréssel, akár a vállalat régióiban, más felhőkben vagy helyszíni környezetekben fut az AI-munkaterhelés.

A megoldást a CoreWeave többfelhős használatra kialakított hálózati gerince támogatja, amely privát összeköttetéseket, közvetlen felhőkapcsolatokat és legfeljebb 400 gigabites más régiók közötti hálózatot kombinál. A vállalat példája szerint egy New Yorkban vagy Londonban futó munkafolyamat ugyanahhoz a nagy átviteli teljesítményhez férhet hozzá, összetett replikációs stratégia nélkül.

Ez lehetővé teheti, hogy egy modellt a CoreWeave-en tanítsanak, majd másik felhőben finomhangoljanak vagy telepítsenek, az adatkészlet duplikálása nélkül. A CoreWeave közlése szerint a hozzáférés egress-, ingress- és kérési díjaktól mentes. A LOTA gyorsítása a vállalat minden régiójában működik, más felhőkben és helyszíni környezetekben való kiterjesztését pedig 2026 elejére ütemezték.

Megbízhatóság és megfigyelhetőség

A CoreWeave AI Object Storage 99,9 százalékos rendelkezésre állást garantál, és a vállalat szerint tizenegy kilences tartósságra tervezték. A titkosítás alapértelmezett az adatok nyugalmi állapotában és továbbítás közben is. A szerepköralapú hozzáférés, valamint a SAML és SSO támogatása vállalati identitáskezelést tesz lehetővé.

A szolgáltatás Prometheus-végpontokat és Grafana-irányítópultokat is tartalmaz, amelyekkel a csapatok követhetik többek között az átviteli sebességet, a késleltetést, a gyorsítótár hatékonyságát és a hibaarányokat. A bejelentés alapján a fejlesztők így a tárhely helyett a modellek tanítására, finomhangolására és kiszolgálására összpontosíthatnak, miközben az adatok több környezetben is elérhetők maradnak.