A CoreWeave az NVIDIA BlueField-4-gyel fejleszti AI-felhőjét
A CoreWeave az NVIDIA következő generációs BlueField-4 adatfeldolgozó egységének integrációját tervezi AI-felhőplatformjába. A vállalat szerint a technológia gyorsabb adatelérést, alacsonyabb késleltetést és hatékonyabb erőforrás-használatot tesz lehetővé a nagy AI-munkaterhelésekhez.
- A BlueField-4 a CoreWeave szerint hatszoros számítási teljesítményt kínál.
- A DPU átviteli sebessége 800 Gb/s.
- A technológia a hálózati, biztonsági és tárolási feladatokat tehermentesítheti a CPU-k és GPU-k számára.
- A CoreWeave hardveralapú bérlői elkülönítést alkalmazna többügyfeles AI-fürtökben.
- A vállalat gyorsabb modellhozzáférést és alacsonyabb következtetési késleltetést vár.
A BlueField-4 a hálózati és tárolási feladatokat gyorsítaná
A CoreWeave október 2-án közzétett blogbejegyzése szerint az NVIDIA BlueField-4 adatfeldolgozó egysége, vagyis DPU-ja, hatszoros számítási teljesítményt és 800 Gb/s átviteli sebességet kínál. A vállalat szerint ezek a képességek a CoreWeave hálózati és tárolási infrastruktúráját is gyorsíthatják.
A CoreWeave évek óta minden szerverébe BlueField DPU-kat épít be. Ezek a vállalat leírása szerint a hálózatkezelési, biztonsági és tároláskezelési feladatok egy részét leveszik a központi processzorokról. Így a grafikus feldolgozóegységek elsősorban a modellek betanítására és futtatására koncentrálhatnak.
A cég szerint a BlueField-4 erre a megközelítésre építve gyorsabb adathozzáférést, kisebb késleltetést és erősebb bérlői elkülönítést hozhat a több ügyfelet kiszolgáló AI-fürtökben.
Hardveres elkülönítéssel védenék az ügyfelek környezetét
A CoreWeave közlése alapján a DPU-k használata a vállalat felhőarchitektúrájának alapvető része. Az NVIDIA-val együttműködve a cég az NVIDIA DOCA szoftveres keretrendszerét használja arra, hogy a hálózati és biztonsági funkciók egy része közvetlenül a BlueField DPU-kon fusson.
A vállalat EVPN VXLAN technológiával különálló, biztonságos virtuális hálózatokat hoz létre az egyes ügyfelek számára. A CoreWeave szerint ez hardver által kikényszerített bérlői elkülönítést biztosít, és csökkenti annak kockázatát, hogy az egyik ügyfél munkaterhelése hatással legyen a másikéra.
A CoreWeave ezt a megközelítést a többcélú, örökölt felhőinfrastruktúráktól eltérő, kifejezetten AI-munkaterhelésekre kialakított architektúraként mutatja be. A cég állítása szerint az ilyen felépítés elkerüli a szoftveres szűk keresztmetszeteket és a megosztott erőforrásokból eredő teljesítményproblémákat.
Mit jelenthet ez a CoreWeave ügyfeleinek?
A CoreWeave szerint a BlueField-4 három fő területen javíthatja a szolgáltatást. A nagyobb hálózati és tárolási teljesítmény gyorsabb modellhozzáférést és alacsonyabb következtetési késleltetést tehet lehetővé. A vállalat emellett az új BlueField Advanced Secure Trusted Resource Architecture használatával továbbfejlesztené hardveralapú, finomabb szemcséjű elkülönítésre épülő, zéró bizalmi biztonsági modelljét.
A harmadik terület a hatékonyság. A cég szerint ha még több infrastruktúra-feladat kerül a DPU-ra, több CPU- és GPU-kapacitás marad az ügyfelek számítási feladataira. Ez magasabb kihasználtságot és kedvezőbb erőforrás-gazdaságosságot eredményezhet, miközben a fejlesztők, kutatók és vállalatok nagyobb AI-munkaterheléseket futtathatnak.
A bejegyzésben a CoreWeave úgy fogalmaz, hogy nem egyszerűen átveszi a legújabb technológiát, hanem az NVIDIA BlueField-4 köré építi át a CoreWeave Cloudot. A vállalat célja egy gyorsabb, biztonságosabb és nagy léptékben hatékonyabb, kifejezetten AI-ra kialakított felhőplatform.
