A CoreWeave általánosan elérhetővé tette az NVIDIA GB200 NVL72-t

Nagy teljesítményű AI-infrastruktúrát kínál a CoreWeave

A CoreWeave közlése szerint az új példányok az NVIDIA GB200 Grace Blackwell Superchipre épülnek. A vállalat ezeket olyan ügyfeleknek szánja, amelyek összetett mesterségesintelligencia-modelleket szeretnének gyorsan betanítani, telepíteni és nagyobb méretre skálázni.

A bejelentés február 4-én jelent meg. Brian Venturo, a CoreWeave társalapítója és stratégiai igazgatója szerint a lépés tovább erősíti a vállalat vezető szerepét, valamint azt a képességét, hogy a legújabb technológiákat gyorsan és hatékonyan tegye elérhetővé. A vezető úgy fogalmazott, hogy az indulás újabb eredmény a vállalat elsőként bejelentett megoldásainak sorában, és segítséget jelenthet a cégeknek az innovációban, miközben nagy méretben is fenntartják a hatékonyságot.

Rack-szintű összeköttetés és 400 Gb/s sávszélesség

A CoreWeave GB200 NVL72-példányai rack-szintű NVLink-kapcsolatot használnak. A hálózati infrastruktúra az NVIDIA Quantum-2 InfiniBand technológiájára épül, amely a közlemény szerint GPU-nként 400 Gb/s sávszélességet biztosít. A rail-optimalizált topológiát legfeljebb 110 000 GPU-t tartalmazó klaszterekhez tervezték.

Az NVIDIA Quantum-2 SHARP In-Network Computing technológiája a kollektív kommunikáció további optimalizálását teszi lehetővé. A CoreWeave szerint ez rendkívül alacsony késleltetést és gyorsabb modellbetanítást eredményezhet. A vállalat kiemeli, hogy a hálózati megoldások különösen fontosak a fejlett modellek esetében, mivel a szerverek memóriakapacitása és a GPU-k közötti kommunikáció sebessége korlátozhatja a skálázást.

A vállalat jelentős gyorsulást ígér

A CoreWeave saját adatai alapján az új infrastruktúra az előző generációkhoz képest akár 30-szor gyorsabb valós idejű nagy nyelvi modellkövetkeztetést, vagyis inferenciát kínálhat. A közlemény legfeljebb 25-ször alacsonyabb teljes tulajdonlási költséget és 25-ször kisebb energiafelhasználást is említ valós idejű inferencia esetén.

A nagy nyelvi modellek betanításánál a vállalat akár négyszeres gyorsulást állít az előző generációkhoz viszonyítva. Ezek a számok a CoreWeave közlésében szereplő vállalati állítások, a bejelentés külön mérési módszertant vagy tesztkörnyezetet nem részletez.

A szolgáltatás a CoreWeave Kubernetes Service, a Slurm on Kubernetes és a vállalat megfigyelési platformjával együtt használható. A cég szerint ezek a szolgáltatások az AI-munkafolyamatok futtatását, kezelését és skálázását könnyítik meg.

A GB200 köré építi korábbi együttműködéseit

A CoreWeave közlése szerint a mostani bejelentés illeszkedik a vállalat korábbi NVIDIA-kapcsolatába. Tavaly augusztusban a cég az elsők között kínált NVIDIA H200 GPU-kat a GPT-3 nagy nyelvi modellhez kapcsolódó munkaterhelések betanítására. Novemberben az elsők között mutatott be működés közben NVIDIA GB200-rendszereket.

A vállalat korábban azt is bejelentette, hogy az IBM számára az elsők között szállít NVIDIA GB200 Grace Blackwell Superchipre épülő AI-szuperszámítógépet. Az IBM ezt a következő generációs Granite-modellek betanítására használja. Priya Nagpurkar, az IBM hibridfelhőért és AI-platformkutatásért felelős alelnöke szerint az együttműködés a vállalat hibridfelhős AI-stratégiája iránti elkötelezettségét mutatja.

Az NVIDIA alelnöke, Ian Buck szerint a következtetés és a betanítás skálázása az új generációs AI-munkaterheléseket fejlesztő szervezetek egyik legnagyobb kihívása. A GB200 NVL72-példányok iránt érdeklődő ügyfelek a CoreWeave-et kereshetik meg további információért.