Az Oracle több gigawattos skálára bővíti a Vera Rubin AI-infrastruktúrát

Nagyobb kapacitás a frontier modellekhez

Az Oracle október 27-i közleménye szerint az NVIDIA-val közösen több gigawattos méretre bővítik az OCI Supercluster infrastruktúráját. A vállalatok szerint a fejlesztés az AI-modellek betanítását, kiszolgálását és az ügynökalapú alkalmazások futtatását szolgálja.

Az OCI Supercluster NVIDIA NVL72 rackméretű rendszereket, Oracle Acceleron hálózatot, NVIDIA Spectrum-X Ethernet hálózatot Spectrum-6 kapcsolókkal, valamint NVIDIA BlueField-4 DPU-kat használ. A közlemény szerint az egyes rackek 72 GPU-t kapcsolnak össze NVIDIA NVLink hálózaton keresztül, míg az OCI hálózata több százezer GPU-ra skálázható.

A tervezett Vera Rubin-bővítés a már meglévő NVIDIA GB200 és GB300 NVL72 rendszerekre épül. Az Oracle és az NVIDIA közös CUDA szoftveralapja, valamint a folyamatos szoftveroptimalizálás a közlemény szerint lehetővé teszi, hogy az ügyfelek több hardvergeneráción keresztül is támogassák a változó modelleket és munkaterheléseket.

Kisebb Rubin-konfigurációt is tervez az Oracle

Az OCI-n tervezik bevezetni az NVIDIA HGX Rubin NVL8 platformot is. Ez nyolc, NVLinken összekapcsolt Rubin GPU-t kínál x86-alapú szerverben. A tervezett konfiguráció két, egyenként 64 magos Intel Xeon 6 processzort, 4 TB DDR5 memóriát és 6,4 Tbps sebességű RDMA-hálózatot tartalmaz.

Az Oracle ezt olyan rugalmasabb telepítési lehetőségként mutatja be, amely AI-modellek betanítására, finomhangolására és következtetésre is használható. A nyolc GPU-s kialakítás lehetővé teszi a Rubin technológia kisebb konfigurációban történő alkalmazását, miközben megőrzi az x86-alapú alkalmazásokkal való kompatibilitást.

A közlemény szerint az OpenAI az Abilene-ben működő OCI Superclusteren több mint 100 000 NVIDIA Blackwell GPU-val betanította és kiszolgálta a GPT-6 Astra modellt. Sreekanth Pothanis, az OpenAI számítási infrastruktúráért felelős mérnöki vezetője szerint a Vera Rubin az OCI-n megfelelő teljesítményt és méretet biztosít a modellek betanításának gyorsításához és az egyre nagyobb AI-munkaterhelések kiszolgálásához.

A Vera CPU az ügynökök háttérfeladatait gyorsítaná

Az AI-ügynökök a válaszgenerálás mellett eszközöket hívnak meg, kódot futtatnak és adatokat kérnek le. Ezek a CPU-igényes műveletek késleltethetik az eredményt, miközben a GPU-k két modellhívás között várakozhatnak.

Az OCI NVIDIA Vera CPU-val működő számítási szolgáltatása magas egyszálas teljesítményt és nagy memória-sávszélességet kínál ezekhez a feladatokhoz. Az Oracle szerint az egyszálas teljesítmény az egyedi eszközhívásokat és kódfuttatást, a memória-sávszélesség pedig a párhuzamos feladatokat segíti. Az Oracle Kubernetes Engine lehetővé teszi a CPU- és GPU-erőforrások egymástól független skálázását, az Oracle Acceleron pedig hardveralapú elkülönítést biztosít a nem megbízható, AI által generált kódot futtató munkaterhelésekhez.

A Vera CPU korai hozzáférési programjában az OpenAI is részt vesz. Uday Ruddarraju, a vállalat számítási technológiáért felelős műszaki igazgatója szerint a Vera CPU-t az OCI-n élesben vezetik be az ügynökalapú sandbox-munkaterhelések támogatására.

A Vera Rubin NVL72 és a Vera CPU már általánosan elérhető az OCI-n. Az Oracle ugyanakkor hangsúlyozza, hogy a Rubin HGX NVL8 bevezetése és a több gigawattos bővítés jövőbeli terv, a termékek fejlesztése, kiadása és időzítése változhat.