Élesben fut a Vera Rubin, a CoreWeave első ügyfele a Cognition

A Cognition már éles munkaterheléseket futtat

A bejelentést az NVIDIA szeptember 30-án, a CoreWeave San Franciscó-i rendezvényén, a CoreWeave Fully Connecteden ismertette. A CoreWeave NVIDIA számítási, hálózati és szoftveres technológiáira épülő, mesterséges intelligenciára kialakított felhőt üzemeltet, és most a Vera Rubin infrastruktúrát is termelési környezetbe állította.

A Devin mögött álló Cognition a Vera Rubin NVL72 első ügyfele, amely éles munkaterhelést futtat a rendszeren. A vállalat a CoreWeave-en végzi a Devin tréningjét, megerősítéses tanulását és éles következtetését. Kilenc hónap alatt több ezer GPU-ra skálázta a CoreWeave-en futó infrastruktúráját.

A Cognition valós szoftvermérnöki feladatsoron hasonlította össze a Vera Rubin NVL72 és a GB200 NVL72 teljesítményét. A FrontierCode feladataiból vett mintán AI-ügynököket vetettek be a problémák megoldására. A korai tesztekben a Vera Rubin NVL72 az SWE-2 következtetési munkaterheléseknél legfeljebb 4,8-szoros teljes tokenátvitelt ért el a GB200 NVL72-höz képest. A Cognition szerint ez gyorsabb valós idejű kódgenerálást és reszponzívabb, több lépésből álló következtetést jelent a Devin számára.

Az NVIDIA Vera CPU az ügynöki feladatokra készül

A CoreWeave a Vera Rubin NVL72 mellett az NVIDIA Vera CPU-t is kínálja majd. A processzort kifejezetten AI-ügynökökhöz tervezték, amelyeknél egyszerre fontos az alacsony késleltetésű számítás nagy léptékben, valamint a sok, elkülönített környezet párhuzamos futtatása a modellek utótréningje során.

A CoreWeave egy rackben 128 CPU-t és 11 264 magot helyezett el. A vállalat közlése szerint ez több mint 11 ezer egyidejű környezet futtatására elegendő, környezetenként egy maggal. A CoreWeave Sandboxes hardveresen elkülönített környezeteket biztosít az ügynököknek, az eszközhívásoknak, a megerősítéses tanulásnak és a modellértékelésnek.

A tesztekben a Vera CPU-kon több mint háromszorosára gyorsult az ügynöki sandboxok indítása. A Terminal-Bench összes sikeres feladatát vizsgálva a CoreWeave 1,7-szeres teljesítménynövekedést mért.

A CoreWeave Forge összeköti a fejlesztési ciklust

A CoreWeave elindította a Forge nevű környezetet is, amely a modellek és ügynökök tréningjét, értékelését és fejlesztését kapcsolja össze. A rendszer a Weights & Biases, az OpenPipe utótréninggel kapcsolatos szakértelme és a nyílt forráskódú marimo notebookprojekt elemeit egyetlen környezetben egyesíti. A vállalat szerint a Forge modellek, keretrendszerek és felhők között is nyitott marad.

A CoreWeave ARIA mostantól általánosan elérhető. A szolgáltatás futások elemzésében, kísérletek javaslatában és kódmódosítások ajánlásában segít, majd az eredményeket GitHubon tárolja. Az Agent Lens új szolgáltatásként a termelési ügynökök megfigyelését köti össze a folyamatos fejlesztéssel. A CoreWeave szerint 20 százalékkal javítja a hibák felismerését, és felére csökkenti a problémák javításának költségét.

A Sandboxes általánosan elérhetővé vált. A szerver nélküli megerősítéses tanulás a CoreWeave adatai szerint 1,4-szer gyorsabban fut, 40 százalékkal alacsonyabb költség mellett, mint egy saját kezelésű rendszerben. A Forge első építői között a Canva, a Capital One és a MasterClass szerepel.

A platformot az NVIDIA Dynamo nyílt forráskódú következtetési keretrendszere is támogatja. A CoreWeave szerint az NVIDIA és a CoreWeave közösen kialakított infrastruktúrája az ügynökök prototípusból termelési rendszerbe állítását célozza, többek között szoftveríráshoz és klinikai támogatáshoz.