A Cognition már NVIDIA Vera Rubin rendszereken futtatja a Devint
A Cognition, a Devin AI szoftvermérnök fejlesztője az első ügyfél, amely éles munkaterhelést futtat NVIDIA Vera Rubin NVL72 rendszereken. A vállalat korai tesztjeiben akár 4,8-szoros teljes tokenátvitelt mért a korábbi GB200 NVL72 alaphoz képest.
- A Cognition az első ügyfél, amely éles munkaterhelést futtat Vera Rubin NVL72 rendszereken.
- A Cognition akár 4,8-szoros tokenátvitelt mért a GB200 NVL72-höz képest.
- A Vera CPU egy rackben 128 CPU-t és 11 264 magot kínál.
- A CoreWeave Forge a tanítást, értékelést és fejlesztést egy környezetbe kapcsolja.
- A serverless RL a CoreWeave szerint 1,4-szer gyorsabb és 40 százalékkal olcsóbb.
A Cognition éles munkaterhelésen mérte az új rendszert
Az NVIDIA szeptember 30-i bejelentése szerint a CoreWeave elérhetővé tette felhőszolgáltatásában az NVIDIA Vera Rubin NVL72 rendszereket, Spectrum-X 102.4T Ethernet hálózattal. A bejelentést a CoreWeave Fully Connected rendezvényen tették közzé San Franciscóban.
A Cognition a Devint érintő tanítást, megerősítéses tanulást és éles következtetést is a CoreWeave infrastruktúráján futtatja. A vállalat kilenc hónap alatt több ezer GPU-ra skálázta a rendszert. A Vera Rubin NVL72 első gyártási rackjeit a CoreWeave a hónap elején kapta meg, ezt követően a Cognition valós szoftverfejlesztési feladaton hasonlította össze a teljesítményt egy GB200 NVL72 alappal.
A teszthez a FrontierCode feladataiból választottak ki egy részhalmazt, majd mesterséges intelligencián alapuló ügynököket bíztak meg a megoldásukkal. A Cognition korai méréseiben a Vera Rubin NVL72 az SWE-2 következtetési munkaterheléseknél akár 4,8-szor nagyobb teljes tokenátvitelt ért el, mint a GB200 NVL72. Az NVIDIA szerint ez a Devin esetében gyorsabb valós idejű kódgenerálást és reszponzívabb többlépéses következtetést jelent.
A Vera CPU több mint 11 ezer párhuzamos környezetet céloz
A CoreWeave a Vera Rubin NVL72 mellett az NVIDIA Vera CPU-t is kínálja majd, amelyet kifejezetten mesterségesintelligencia-ügynökök munkaterhelésére terveztek. Az ügynökalapú rendszereknél egyszerre kell alacsony késleltetésű számítási kapacitást biztosítani, valamint nagy számú, elkülönített környezetet futtatni a tanítás és az értékelés során.
A CoreWeave közlése szerint egy rackben 128 CPU és 11 264 mag kap helyet. Ez több mint 11 ezer párhuzamos környezet futtatására elegendő, környezetenként egy maggal számolva. A CoreWeave Sandboxes ezeket hardveresen elkülönített környezetekben futtatja, a Spectrum-X Ethernet kapcsolói és a BlueField-4 DPU-k pedig az ügynökök közötti kommunikációt szolgálják.
A tesztekben a Vera CPU-val több mint háromszor gyorsabb ügynöki sandboxindítást mértek. A Terminal-Bench összes sikeres feladatát vizsgálva 1,7-szeres teljesítménynövekedést jelentettek. A sandboxok megerősítéses tanuláshoz, eszközhasználathoz és modellértékeléshez is használhatók.
A CoreWeave egy rendszerbe kapcsolná a fejlesztési ciklust
A CoreWeave az új hardverekkel együtt bemutatta a CoreWeave Forge környezetet is. A szolgáltatás a modellek és ügynökök tanítását, értékelését és javítását kapcsolja össze. A vállalat szerint a fejlesztési folyamat korábban több szolgáltató eszközei között oszlott meg, ami információvesztéssel járt az egyes lépések között.
A Forge-ban a Weights & Biases, az OpenPipe utólagos tanítási szakértelme és a marimo nyílt forráskódú jegyzetkörnyezetének elemei kapcsolódnak össze. A rendszer különböző modellek, keretrendszerek és felhők mellett is használható.
A CoreWeave ARIA mostantól általánosan elérhető. A vállalat leírása szerint elemzi a futtatásokat, kísérleteket javasol, kódmódosításokat ajánl, ezeket pedig GitHubon tárolja. Az Agent Lens új szolgáltatásként a gyártásban futó ügynökök megfigyelését köti össze a folyamatos fejlesztéssel. A CoreWeave állítása szerint 20 százalékkal javítja a hibák felismerését, és felére csökkenti a hibajavítás költségét.
A CoreWeave szerint a serverless RL, vagyis a kiszolgáló nélküli megerősítéses tanulás 1,4-szer gyorsabban fut, és 40 százalékkal alacsonyabb költséget ér el az önállóan kezelt beállításoknál. A Forge első használói között a Canva, a Capital One és a MasterClass szerepel. Az NVIDIA és a CoreWeave közös platformját az egészségügyben az Ennoble Care is használni fogja klinikai következtetésre, dokumentációra, döntéstámogatásra és háttérfolyamatok automatizálására.
