Az NVIDIA Vera CPU gyorsítja az ügynöki AI-folyamatokat

A CPU az ügynöki rendszerek kritikus útján dolgozik

Az NVIDIA Developer július 7-i bejegyzése szerint az ügynöki rendszerek a modell következtetését eszközhasználattal, kódvégrehajtással, adatlekéréssel, vezérléssel és az eredmények feldolgozásával kapcsolják össze. Ezek a feladatok gyakran a GPU-s műveletek közötti szakaszokban futnak, ezért a processzor teljesítménye közvetlenül befolyásolja a válaszidőt, a tanítást és a rendelkezésre álló GPU-kihasználtságot.

A cég szerint különösen fontos a tartós, magonkénti teljesítmény teljes foglalat-terhelés mellett. Egy szerverfoglalatban párhuzamosan futhatnak sandboxok, eszközhívások, szimulációk és adatfeldolgozási feladatok, miközben egy-egy ügynöki vagy megerősítéses tanulási folyamat egymásra épülő lépései továbbra is sorban haladnak.

Az Olympus magok több visszajelzést adnak a tanításhoz

Az NVIDIA állítása szerint a Vera CPU Olympus magjai 1,8-szor gyorsabb egyszálas teljesítményt kínálnak egy alapként használt processzorhoz képest. A vállalat példája alapján az alapprocesszor ugyanabban a tanítási időablakban a kiértékelések 45 százalékát tudja befejezni, míg a Vera CPU akár 85 százalékát.

A különbség a megerősítéses tanulásban lehet fontos, mivel a rendszernek folyamatosan tapasztalati adatokat kell előállítania szimulációkból és környezetekből. Ezekből származnak azok a visszajelzések és jutalmak, amelyek alapján a GPU kiszámítja a modell frissítéséhez használt gradienseket. A Vera CPU felépítésében ág-előrejelző, 10 utas dekódoló front-end, mély sorrenden kívüli végrehajtás és NVIDIA Spatial Multithreading is helyet kapott. Ezeket az NVIDIA összetett vezérlési folyamatokhoz, illetve több ezer párhuzamos környezet kezeléséhez kapcsolja.

Alacsonyabb késleltetés és nagyobb memória-sávszélesség

A Vera egyetlen, 88 Olympus magot tartalmazó számítási lapkát használ. Az NVIDIA szerint az egységes gyorsítótár és a Scalable Coherency Fabric összekapcsolása 40 százalékkal alacsonyabb csúcsterhelés alatti késleltetést biztosít az x86 processzorokhoz képest. A vállalat szerint ez kiszámíthatóbb válaszidőt adhat az eszközhívások és a sandboxos végrehajtás számára.

A processzor LPDDR5x memóriája legfeljebb 1,2 TB/s teljes memória-sávszélességet és magonként akár 14 GB/s értéket kínál. Az NVIDIA ezt a hagyományos adatközponti processzorok magonkénti sávszélességének több mint háromszorosaként, kevesebb mint fele akkora fogyasztás mellett mutatja be.

A gyorsabb CPU a GPU-kapacitást is jobban kihasználhatja

Az ügynöki következtetés során egy munkamenetben több modell-lépést választhatnak el CPU-s műveletek, például eszközhívások, kódvégrehajtás, adatbázis-lekérdezések vagy sandboxos kiértékelések. Az NVIDIA szerint ha ezek lassan készülnek el, a GPU gyorsítótárából kieshet az eredeti kérés kontextusa. A későbbi folytatáskor ezt a kontextust újra kell dolgozni, ami többlet számítási költséget okoz.

A vállalat szerint a Vera CPU processzoroldali gyorsulása rövidíti a GPU-műveletek közötti szüneteket, mérsékli a kulcsérték-gyorsítótár kiürítésének nyomását, és ezzel segíthet több felhasználói munkamenetet kiszolgálni GPU-óránként. Az NVIDIA a teljes rendszerszintű telepítéshez a Vera Rubin NVL72 platformot is megjelöli következő lépésként.