A Daytona szerint egy NVIDIA Vera CPU 2000 ügynöki környezetet is elbírt
Az NVIDIA Vera a Daytona tesztjében 2000 elkülönített sandboxot futtatott, miközben másodpercenként 12,7 kódolóügynöki feladatot teljesített. A vállalat szerint az eredmény megmutatja, hogyan változik az infrastruktúra szerepe a nagy ügynökflották mellett.
- Az NVIDIA Vera 1000 sandboxot 10,8 másodperc alatt indított el.
- 2000 sandbox online állapotba hozása 27,4 másodpercet vett igénybe.
- 2000 párhuzamos sandboxnál a Vera 12,7 feladatot teljesített másodpercenként.
- A Daytona modellje szerint a Vera 15 százalékkal kevesebb gépet igényelhet az EPYC 9755-nél.
- A Handshake napi hat számjegyű sandboxfuttatásokat is elérhet.
Ezernyi környezetet kellett gyorsan elindítani
A Daytona október 7-én közzétett mérésében ugyanazt a kódolóügynöki feladatot futtatta nagy számú sandboxon, NVIDIA Vera és AMD EPYC Zen 5 alapú rendszereken. A vállalat azt vizsgálta, milyen gyorsan lehet sok elkülönített környezetet munkára kész állapotba hozni, majd mennyi hasznos feladatot tudnak ezek együtt elvégezni.
Minden ügynöknek saját fájlrendszerre, parancsértelmezőre, függőségekre és tesztkörnyezetre van szüksége. A Daytona szerint ezekből a környezetekből több százat vagy akár több ezret kell ugyanarra a fizikai gépre sűríteni, mivel külön gépet biztosítani minden feladathoz pazarló és nehezen bővíthető lenne.
Az NVIDIA Vera 1000 sandboxot 10,8 másodperc alatt készített elő. Összehasonlításként az AMD EPYC 9575F-nek 32,3 másodpercre, az EPYC 9755-nek 88,4 másodpercre volt szüksége. Amikor a Daytona 2000-re emelte a sandboxok számát, a Vera 27,4 másodperc alatt hozta őket online.
A Vera terhelés alatt is közel azonos ütemben dolgozott
A második mérésben a párhuzamosan futó sandboxok számát 44-ről 2000-re növelték. Mindegyik környezet ugyanazt a feladatot kapta: egy hibás Python-csomag felépítését, átvizsgálását, javítását és tesztelését.
A Daytona adatai szerint az EPYC 9575F teljesítménye nagyjából 8 ügynöki feladatnál stabilizálódott másodpercenként, az EPYC 9755 pedig körülbelül 11 feladatnál. Az NVIDIA Vera 13,3 feladatot teljesített másodpercenként csúcsterhelés mellett, és 2000 párhuzamos sandboxnál is 12,7-es értéket ért el. Ugyanekkor az EPYC 9755 10,9, az EPYC 9575F pedig 8,1 feladatot teljesített másodpercenként.
A vállalat szerint ez azért fontos, mert az ügynöki infrastruktúránál nem elég egyetlen sandbox gyors működése. A rendszernek sok környezetet kell egyszerre elindítania, elkülönítve tartania, majd akkor is hasznos munkát kell végeznie, amikor az ügynökök ugyanazért a processzoridőért, gyorsítótárért, memóriasávszélességért, memóriáért és I/O-kapacitásért versenyeznek.
Kevesebb gép kellhet ugyanannyi ügynöki munkához
A Daytona egy szemléltető, 1000 teljesített ügynöki feladatot igénylő másodpercenkénti terheléssel is kiszámolta a különbséget. Ebben a modellben az NVIDIA Vera körülbelül 15 százalékkal kevesebb gépet igényel, mint az EPYC 9755, és mintegy 38 százalékkal kevesebbet, mint az EPYC 9575F.
A kevesebb gép a Daytona szerint kevesebb szervert, rackhelyet, hálózati kapcsolatot, energiát és hűtést jelenthet. A cég ügyfelei a teljesítményjavulást úgy használhatják ki, hogy közben nem kell az alapul szolgáló hardvert kezelniük.
A Daytona példaként a Handshake-et említi, amely megerősítéses tanulási környezeteket épít. Egy projekt indulásakor a terhelés órák alatt nulláról több ezer párhuzamos sandboxra ugorhat, a napi futtatások száma pedig elérheti a hat számjegyet. A Daytona szerint a kisebb infrastruktúra-szűk keresztmetszet több kísérletet és több elvégzett ügynöki feladatot tehet lehetővé.
A vállalat végkövetkeztetése szerint az ügynöki infrastruktúra egyre inkább sűrűségi problémává válik. A mérésben a Vera 1000 sandboxot 10,8, 2000-et 27,4 másodperc alatt indított el, a legnagyobb vizsgált párhuzamosságnál pedig közel 13 ügynöki feladatot teljesített másodpercenként.
Daytona: When 2,000 Agents Share One CPU
