Az NVIDIA Vera CPU kétszeres átviteli sebességet hozott a Modalnál

Arm-alapú processzor érkezett a Modalhoz

A Modal első NVIDIA Vera CPU-szervere a vállalat San Franciscó-i irodájába érkezett. A Vera az NVIDIA új, Arm-kompatibilis processzora, amelyet a Vera Rubin GPU-platformhoz terveztek, de önálló CPU-szerverként is elérhető.

A Modal eddig kizárólag x86-os gépeket futtatott, ezért az Arm támogatása jelentős infrastruktúra- és lemezképépítési módosításokat igényel. A cég szerint a kezdeti teljesítménymérések ennek ellenére figyelemre méltó eredményt mutattak: a Vera CPU-val kétszeres átviteli sebességet mértek.

A Modal október 19-én közzétett beszámolója szerint a vállalat a Vera CPU-k támogatásának bevezetésén dolgozik, és az NVIDIA-val, valamint felhőszolgáltatókkal együttműködve szeretné bővíteni a processzorokra épülő kapacitását.

A Sandboxoknál különösen fontos a terhelés alatti teljesítmény

A Modal Sandboxes szolgáltatásban egy felhőszerveren több száz párhuzamos konténer és virtuális gép futhat. Ezek terhelése erősen változó: egy sandbox hosszabb ideig szinte tétlen lehet, miközben egy npm-telepítés vagy egy költséges grep-parancs hirtelen az alapérték tízszeresére emelheti a CPU-használatot.

A munkafolyamatok pontos alakja előre nem ismert, mert azt az adott sandboxba kerülő feladat határozza meg. Emiatt az eltérő terhelések egy közös számítási készletben versenyeznek az erőforrásokért, ami a Modal szerint zajos szomszéd problémákhoz vezethet. Ilyenkor az egyik felhasználó teljesítményét egy másik felhasználó terhelése is befolyásolhatja.

A Modal Sandboxes támogatja a terhelés időszakos megugrását, vagyis a felhasználók a tipikus, P50-es használatukhoz foglalhatnak garantált kapacitást a legrosszabb, P100-as pillanat helyett. A Modal szerint ez a megközelítés több millió dollár megtakarításához segítette hozzá a felhasználókat, ugyanakkor növeli a zajos szomszédokból eredő kockázatot.

Agentic feladatokon vizsgálták a Verát

A processzor teszteléséhez a Modal egy, az ügynöki sandboxok feladatait utánzó mérési csomagot készített Agentless Agent Bench néven. Ez 50 Terminal-Bench oracle-megoldást és ellenőrzőt tartalmaz, hálózati hívások nélkül, előmelegített, párhuzamos Docker-konténerekben futtatva.

A mérés olyan CPU-feladatokat izolált, amelyeket az ügynökök és a megerősítéses tanulási folyamatok ténylegesen végeznek. Ezek között szerepelt a fordítás, a fájlokban történő keresés, a git-műveletek és az eszközemuláció.

A terhelés nélküli, soros tesztekben a Vera gyakran gyorsabb volt a többi CPU-nál, de nem minden feladatban, és a különbség sem volt mindig nagy. A Modal szerint ez a mérés kevésbé tükrözi a Sandboxok valós működését, ahol egyszerre több száz munkafolyamat versenyez az erőforrásokért.

Terhelés alatt vált látványossá az előny

A párhuzamos átvitelt vizsgáló teszt rögzített idő alatt egyre több egyidejű konténert futtatott, és azt mérte, hány feladat fejeződik be. A Modal korai eredményei szerint a Vera egy egyenértékű x86-os GNR géphez képest akár kétszeres feladatátvitelt ért el.

A cég beszámolója szerint közben az egyes feladatok késleltetése az x86-os gépével azonos, néha annál alacsonyabb maradt. A Vera a munkák felhalmozódásakor sem lassult le jelentősen, hanem hasonló ütemben dolgozta fel őket.

A Modal ezt elsősorban a Vera magas memória-sávszélességével magyarázza. A processzor így több konténeres terhelést képes magonként kezelni CPU-visszaszabályozás nélkül. A vállalat szerint az alternatív processzoroknál a növekvő terhelés korán átviteli plafonba ütközött, míg a Vera teljesítménye tovább javult.

Ez a Modal számára nagyobb gépsűrűséget és rugalmasabb terheléskezelést jelenthet. A felhasználók számára a cég magasabb elérhető léptéket és átvitelt ígér a késleltetés feláldozása nélkül. A Vera CPU-kra épülő támogatás bevezetése még folyamatban van.