Az AWS-en is futtatható az NVIDIA 120 milliárd paraméteres multimodális modellje

2026. október 29. 17:11Forrás: AWS

Az NVIDIA Nemotron 3.5 Super VL modellje az Amazon Web Services infrastruktúráján is telepíthető, többek között Amazon EKS-en és SageMaker HyperPod EKS-en. A 120 milliárd paraméteres, szakértői keverékmodell szöveget, képet, dokumentumot és videót is képes feldolgozni.

A lényeg röviden

A Nemotron 3.5 Super VL 120 milliárd paraméteres MoE modell, tokenenként 12 milliárd aktív paraméterrel.
Szöveget, képet, dokumentumot és videót dolgoz fel, kimenete szöveg.
Amazon EKS-en, EKS Auto Mode-ban és SageMaker HyperPod EKS-en is telepíthető.
A modellt B200, B300, H200 és H100 GPU-kon, BF16 vagy NVFP4 ellenőrzőpontokkal lehet futtatni.
Az aiperf és az aws-do-eks eszközök a késleltetés és a kapacitás tervezését támogatják.

Egy modell szöveges és vizuális feladatokra

Az AWS október 29-én ismertette a Nemotron 3.5 Super VL architektúráját és AWS-es telepítési lehetőségeit. A modell a Nemotron 3 Ultra modellből lepárolt, nyílt multimodális rendszer. Az NVIDIA közzéteszi a modell súlyait, a tanítási adatállományokat és az utótréning receptjeit is, így a vállalatok saját területükre szabhatják, és az általuk felügyelt infrastruktúrán futtathatják.

A modell összesen 120 milliárd paramétert tartalmaz, tokenenként azonban 12 milliárd paraméter aktiválódik. Hibrid Mamba 2, szakértői keverék, valamint figyelmi rétegeket használ, a vizuális feldolgozást pedig RADIO kódoló segíti. A maximális kontextushossz 1 millió token. Bemenetként szöveget, képet, dokumentumot és videót fogad, kimenetként szöveget állít elő. BF16 és NVFP4 ellenőrzőpontok érhetők el.

Az NVIDIA jelentése szerint a Nemotron 3.5 Super VL a Hermes Bench teszten 63,44 százalékos, a LangChain ügynökértékelésein 87,05 százalékos eredményt ért el. A CharXiv diagramértelmezési benchmarkon 80,8 százalékot teljesített.

Ügynöki munkafolyamatok és hardverigény

A modell olyan ügynöki feladatokra készült, amelyekben a következtetés vizuális értelmezéssel párosul. Kódolási munkafolyamatokban képes tesztelni és ellenőrizni a kódot, elemezni a hibákat, valamint javításokat javasolni. Webes kutatásnál a keresőeszközök által visszaadott források összevetésére és ellenőrzésére használható.

Dokumentumkezelésben táblázatokat, diagramokat és oldalszerkezeteket olvas, majd összefoglalókat készít. A felsorolt további alkalmazási területek között szerepel a kiberbiztonság, ahol sérülékenységeket azonosíthat és fenyegetéseket rangsorolhat, valamint a videóértés, például keresés, tartalom-ellenőrzés és incidenselemzés.

A vLLM használatához a minimális GPU-konfiguráció a hardvertől és a pontosságtól függ. BF16 esetén B200 vagy GB200 GPU-ból 8, B300 vagy GB300 GPU-ból 4, H200-ból 8, H100-ból pedig 16 szükséges. NVFP4 esetén ugyanezekhez rendre 2, 1, 4 és 8 GPU tartozik.

Amazon EKS, Auto Mode és SageMaker HyperPod EKS

Az AWS referencia-megvalósítása standard Amazon EKS-en, EKS Auto Mode-ban és SageMaker HyperPod EKS-en is működik. Az EKS Auto Mode esetében az AWS kezeli a fürt skálázását, a GPU-kat és az Elastic Fabric Adapter támogatását. A modell telepítéséhez használt Kubernetes-jegyzékek mindhárom vezénylési lehetőségnél azonosak.

A fürt vezérlősíkja a Kubernetes API-t, az adatcsík CPU- és GPU-csomópontokat futtat. A CPU-csomópontokon rendszer- és tesztpodok működnek, a GPU-csomópontokon pedig maga a modell. A konténerképeket az Amazon Elastic Container Registry, a modell súlyait egy megosztott Amazon FSx for Lustre kötet tárolja, a GPU-csomópontokat pedig az Elastic Fabric Adapter kapcsolja össze.

Az NVIDIA Dynamo a modellt egyetlen csomóponton összesítve, vagy külön csomópontokon futó előfeldolgozási és dekódolási szakaszokra bontva szolgálhatja ki. Vizuális nyelvi modelleknél a kép- és videókódolás is külön csomópontra helyezhető.

Mérések alapján tervezhető a kapacitás

Az architektúrát p6-b200.48xlarge példányokon, 8 NVIDIA B200 GPU-val, valamint p5en.48xlarge példányokon, 8 NVIDIA H200 GPU-val validálták. Az AWS szerint az NCCL all-reduce mikroméréssel ellenőrizhető a fürt és a hálózat működése. A telepített modell teljesítménye az NVIDIA aiperf eszközével mérhető.

A mérés többek között az első tokenig eltelt időt, a tokenek közötti késleltetést és a másodpercenként előállított tokenek számát mutatja. A konkurens kérések számának változtatásával vizsgálható, hogyan alakul a késleltetés és az áteresztőképesség. Az AWS által bemutatott példában a kétcsomópontos, szétválasztott telepítés alacsonyabb elsőtoken-késleltetést és nagyjából azonos tokenközi késleltetést mutatott az összesített telepítéshez képest.

Az aws-do-eks projekt automatizálja többek között a GPU- és EFA-kihasználtság megjelenítését, az aiperf futtatását és a konkurenciaszintek vizsgálatát. Az AWS részletes útmutatója a fürt létrehozását, a modell súlyainak letöltését, a telepítést, a tesztelést, a teljesítménymérést és a takarítást is lefedi.