11 840 token másodpercenként egyetlen GPU-val a Cline tesztjén
A Cline 11 840 kimeneti tokent másodpercenként ért el az NVIDIA Nemotron 3.5 Super VL modelljével egyetlen GB300 GPU-n, 256 párhuzamos kérés mellett. A vállalat bemutatta, milyen következtetettatási beállításokkal növelte a teljesítményt.
- A Cline 11 840 kimeneti tokent mért másodpercenként egy GB300 GPU-n.
- A teszt 256 párhuzamos kéréssel és 512 bemeneti, illetve kimeneti tokennel zajlott.
- Az MTP1, a FlashInfer kernel és az FP16 Mamba-állapot is része volt a végső beállításnak.
- A Cline szerint az FP16 gyorsíthat, de ronthatja az értékelési eredményeket.
- A vállalat 32 párhuzamos Cline futását mutatta be egyetlen DGX Station rendszeren.
A kiinduló teljesítmény több mint 6000 token volt
Az NVIDIA október 15-én adta ki a Nemotron 3.5 Super VL modellt. A Cline október 27-én közzétett beszámolója szerint a modell kifejezetten gyors, helyben futtatható rendszernek készült, amely többek között dokumentumértelmezési, programozási és pénzügyi könyvelési feladatokban használható.
A vállalat egy NVIDIA DGX Station rendszeren vizsgálta, hogyan maximalizálható a modell áteresztőképessége. A gép 252 GB GPU-memóriával rendelkezik. A vLLM 0.32.0rc1.dev190+g3f1bcfd82 alapbeállításával, amely 67 GB memóriát használt, 6058 összesített tokent mértek másodpercenként. A tesztben 512 bemeneti és kimeneti tokennel, valamint 256 párhuzamos adatfolyammal dolgoztak.
Öt módosítással jutottak el 11 840 TPS-ig
Elsőként a modellhez mellékelt MTP dekódolófejet használták. Az MTP3 beállítás nagyjából 7000 tokenre emelte a másodpercenkénti teljesítményt. A Cline az OMP1 konfigurációt választotta, mert több szál használata szerintük koordinációs többletterhelést okozott.
A következő lépés az aszinkron ütemezés bekapcsolása volt. Erre azért volt szükség, mert nagy számú párhuzamos kimenetnél a GPU végzi a kernelmunkát, miközben a CPU jelentős ütemezési feladatot kezel. Ezután a Mamba-kernelt FlashInferre állították vissza, amivel 7800 tokenre nőtt a mérés.
A Cline ezt követően MTP3-ról MTP1-re váltott. A több előre jelzett vázlattoken ebben a terhelési helyzetben nem javította a sebességet, mivel a tokeneket ellenőrizni is kell, a sikertelen ellenőrzések pedig elpazarolt számítási időt jelentenek. Az MTP1 körülbelül 9500 tokenes teljesítményt hozott.
Végül a Mamba állapotát FP32-ről FP16-ra állították, sztochasztikus kerekítéssel. A Cline szerint ez pontosságcsökkenéshez és az értékelési eredmények esetleges romlásához vezethet, a célként kitűzött maximális áteresztőképesség szempontjából azonban megérte. A teljes finomhangolással jutottak el az 11 840 kimeneti token/másodperc értékhez.
A beállításokat mindig a terheléshez kell igazítani
A Cline hangsúlyozza, hogy a következtetés optimalizálása erősen függ a forgalom jellegétől. Az MTP1 használata és a FlashInfer kernelre váltás ebben a tesztben növelte a teljesítményt, más terhelési minták mellett azonban akár ronthatta volna is. Az FP16-ra váltás szintén kompromisszumot jelenthet az értékelési eredményekben.
A vállalat szerint a Nemotron 3.5 Super VL kis mérete és sebessége lehetővé teheti a helyben futtatott, párhuzamos ügynöki munkameneteket. Egy bemutatóban 32 párhuzamos Cline futott egyetlen DGX Station rendszeren. A Cline becslése szerint teljes GPU-kihasználtság mellett a saját üzemeltetésű következtetés 66 százalékkal olcsóbb lehetett az API-használatnál, bár ez az összevetés a közölt példában szereplő terhelésre vonatkozik.
A Cline hosszabb távon olyan automatikusan optimalizáló rendszereket vár, amelyek a Grafana mérőszámai alapján terhelési teszteket futtatnak egy elkülönített GPU-n, majd a forgalomhoz illő konfigurációt választják és telepítik. A vállalat ezt ügynökalapú következtetési infrastruktúraként képzeli el, amely a költséget és a GPU-kihasználtságot is a pillanatnyi igényekhez igazítja.
Cline: 11,840 TPS on a single GPU
