Az MLPerfben először mértek adatközponti AI-ügynököt

VLM-ekkel bővült az MLPerf mérése

A Lambda szeptember 16-i beszámolója szerint az MLPerf Inference v6.1 fordulójában először küldött be eredményt látás és nyelv feldolgozására képes modellre, vagyis VLM-re. A Qwen3-VL-235B-A22B-Instruct modellt NVIDIA HGX B200, valamint négy NVIDIA Blackwell Ultra GPU rendszerén tesztelték.

Az NVIDIA HGX B200 konfigurációban a Lambda volt az egyetlen ilyen beadó. A vállalat 101,56 lekérdezés per másodperces Offline eredményt közölt, amely 28,5 százalékkal haladta meg az előző forduló legjobb, 79,04 lekérdezés per másodperces értékét. A Server eredmény 69,41 lekérdezés per másodperc lett, ez 2,29 százalékkal múlta felül a korábbi 67,86-os legjobb eredményt.

A négy NVIDIA Blackwell Ultra GPU-val végzett mérésben a Server eredmény 64,624, az Offline eredmény 71,122 lekérdezés per másodperc volt. A Lambda Serverben a négy beadás közül a második helyet érte el, Offline módban pedig 2,9 százalékon belül maradt a vezető eredménytől. A vállalat ezt olyan terhelés példájaként mutatja be, amely alacsony késleltetésű, multimodális következtetéshez használható, például szintetikus adatok előállítására és fizikai AI alkalmazásokhoz.

Ezermilliárd paraméteres modell az ügynöki tesztben

Az MLPerf Inference v6.1 új Edge Agentic mérésében azt vizsgálják, hogy az ügynöki nyelvi modellek milyen pontossággal és sebességgel hívnak meg eszközöket. A teszt a Berkeley Function Calling Leaderboard v4, vagyis BFCL v4 pontossági mérését, valamint egy 20 pályát tartalmazó, rögzített ügynöki kódolási visszajátszást kapcsol össze.

A referencia-konfiguráció Qwen3.6-27B modellt futtat egyetlen peremgyorsítón. A Lambda ugyanezt a munkafolyamatot NVIDIA HGX B200 rendszeren futtatta, a modellt azonban a Moonshot AI Kimi K2.6 modelljére cserélte. A vállalat szerint ez egy több mint ezermilliárd paraméteres, mixture-of-experts modell, amelyet FP8 pontossággal és SGLang használatával, TP=8 beállításban szolgáltak ki.

A futás során 1007 fordulót indítottak és teljesítettek hibamentesen. A BFCL v4 pontosság 86,83 százalék, az átlagos fordulónkénti késleltetés 770,8 ezredmásodperc, a medián 361,0 ezredmásodperc lett. Az első tokenig eltelt idő átlagosan 179,7 ezredmásodperc volt, a P99 érték pedig 196,7 ezredmásodperc. A fordulók közül 1003 eszközhívással fejeződött be.

A Lambda hangsúlyozza, hogy ez nem közvetlenül összevethető a többi beadással, mivel azok peremhardveren futtatott, 27 milliárd paraméteres modellek voltak, míg a vállalat nyílt kategóriás tesztje adatközponti rendszeren, jóval nagyobb modellel zajlott.

Gyorsult a GPT-OSS 120B következtetése

A négy NVIDIA Blackwell Ultra GPU-s rendszer GPT-OSS 120B modellen 65 511 token per másodperces Offline, és 58 195 token per másodperces Server eredményt ért el. A Lambda szerint az Offline érték vezette az összes, négy Blackwell Ultra GPU-s beadást, és 2,38 százalékkal előzte meg a második helyezettet.

Azonos hardveren, az MLPerf előző fordulójához viszonyítva a Server áteresztőképesség 8,85, az Offline érték 8,79 százalékkal javult. A Lambda ezt az elmúlt hat hónap szoftveres optimalizációinak tulajdonítja. A vállalat által felsorolt fejlesztések között szerepel a műveletek Triton kernelekbe fűzése a torch.compile segítségével, valamint több CUDA Graph konfiguráció használata a különböző tokenalakokhoz és kötegméretekhez.

Az eredmények a felhasználóknak elsősorban azt mutatják meg, hogy a multimodális és ügynöki következtetés teljesítménye nem kizárólag a GPU-k számától függ. A Lambda beszámolója szerint a modellkiszolgáló szoftver, a pontossági beállítások és az adott munkafolyamathoz hangolt konfiguráció is mérhető különbséget eredményezhet.