Az Astera Labs szerint 89 százalékkal több tokent hoz egy új GPU-kapcsolat
Az Astera Labs szerint Scorpio X-Series 320L Smart Fabric Switch kapcsolója akár 89 százalékkal több kimeneti tokent generált másodpercenként, mint a hagyományos kapcsolási felépítés egy nyolc GPU-s rendszerben. A vállalat három eltérő inferenciamunkaterheléssel, négy nagy nyelvi modellel és legfeljebb 512 párhuzamos kéréssel hasonlította össze a két platformot.
- Az Astera Labs akár 89 százalékos tokenenkénti teljesítményelőnyt mért.
- A teszt két, nyolc GPU-s, csak a fabric topológiájában eltérő platformot hasonlított össze.
- Három munkaterhelést és négy nagy nyelvi modellt vizsgáltak.
- A prefill-központú feladatoknál minden modell esetében legalább 38 százalékos előnyt közöltek.
- A legnagyobb, 512-es párhuzamosságnál minden kombinációban legalább 30 százalékos volt az előny.
A hálózati kapcsolat lett az egyik szűk keresztmetszet
Az Astera Labs 2026. október 13-án közzétett bejegyzése szerint az AI-infrastruktúra egyre inkább az úgynevezett AI-gyárak működésére épül, ahol az egyik fontos mérőszám a másodpercenként előállított tokenek száma. A cég a Deloitte 2026-os előrejelzésére hivatkozva azt írja, hogy az inferencia 2026-ban az összes AI-számítás nagyjából kétharmadát adja, szemben a 2023-as körülbelül egyharmados aránnyal.
A több GPU-t egy számítási egységgé összekapcsoló hálózati réteg közvetlenül hat a tokenenkénti teljesítményre. Ha a kapcsoló elegendő porttal és sávszélességgel rendelkezik ahhoz, hogy minden GPU közvetlen, egy ugrásos, teljes sebességű hozzáférést kapjon a többi GPU-hoz, kisebb a kommunikációs többlet. Az Astera Labs szerint ennek hiányában maga a fabric válik a teljesítmény korlátjává.
A vállalat Scorpio X-Series 320L Smart Fabric Switch megoldása nagyobb számú GPU-t köt össze egyetlen ugrásos topológiában, mint a hagyományos megoldások. A cég azt vizsgálta, hogy ez milyen hatással van a valós inferenciateljesítményre.
Három eltérő inferenciamunkaterhelést vizsgáltak
A tesztben három munkaterhelési profilt használtak. A dekódolásközpontú esetben a bemeneti és kimeneti tokenek aránya 1:8 volt, vagyis 128 bemeneti tokenből 1024 kimeneti tokent kellett előállítani. Az Astera Labs ezt többek között beszélgetési asszisztensekhez, kódgeneráláshoz és hosszú szövegek írásához kapcsolja. Ezeknél minden kimeneti tokenhez újabb előreirányú számítás tartozik, ezért a kommunikációs késleltetés tokenenként jelentkezik.
A bemenetközpontú, úgynevezett prefill-munkaterhelésben 3000 bemeneti tokenhez mindössze 3 kimeneti token társult, ami 1000:1 arányt jelentett. Ilyen feladat lehet a tartalomszűrés, az osztályozás, az útválasztás, az információkinyerés és a pontozás. Ezek a feladatok nagy mennyiségű adat párhuzamos feldolgozását igénylik, így számítási és memória-sávszélességi korlátok is megjelennek.
A kiegyensúlyozott munkaterhelés 3500 bemeneti és 500 kimeneti tokent használt, 7:1 arányban. Az Astera Labs ezt ügynöki folyamatokhoz, kereséssel kiegészített válaszokhoz és nagy kódtárakon dolgozó kódasszisztensekhez társítja. Ebben az esetben a nagy kontextus olvasása, a hálózati sávszélesség és a bemeneti, illetve kimeneti szakaszok közötti versengés egyaránt befolyásolja az áteresztőképességet.
A Scorpio minden vizsgált esetben gyorsabb volt
A vállalat két, egyébként azonos nyolc GPU-s platformot épített. A különbség kizárólag a fabric topológiája volt. A Scorpio X-Series 320L platformot egy hagyományos, két 144 sávos kapcsolót használó felépítéssel vetették össze, miközben a kérések párhuzamosságát 1 és 512 között változtatták. A méréseket mindhárom munkaterheléssel és négy nagy nyelvi modellel elvégezték.
Az Astera Labs közlése szerint a Scorpio-platform minden vizsgált modellnél, munkaterhelésnél és párhuzamossági szinten több kimeneti tokent állított elő másodpercenként. A legnagyobb mért előny 89 százalék volt. A vállalat szerint a legkövetkezetesebb javulást a hálózati sávszélességet telítő, prefill-központú feladatoknál látták, ahol minden modellnél legalább 38 százalékos előny mutatkozott a teljes vizsgált párhuzamossági tartományban.
A legmagasabb, 512-es párhuzamossági szinten minden modell és munkaterhelés kombinációjában legalább 30 százalékos előnyt mértek. Az Astera Labs szerint a sűrű modellek esetében volt a legnagyobb a különbség, mivel ezek több adatot mozgatnak az all-gather és reduce-scatter kollektív műveleteken keresztül.
Miért fontos ez az AI-infrastruktúra üzemeltetőinek?
A hagyományos PCIe fabric kapcsolók a vállalat szerint körülbelül 144 sávnál érik el a határukat. Egy nyolc GPU-s fürt ilyen felépítésben két kapcsolót igényel, amelyek külön CPU-gazdához csatlakoznak, a GPU-k pedig két négyes tartományra oszlanak. Az egyik oldalon lévő GPU-k és a másik oldalon lévő GPU-k között ilyenkor nincs közvetlen út, ezért a forgalomnak a CPU gyökérkomplexumán, illetve bizonyos esetekben egy NUMA-csomópontok közötti kapcsolatán is át kell haladnia.
Az Astera Labs szerint ez csökkenti a két oldal közötti sávszélességet, és növeli a késleltetést minden olyan tranzakciónál, amely átlépi a határt. A nagyobb egyidejűség tovább erősíti a problémát: késlelteti a dekódolás tokenenkénti lépéseit, versenyez a kiegyensúlyozott feladatokhoz szükséges sávszélességért, és lassítja a prefill nagy mennyiségű, párhuzamos adatmozgatását.
A cég értelmezése szerint a teszt azt mutatja, hogy az egy ugrásos, nagyobb radixi és sávszélességű kapcsolat ugyanazon GPU-k és változatlan energiahatárok mellett több előállított tokent tehet lehetővé. Ez a hyperscalerek és neocloudok számára a tokenenkénti költség, az energiafelhasználás és a portok kihasználtsága miatt lehet fontos. Az eredmények az Astera Labs saját mérései, amelyeket a Scorpio X-Series bemutatásának részeként közölt.
Astera Labs: One High-Radix Switch, 89% More Tokens/s: Scorpio X-Series Outperforms Conventional Switches in 8-GPU Clusters
