A d-Matrix Corsairrel gyorsította fel az AI-modellek következtetését

A GPU és a Corsair eltérő feladatokat kap

A d-Matrix a GPT-OSS-20B modellt használta az attention-FFN disaggregation, vagyis az attention és a feed-forward hálózati rész szétválasztásának bemutatására. A modell kevert szakértőjű architektúrát használ, amelyben a vállalat szerint a 20,9 milliárd paraméterből nagyjából 19,12 milliárd tartozik a szakértőkhöz. Egy következtetési lépésben a 32 szakértőből négy aktiválódik, összesen körülbelül 3,6 milliárd aktív paraméterrel.

A konfigurációban egy 80 GB-os Nvidia H100 kezeli az attention réteget, a beágyazásokat, a KV-gyorsítótárat és a négy célzott szakértő kiválasztását. A szakértők számítását nyolc Corsair gyorsító végzi. A d-Matrix szerint a 4 bites pontosságú szakértők elférnek egy nyolckártyás Corsair szerveren, amely összesen 16 GB SRAM memóriát használ.

A Corsair SRAM-alapú memóriája a vállalat mérése szerint 150 TB/s memória-sávszélességet biztosít. Ez 45-szöröse annak, amit a H100 standard HBM3 memóriája kínál, és hozzávetőleg kilencszerese a forrásban szereplő 18 TB/s-os HBM4-adatnak.

A JetStream rejti el a kommunikáció késleltetését

A H100 és a Corsair kártyák között a d-Matrix JetStream nevű, késleltetésre optimalizált hálózati vezérlője biztosít kapcsolatot. A rendszer Etherneten, nyílt szabványokra épülő infrastruktúrán keresztül 400 Gb/s hálózati sávszélességet használ klaszterenként.

A JetStream lehetővé teszi, hogy a GPU közvetlenül a Corsair memóriájába írjon, a Corsair gyorsítók pedig közvetlenül a GPU memóriájába küldjék vissza az eredményt. Ehhez nincs szükség a gazdagépen futó processzorra. A GPU egyetlen CUDA-gráfot futtat, miközben az egyes Corsair kártyák az adatok megérkezésekor kezdik el a számítást.

A GPT-OSS-20B összesen 24 réteget tartalmaz, ezért a feldolgozás során 24 oda-vissza kommunikáció történik a Corsair és a H100 között, valamint egy további kör az LM-fej miatt. A d-Matrix szerint a rejtett állapot és a szakértői hozzárendelések továbbítása mellett a GPU már a következő réteg súlyait is előtöltheti, így a kommunikáció késleltetésének nagy része átfedésbe kerül a számítással.

A vállalat feleződő késleltetésről számolt be

A d-Matrix mérése szerint egyetlen H100, 1K hosszúságú kontextussal, 2,59 ezredmásodperces TPOT-ot, vagyis tokenenkénti feldolgozási időt ért el a GPT-OSS-20B futtatásakor. A Corsairrel kiegészített, heterogén AFD-folyamatban ez az érték 1,28 ezredmásodpercre csökkent, ami a vállalat közlése szerint nagyjából 50 százalékos mérséklés.

A Corsair a d-Matrix szerint azért illeszkedik ehhez a feladathoz, mert a szakértői hálózat fix memóriájú komponensként kezelhető, miközben a GPU-ra háruló munka a felhasználó kontextusának növekedésével változik. Az LM-fej feldolgozását a vállalat tízszeresére gyorsította ebben a megoldásban, miközben az off-chip memóriaforgalom a közlés szerint lényegében rejtve marad.

64 felhasználónál két H100 osztozik ugyanazon a nyolc Corsair kártyán, mindkét GPU 32 felhasználói kérést kezelve. A d-Matrix szerint a rendszer 129 tokenes kontextus mellett 2,46 ezredmásodperc alatt hajt végre egy 64 felhasználós dekódolási lépést, 1K/1K konfigurációban pedig 20 413 token/másodperces összesített áteresztőképességet ér el. A bejelentés korábbi része ugyanerre a konfigurációra 20 415 token/másodperces értéket is megad.

A vállalat szerint a Corsair és a JetStream szabványos adatközponti környezetben, PCIe-alapú, léghűtéses infrastruktúrában is használható. A d-Matrix közlése alapján a megközelítés a spekulatív dekódolással együtt is alkalmazható, és a Corsair a több száz milliárd paraméteres modellek, köztük a GLM 5.x és a Kimi K3 célzott támogatására is skálázható.