A d-Matrix megawattos AI-inferenciafürtöket kínál Squadron néven
A d-Matrix bemutatta Squadron nevű, több rackből álló számítási fürtjeit, amelyek akár 1024 Corsair XPU-val skálázhatók. A rendszereket ultraalacsony késleltetésű AI-inferenciára szánják, és a vállalat szerint már szállítják az első kiemelt ügyfeleknek.
- A Squadron legfeljebb 16 SquadRackből és 1024 Corsair XPU-ból állhat.
- A rendszer léghűtéses, és meglévő adatközpontokba telepíthető.
- A Corsair szerverek és SquadRack rendszerek általánosan elérhetők.
- A d-Matrix AFD-demója 64 felhasználónál másodpercenként 20 415 tokenes áteresztőképességet ért el.
- A Squadront kiemelt ügyfelekhez már szállítják.
Akár 1024 XPU egyetlen fürtben
A d-Matrix október 12-én jelentette be a Squadron rendszert. A megoldás több rackből álló infrastruktúra, amely a vállalat memóriaközpontú számítási architektúrájára épül, és megawattos léptékű inferenciaszámításra készült. A d-Matrix szerint a fürtök olyan szervezeteknek lehetnek megfelelőek, amelyeknek különösen alacsony késleltetésű AI-alkalmazásokat kell futtatniuk. A közlemény példaként a kódolást, a személyi ügynököket, a kiberbiztonságot és a nagyfrekvenciás kereskedést említi.
A Squadron legfeljebb 16 d-Matrix SquadRackből állhat. Egy SquadRack nyolc szervert tartalmazó rackrendszer, a teljes konfiguráció pedig legfeljebb 1024 d-Matrix Corsair XPU-t fog össze. A gépeket d-Matrix JetStream hálózati kártyák kapcsolják össze, a telepítést pedig a vállalat Aviator szoftvere támogatja.
Léghűtés és többféle kiépítés
A d-Matrix közlése szerint a Squadron léghűtéses, iparági szabványokra épülő rendszer. Emiatt az ügyfelek a meglévő adatközpontjaikba integrálhatják, és nincs szükség folyadékhűtésre vagy költséges, időigényes adatközponti építkezésre.
A Corsair platform több szinten használható. Az ügyfelek egyetlen Corsair szervert, egy teljes SquadRacket vagy több rackből álló Squadron fürtöt is telepíthetnek. Mindegyik ugyanarra a léghűtéses architektúrára épül. A Corsair szerverek és a SquadRack rendszerek a Corsair XPU-kat, a JetStream NIC-eket és az Aviator szoftvert tartalmazzák.
A Squadron fejlesztésében az Arista, a Broadcom és a Supermicro is részt vett. A d-Matrix a rendszert már telepítette arizonai adatközpontjába belső kutatási és fejlesztési célokra. A közlemény szerint a Squadron most kiemelt ügyfelekhez szállítják, míg a Corsair szerverek és a SquadRack rendszerek általánosan elérhetővé váltak.
A d-Matrix AFD-demót is bemutatott
A Squadron teljes modellek futtatására is használható a Corsair XPU-kon, ugyanakkor heterogén környezetekhez is tervezték. Ilyenkor a feladatmegosztás GPU-k és XPU-k között történik. A d-Matrix ezt a megközelítést diszaggregált számításnak nevezi.
A vállalat közlése szerint Sid Sheth, a d-Matrix alapítója és vezérigazgatója az OCP Global Summit nyitónapján bemutatta, hogy a Squadron és GPU-szerverek párosításával megvalósították az Attention-FFN Disaggregation, röviden AFD használatát. A rendszerben az Experts, illetve az FFN feladatokat Corsair rackekre helyezték át.
A d-Matrix adatai szerint a megoldás felhasználónként másodpercenként 845 tokent generált. 64 párhuzamos felhasználónál a heterogén AFD-rendszer teljes áteresztőképessége másodpercenként 20 415 token volt. A vállalat állítása szerint ez az első alkalom, hogy az AFD működését ténylegesen elérhető szilíciumon mutatták be.
Mit jelent a bejelentés az ügyfeleknek?
A Squadronnal a d-Matrix a saját meghatározása szerint a speciális chipgyártói szerepkörből adatközponti számítási infrastruktúrát kínáló vállalattá fejlődik. Az ügyfelek egyetlen Corsair szervertől indulva egy teljes rackig, majd több rackből álló fürtig bővíthetik a rendszert, miközben ugyanazt a léghűtéses, iparági szabványokra épülő architektúrát használják.
A vállalat az AI-laboratóriumokat, nagyvállalatokat és szuverén szervezeteket célozza. Az AFD-demót az OCP Global Summit látogatói a d-Matrix C82-es standján tekinthetik meg. A kutatók október 14-én 11 és 14 órakor, valamint október 15-én 11 órakor tartanak élő bemutatót csendes-óceáni idő szerint.
PR Newswire: d-Matrix Announces Squadron Compute Clusters for AI Inference at Data Center Scale
