A PyTorch új csoporttal egységesítené a Ray gyorsítókezelését
A PyTorch bejelentette a Ray hardveres gyorsítóival foglalkozó Special Interest Group, vagyis SIG megalakulását. A kezdeményezés célja, hogy a különféle gyorsítók használata egyszerűbb, nagy léptékben hatékonyabb, éles környezetben pedig megbízhatóbb legyen.
- Megalakult a Ray hardveres gyorsítóival foglalkozó Accelerator SIG.
- A csoport gyártófüggetlen útitervet dolgozna ki a gyorsítók támogatására.
- A kezdeti fókusz a tesztelési infrastruktúra, a hardverismerő ütemezés és az adatátvitel.
- A Ray jelenleg több mint egy tucat gyorsítótípust támogat.
- A kezdeményezésbe hardvergyártókat, felhőszolgáltatókat és fejlesztőket is várnak.
A Raynek egyre többféle gyorsítóval kell együttműködnie
A Ray több mint tíz éve, a Berkeley-i Kaliforniai Egyetemen indult. A PyTorch szerint a fejlesztés kezdetén a megosztott számítás elsősorban CPU-klasztereket jelentett, olyan keretrendszerekkel, mint az Apache Hadoop és az Apache Spark. A grafikus processzorok akkoriban csak kezdtek átlépni a grafikai és tudományos számítások világából a gépi tanulás területére.
Azóta a gyorsított számítás az MI-fejlesztés és -üzemeltetés központi elemévé vált, miközben a gyorsítók egyre specializáltabbak és változatosabbak. A forrás példaként említi az NVIDIA RTX PRO 6000 Blackwell Server Edition GPU-kat, az NVIDIA HGX B200 platformot, a 72 NVIDIA Blackwell GPU-t összekapcsoló NVIDIA GB200 NVL72 rendszert, az AMD MI355X-et, a Google Ironwood TPU-kat és az NVIDIA Groq 3 LPU-kat.
A Ray jelenleg több mint egy tucat hardveres gyorsítót támogat, köztük NVIDIA és AMD GPU-kat, TPU-kat, Trainiumot és Gaudit. Az Accelerator SIG hardvergyártókat, Ray-közreműködőket és alkalmazásfejlesztőket hozna közös munkába egy gyártófüggetlen útiterv kidolgozására.
Három területre összpontosít az első útiterv
Az első kiemelt terület a fejlesztési és tesztelési infrastruktúra. A csoport dokumentált folyamatot alakítana ki ahhoz, hogy felhőszolgáltatók és gyártók gyorsítókat biztosítsanak a Ray fejlesztéséhez és teszteléséhez. A közreműködők így reprodukálhatnák a hibákat, ellenőrizhetnék a javításokat és hamarabb észlelhetnék a visszalépéseket.
A terv része a rögzített illesztőprogram-, futtatókörnyezet- és függőségverziókat használó fejlesztési környezetek fenntartása, a pull requestek célzott ellenőrzése, valamint a kiterjedtebb éjszakai és kiadástesztelés. Ezeknek az elosztott munkafolyamatokat, a hibák utáni helyreállítást és a teljesítmény-visszaeséseket is vizsgálniuk kellene. A SIG a felelősségi körök, az infrastruktúra állapotának láthatósága, valamint a kapacitás és a költségek kezelésének meghatározását is fontosnak tartja.
A második terület a hardverismerő ütemezés. A Raynek nemcsak azt kell felismernie, hogy egy csomópont milyen gyorsítókat tartalmaz, hanem azt is, hogyan kapcsolódnak ezek egymáshoz, a CPU-khoz és a hálózati vezérlőkhöz. A rendszernek a nagyobb tartományokat, például a rackeket és a TPU-szeleteket is kezelnie kellene.
A kezdeményezés gyártófüggetlen felületeket, megerősített hardverfelismerést, felhő- és platformintegrációt, valamint a gyorsítók és kapcsolataik megjelenítését irányozza elő a Ray irányítópultján. A dokumentáció az alkalmazásfejlesztők és a Ray-kódot író kódoló ügynökök számára is útmutatást adna.
Közvetlenebb adatátvitelt szeretnének a gyorsítók között
A harmadik fókuszterület a hálózat és az adatátvitel. A nagyléptékű MI-munkafolyamatokban, például a megerősítéses tanulásban, a modell súlyait gyakran kell gyorsítók és csomópontok között továbbítani. A PyTorch szerint a Ray objektumtárolója eredetileg CPU-adatokra épült, ezért a gyorsítótenzorokat a gazdagép memóriájába kellett másolni, sorosítani, majd a hagyományos gazdahálózaton továbbítani.
A Ray Direct Transport, vagyis RDT lehetővé teszi, hogy az aktorok a tenzorokra mutató hivatkozásokat a Rayen keresztül adják át, miközben maga az adat közvetlenül az eszközök között mozoghat. A megoldás olyan nagy teljesítményű átviteli technológiákat is használhat, mint az UCX és az RDMA.
A SIG szélesebb gyorsító-, keretrendszer- és összeköttetés-támogatást szeretne az RDT-ben. A cél, hogy a Ray kiválaszthassa a leggyorsabb utat az aktorok között, legyen szó TPU ICI-ről, NVIDIA NVLinkről vagy GPUDirect RDMA-ról. A terv része az inicializálás, a leállítás és a hibák utáni helyreállítás kezelése, továbbá ellenőrzött telepítési konfigurációk, teljesítménymérések és részletes átviteli mutatók biztosítása.
A gyártók és a felhőszolgáltatók is szerepet kapnak
A közlemény szerint az alapvető ütemezési és elhelyezési logika továbbra is a Ray Core része marad. Az Accelerator SIG a bővítményfelületek, a CI-tesztek és a gyorsítók érettségi szintjeinek meghatározásáért felelne. A hardvergyártók és a felhőszolgáltatók saját eszközbővítményeiket, átviteli megoldásaikat és az új termékek induláskori támogatását tartanák karban.
A PyTorch a Ray-felhasználókat, az új gyorsítóintegrációkon dolgozó fejlesztőket, valamint a felhő- és CI-infrastruktúrát biztosító szereplőket is bevonná. A csatlakozásra a Ray Slack-csatornáját, a közösségi találkozókat, illetve a GitHub nyitott gyorsítókkal kapcsolatos ügyeit és pull requestjeit jelöli meg.
