Önálló csoportot kap a Ray gyorsítók támogatásának fejlesztése

A gyorsítók sokféleségére reagál a Ray

Az Anyscale október 20-án jelentette be a Ray on Accelerators Special Interest Group, vagyis a gyorsítókra fókuszáló különleges érdekcsoport létrehozását. A Ray több mint tíz éve, a Berkeley Egyetemen indult, amikor a elosztott számítás elsősorban CPU-klasztereken futó rendszereket, például az Apache Hadoopot és az Apache Sparkot jelentette.

Azóta a gyorsított számítás az AI-rendszerek fejlesztésének és üzemeltetésének központi elemévé vált. Az Anyscale példaként említi az NVIDIA RTX 6000 Pro rugalmas, mesterséges intelligenciához, grafikához és videóhoz is használható munkaterheléseit, az NVIDIA B200 és az AMD MI355X nagyobb memóriakapacitását, valamint a 72 GPU-t összekapcsoló GB200 NVL72 rendszert. A GPU-k mellett a Google Ironwood TPU a nagyméretű AI-munkaterhelésekre, a Groq LPU pedig az alacsony késleltetésű következtetésre készült.

A Ray jelenleg több mint egy tucat hardveres gyorsítót támogat, köztük NVIDIA és AMD GPU-kat, TPU-kat, Trainiumot és Gaudit. Az új csoport célja, hogy ez a támogatás könnyebben használható, nagy léptékben hatékonyabb és éles környezetben megbízhatóbb legyen.

Három területre összpontosít a kezdeti ütemterv

Az első kiemelt terület a fejlesztési és tesztelési infrastruktúra. A kezdeményezés dokumentált folyamatot alakítana ki a felhő- és gyártói gyorsítók Ray-fejlesztésbe és tesztelésbe való bevonására. Fenntartott, pontos illesztőprogram-, futtatókörnyezet- és függőségverziókat tartalmazó környezeteket terveznek, hogy a közreműködők megismételhessék a teszteket és hibakeresést végezhessenek.

A tervek között szerepel a CI-lefedettség bővítése is. A pull requestekhez kapcsolódó ellenőrzések mellett éjszakai és kiadási teszteket futtatnának, amelyek a megosztott munkaterheléseket, a hibák utáni helyreállítást és a teljesítmény-visszaeséseket is vizsgálják. A csoport az infrastruktúra felelőseinek, a hibavizsgálatnak, a kapacitásnak és a költségeknek a kezelését is rendezné.

A második terület a hardverismerő ütemezés. A Raynek nemcsak az eszközök típusát és számát kell felismernie, hanem azok topológiáját, a CPU-khoz és hálózati kártyákhoz való kapcsolatát, valamint a nagyobb egységekhez, például rackekhez és TPU-szeletekhez való tartozását is. A cél gyártófüggetlen hardverinterfészek létrehozása, a gyorsítók felfedezésének megerősítése és a hardver láthatóvá tétele a Ray irányítópultján.

A harmadik fókusz a hálózati és I/O-adatátvitel. A Ray Direct Transport, röviden RDT, lehetővé teszi, hogy a szereplők a tenzorokra mutató hivatkozásokat a Rayen keresztül adják át, miközben maga az adat közvetlenül az eszközök között mozoghat. A fejlesztők szélesebb gyorsító-, keretrendszer- és összeköttetés-támogatást, valamint megbízható inicializálást, leállítást és hibakezelést terveznek.

Megosztott feladatok a Ray ökoszisztémájában

A Ray Core-ban marad az alapvető ütemezési és elhelyezési logika, a SIG Accelerator feladata pedig a bővítési felületek, a CI-tesztek és a gyorsítók érettségi szintjeinek meghatározása. A hardvergyártók és a felhőszolgáltatók saját eszközbővítményeikért, adatátviteli megoldásaikért és az új termékek kezdeti támogatásáért felelhetnek. A keretrendszerek készítői és a gépi tanulással foglalkozó szakemberek a valós munkaterhelések igényeivel segíthetik az ütemterv kialakítását.

Az Anyscale szerint a kezdeményezéshez azok is csatlakozhatnak, akik új gyorsítóintegrációt építenek, nagy léptékű tanítást vagy következtetést futtatnak Rayen, illetve felhő- vagy CI-infrastruktúrát biztosítanak. A részvétel a Ray Slack-csatornáján, közösségi megbeszéléseken, valamint a GitHub nyitott hibajegyein és pull requestjein keresztül lehetséges.

Ez a felhasználók számára azt jelentheti, hogy a Ray idővel egységesebb módon kezelheti a különböző gyártók gyorsítóit. A hardvertopológia megjelenítése segíthet ellenőrizni, hogy a rendszer helyesen látja-e a klasztert, a közvetlen adatátviteli fejlesztések pedig a gyorsítók közötti kommunikációt célozzák. A forrás szerint a SIG munkája ezeknek a képességeknek a fejlesztési, tesztelési és üzemeltetési alapjait kívánja megerősíteni.