Nyílt forráskódúvá teszi a Run:ai platformot az NVIDIA

A Run:ai a DSX platform nyílt alapja lett

Az NVIDIA október 13-án jelentette be, hogy a Run:ai teljes platformját nyílt forráskódú szoftverként adja ki. A vállalat szerint a lépéssel a Run:ai az NVIDIA DSX AI Factory Platform nyílt alapjává válik, amelyre a partnerek saját AI-infrastruktúra-megoldásaikat építhetik.

A Run:ai az elmúlt években Kubernetes környezetben segítette az AI-munkafolyamatok futtatását nagy léptékben. A platform dinamikusan osztja ki a GPU-erőforrásokat, és a munkafolyamatok teljes életciklusát kezeli az adatfeldolgozástól és a tanítástól a következtetésig. Az NVIDIA szerint a nyílt kiadás lehetővé teszi, hogy a DSX-ökoszisztéma partnerei és az AI-felhők nagyobb munkafolyamat-átbocsátást, jobb GPU-kihasználtságot és hatékonyabb megosztott infrastruktúrát érjenek el.

Négy különálló komponensből is felépíthető

A kiadás négy olyan modult tartalmaz, amelyek önállóan is bevezethetők. A KAI Scheduler GPU-tudatos, Kubernetes-alapú ütemezőként működik. Támogatja többek között a csoportos ütemezést, a méltányos erőforrás-elosztást, a topológia figyelembevételét, a bin-packinget, a GPU-megosztást és a Dynamic Resource Allocation használatát.

A GPU Fractioning Operator CUDA-natív GPU-részegységek használatát teszi lehetővé Kubernetes-fürtökön. A KAI Resource Management a szervezeti kvóták és hierarchiák kezelésére szolgál, míg a Workload Map egységes munkafolyamat-kezelési szerződést biztosít. Ezek a további platformkóddal együtt alkotják az integrált NVIDIA Run:ai platformot.

A KAI Scheduler Apache 2.0 licenc alatt jelent meg, és az NVIDIA a CNCF-hez Sandbox projektként járult hozzá. A vállalat közlése szerint a scheduler fejlesztése a közösségi kódtárban zajlik.

GitHubról és az NVIDIA NGC-ről is elérhető

A teljes forráskód az NVIDIA DSX AI Factory GitHub-szervezetén belüli NVIDIA Run:ai repositoryban érhető el. A csapatok átvizsgálhatják a kódot, hozzájárulhatnak a fejlesztéshez, saját termékeket építhetnek rá, vagy csak az egyes modulokat használhatják.

Az integrált platform az NVIDIA NGC-n is elérhető Community Productként, Helm charttal a teljes stack telepítéséhez. A letöltéshez el kell fogadni a vonatkozó NVIDIA Software License Agreement és Product-Specific Terms feltételeit. Fizetős NVIDIA Run:ai-előfizetés vagy NVIDIA-támogatási jogosultság nem szükséges, vállalati támogatás azonban nem jár a Community Producthez.

A kereskedelmi, NVIDIA által támogatott vállalati AI Factory-telepítésekhez a Run:ai továbbra is elérhető önálló termékként, az NVIDIA Mission Control és az NVIDIA AI Enterprise részeként, valamint egyes felhőpiactereken. Az elérhetőség, a licencelés és a támogatási feltételek ajánlatonként eltérnek.

Nyolc partner épít a nyílt platformra

Az NVIDIA közlése szerint a Crusoe, a Mirantis, a Nebius, az OpenNebula Systems, a Rafay, a Saturn Cloud, a Spectro Cloud és a vCluster már integrálja a nyílt forráskódú Run:ai platformot saját kínálatába.

A megoldások között szerepel menedzselt Kubernetes-integráció, egykattintásos telepítés felhőben, infrastruktúra- és életciklus-kezelés, teljesen menedzselt szolgáltatás, valamint több-bérlős modellkiszolgálás. A vCluster előre validált telepítési sablonokat kínál, amelyek bérlőnként külön környezetet hoznak létre, miközben a Run:ai továbbra is egyetlen GPU-készlet ütemezését végzi.

Az NVIDIA szerint a nyílt alap célja, hogy a platformcsapatok és partnerek a teljes Run:ai rendszert, annak egyes komponenseit, vagy az arra épülő saját megoldásokat gyorsabban vezethessék piacra.