Automatizált felhasználókezelést kínál Slurm klasztereihez a CoreWeave

Közvetlen kapcsolat az identitásszolgáltatóval

A CoreWeave október 2-i bejelentése szerint az Automated User Provisioning, röviden AUP, a CoreWeave Cloud több szolgáltatásában kezeli az identitásokat. A rendszer a vállalat identitásszolgáltatóját, például az Okta vagy a Microsoft Entra rendszerét kapcsolja össze a CoreWeave Identity and Access Management, vagyis IAM szolgáltatásával.

A szinkronizálás a System for Cross-domain Identity Management, azaz SCIM szabványon keresztül működik. Az új felhasználók, a szerepkörök módosítása és a törlések automatikusan továbbterjednek az IAM-be. A CoreWeave szerint ezzel elkerülhetők a kézi beállítások és a megmaradó, elavult hitelesítő adatok.

Az AUP a CoreWeave Kubernetes Service, a CoreWeave AI Object Storage és a CoreWeave Console szolgáltatásait is lefedi. A vállalat szerint az identitáskezelés így egyetlen projekttől több klaszteres telepítésekig további eszközök nélkül skálázható.

A Slurm-felhasználók létrehozása is automatikus

A SUNK User Provisioning, röviden SUP, az AUP által kezelt adatokat a Slurm on Kubernetes klaszterekbe továbbítja. Amikor egy felhasználó bekerül a CoreWeave IAM-be vagy a hozzá kapcsolt identitásszolgáltatóba, a rendszer automatikusan létrehozza a POSIX-felhasználót és -csoportokat, az SSH-kulcsokat, valamint a Slurm-felhasználót és -fiókot.

A CoreWeave bemutatója szerint egy új kutató felvételekor az adminisztrátor hozzáadja a személyt az identitásszolgáltatóban a megfelelő csoporthoz. Az AUP SCIM-en keresztül szinkronizálja az adatokat az IAM-be, a SUP pedig az NSSCache következő lekérdezésekor, körülbelül egy percen belül, átveszi azokat. Ezután a felhasználó a megfelelő UID-dal, GID-dal, SSH-kulccsal és Slurm-fiókkal léphet be.

A folyamat során nincs szükség YAML-fájlok szerkesztésére, jegyek kezelésére vagy a sacctmgr használatára. A kisebb, saját identitásszolgáltatóval nem rendelkező csapatok az IAM-ben is létrehozhatnak klaszterspecifikus csoportokat, például a slurm-users és slurm-sudo csoportot.

NSSCache és vállalati használat

A SUP ügyfelenkénti SCIM-végpontot és NSSCache-t használ a felhasználói és csoportadatok klasztercsomópontok közötti elosztására. A CoreWeave közlése szerint ez eltér az SSSD megközelítésétől, amely futó démonra és folyamatos hálózati kapcsolatra támaszkodik. Az NSSCache helyi gyorsítótárakat készít, így a hitelesítés nagy léptékű vagy időszakosan elérhető HPC-környezetekben gyorsabb és ellenállóbb lehet.

A vállalat közlése szerint a megoldás képzési feladatokat és valós idejű következtetést futtató AI-környezetekhez készült. A CoreWeave egyben azt állítja, hogy a ClusterMax egyetlen platina minősítésű platformja, amely dedikált és részben klaszterezett HPC-konfigurációk támogatását is igazolja.

Az Inflection AI egyik műszaki munkatársa, Tim McNerney szerint a SUNK User Provisioning egyszerűvé tette az új felhasználók felvételét és a különböző felhasználási esetekhez szükséges jogosultságok beállítását. Az Impossible Inc. munkatársa, Zhaoyang Lv arról számolt be, hogy a Slurmra való belépés új felhasználóknál zökkenőmentes és megbízható volt.

Mit jelent ez a klasztereket használó csapatoknak?

Az AUP és a SUP a CoreWeave szerint percek alatt használatra kész hozzáférést adhatnak a kutatóknak, miközben az adminisztrátoroknak kevesebb kézi feladatot kell elvégezniük. A felhasználók saját SSH-kulcsukat is megadhatják a beállítási oldalon, és megtekinthetik POSIX UID- és GID-azonosítójukat.

A CoreWeave szerint a megoldás csökkenti a klaszterekhez való hozzáférés beállítására fordított időt, és mérsékli annak kockázatát, hogy hibás jogosultságok vagy megmaradó hitelesítő adatok akadályozzák a munkát. Az Authentikből történő migrációhoz a vállalat szerint csak néhány további lépés szükséges, a folyamat percek alatt lezajlik, és nem érinti a futó feladatokat.