A Lambda Kubernetes szolgáltatásába érkezik a nyílt forráskódú Run:ai

A GPU-k megosztását segítené a Run:ai

A Lambda október 13-i közlése szerint üdvözli, hogy az NVIDIA nyílt forráskódúvá tette a Run:ai-t. A vállalat 2022 óta támogatja a rendszert a saját infrastruktúráján, és most azon dolgozik, hogy a Run:ai a Lambda Kubernetes Service-ben, röviden LKS-ben is első osztályú lehetőség legyen.

A Run:ai Kuberneteshez készült GPU-ütemező. Két olyan képességet ad a Kubernetes alapértelmezett ütemezőjéhez, amelyeket a Lambda kiemel: lehetővé teszi, hogy több munkafolyamat egyetlen GPU-n fusson, valamint kvótaalapú ütemezést kínál. Utóbbi garantált erőforrás-keretet biztosít a csapatoknak, miközben lehetővé teszi, hogy az egyik csapat átmenetileg használja a másik szabad kapacitását.

A rendszer GPU-részletekkel is dolgozik, így a munkafolyamatok a GPU-memória egy részét kérhetik. Az ütemezési szabályok pedig lehetővé teszik, hogy a projektek megszakítható feladatokhoz kölcsönvegyék a kihasználatlan kapacitást, majd visszaadják, amikor más csapatnak szüksége van rá.

A teljes GPU lefoglalása várakozást okozhat

Az AI-fejlesztési projektek eltérő terheléseket állítanak a GPU-k elé. Egy hibakeresési munkamenet a GPU töredékét is használhatja, egy kiértékelés sok, egymástól független feladatot indíthat, a megosztott tanítás pedig egyszerre több, szorosan összekapcsolt GPU-t igényelhet.

Az igények a projekt előrehaladtával is változnak, az ötlettől a kísérletezésen át az éles használatig. A Lambda szerint a kisebb feladatokhoz lefoglalt teljes GPU-k miatt a kutatóknak várniuk kell, miközben használható kapacitás marad fenntartva. Ugyanez csapatok között is előfordulhat, ha az egyik csoport kísérletei egy másik csoport kihasználatlan erőforrás-lefoglalása mögött sorakoznak.

A Run:ai megközelítése ezekre a kérdésekre ad választ: mekkora GPU-kapacitásra van szüksége egy kísérletnek, és hogyan reagáljon a közös fürt, amikor a csapatok eltérő időpontokban igénylik az erőforrásokat.

Az LKS a hibás GPU-k kezelését is automatizálja

A GPU-k megosztása és a feladatok megszakítása feltételezi, hogy az alapul szolgáló hardver működőképes. A Lambda szerint nagy léptékű GPU-infrastruktúrában ez nem magától értetődő: előfordulhatnak XID-hibák, romolhatnak az NVLink- és PCIe-kapcsolatok, újra leképezhetők memóriasorok, illetve az InfiniBand-portok a várt sebesség alatt működhetnek.

A vállalat szerint az ütemező önmagában nem tud különbséget tenni az egészséges és a hibás GPU között. Ezt a feladatot az LKS kezeli. A Lambda felügyelt Kubernetes-szolgáltatást kínál Lambda GPU-kon, és a közlés szerint az automatikus helyreállítás már elérhető benne.

A Lambda minden csomópontot figyel az említett hibákra, és ezeket szabványos Kubernetes-csomópontállapotként jeleníti meg. Hiba esetén a csomópontot kizárja az új feladatok ütemezéséből, a futó munkákat leüríti, majd automatikusan javítja a hibát, vagy hardveres javításra továbbítja. A csomópont csak újbóli ellenőrzés után tér vissza.

A Lambda kezeli majd az integrációt

A Lambda az LKS-ben külön rétegként kezeli a GPU-ütemezést. A vállalat következő célja, hogy a szolgáltatás AI-szoftverkönyvtárrá váljon, amelyben a Kubernetesen futó ütemezők, például a Slurm és a Run:ai, felügyelt komponensként érhetők el.

A közlés szerint a Lambda ezeket a hardverével ellenőrizné és naprakészen tartaná, így az ügyfeleknek nem kellene kézzel Helm-diagramokból összeállítaniuk az integrációt. A Run:ai ennek a könyvtárnak kiemelt célpontja, a vállalat pedig az NVIDIA-val dolgozik a megvalósításon.

A Lambda szerint a Run:ai nyílt forráskódúvá tétele teszi lehetővé, hogy a rendszert az LKS részeként csomagolja, tesztelje és karbantartsa. A vállalat kész, használatra alkalmas integrációt céloz, amelyben ő felel a csomagolásért, az ellenőrzésért és a folyamatos üzemeltetésért. A felhasználók így saját igényeik szerint oszthatják meg és ütemezhetik GPU-kapacitásukat, miközben az LKS a Lambda állítása szerint az erőforrások állapotát és rendelkezésre állását felügyeli.