Az NVIDIA Recovery automatikusan állítja helyre a megszakadt AI-tréningeket

A rendszer négy lépésben kezeli a hibákat

Az NVIDIA Recovery az NVIDIA DSX OS moduláris szoftverportfóliójának része. Feladata a fürtön futó tréningfeladatok közötti koordináció, amely külön problémát jelent az infrastruktúra javításához, az egyedi tréningfeladatokon belüli helyreállításhoz és az erőforrások ütemezéséhez képest.

A szolgáltatás négy szakaszból álló vezérlési hurkot használ. Az észlelés során az Anomaly Detector az alkalmazásnaplókat és az ütemező jeleit vizsgálja. Felismeri többek között a PyTorch- és NCCL-hibákat, a CUDA-problémákat, az összeköttetési hibák mintázatait, valamint a lefagyásra vagy a teljesítmény tartós visszaesésére utaló jeleket.

Az attribúció a hiba típusának meghatározását jelenti. Az NVIDIA Recovery az összegyűjtött naplókat és ütemezői jeleket használja a helyreállítási lépések irányításához. Az NVIDIA Attribution opcionális integrációja mélyebb diagnosztikát adhat, például a hardverhibák, a rendszerszoftver problémái és az alkalmazáshibák elkülönítéséhez. Ezt követi az érintett csomópontok izolálása, majd a munkafolyamatok újraindítása vagy leállítása a beállított szabályzat alapján.

A Slurm mellett is bevethető

Az NVIDIA Recovery a Slurm fürtkezelővel egy referencia Advisor Controlleren keresztül kapcsolható össze. Ez Helm chartként telepíthető fürtön belüli vagy SSH-alapú módban. A megoldás így a szolgáltatást függetlenül tartja az ütemező belső működésétől.

Az új telepítések alapértelmezés szerint megfigyelési módban indulnak. Ebben az állapotban a rendszer helyreállítási javaslatokat tesz közzé, de még nem hajt végre műveleteket az ütemezőn. Az üzemeltetők így ellenőrizhetik a jelzések minőségét, mielőtt bekapcsolják az önálló helyreállítást.

A szolgáltatás tartós naplót vezet minden észlelési mintáról, végrehajtott műveletről, időbélyegről, munkafolyamat-azonosítóról és attribúciós eredményről. A Recovery Console élő kezelőfelületet biztosít az üzemeltetőknek, ütemezőtípustól függetlenül.

Több ezer rendellenességet figyelt meg egy fürtön

Az NVIDIA közlése szerint az NVIDIA Recovery július 9. és október 9. között egy tréningfürtön naponta közel 200 munkafolyamatot figyelt. Ebben az időszakban hozzávetőleg 8550 rendellenességet észlelt, az észlelés átlagos késleltetése 69 másodperc, az automatikus helyreállítási műveleteké pedig 94 másodperc volt.

A vállalat hangsúlyozza, hogy ez az utóbbi érték az automatikus művelet végrehajtásáig tart. A produktív tréning folytatásának idejét az ütemezés és az ellenőrzési pontból történő visszaállítás is meghatározza.

Az NVIDIA szerint nagy, elosztott tréningeknél már ritka, egyedi GPU-hibák is összeadódhatnak. A forrásban idézett számítás szerint ha egy GPU egy adott napon 99,9 százalékos valószínűséggel működik hibamentesen, akkor egy 10 000 GPU-t használó feladat aznap megszakítás nélküli befejezésének valószínűsége körülbelül 0,005 százalék. Az automatizált, fürtszintű helyreállítás ezért a vállalat szerint csökkentheti a kézi beavatkozást, kezelheti az egyidejű megszakításokat, és fenntarthatja a tréning hasznos előrehaladását.

A forráskód és a hibakövető az dsx-ai-factory/NVIDIA-Recovery tárhelyen érhető el. A szolgáltatás helyi környezetben, fizikai GPU nélkül is kipróbálható, a Slurmhez pedig külön üzemeltetési útmutató tartozik.