Az AWS SOCI-indexeléssel gyorsítja a SageMaker AI-feladatok indulását
Az AWS SOCI-indexeléssel gyorsítja az Amazon SageMaker AI Training és Processing feladatainak indulását. A technológia csak az induláshoz szükséges fájlokat tölti le azonnal, a konténerkép többi részét futás közben streameli.
- A SageMaker AI Training és Processing feladatok SOCI-indexelt képeket is használhatnak.
- A konténerkép teljes letöltése helyett csak az induláshoz szükséges fájlok töltődnek be.
- A 35,4 GB-os kép letöltési ideje 7 perc 17 másodpercről 3 és 11 másodperc közé csökkent.
- Az AWS tesztjeiben a feladatok 1 és 6 perccel hamarabb fejeződtek be.
- A működéshez előre indexelt AWS-kép vagy saját konténerhez létrehozott SOCI-index használható.
A teljes konténerkép letöltése eddig lassította a munkát
Az Amazon SageMaker AI-ben a tanítási és feldolgozási feladatok Amazon Elastic Container Registryben, vagyis Amazon ECR-ben tárolt konténerképekben futnak. A feladat indítása előtt a szolgáltatás eddig letöltötte a teljes képet, kitömörítette annak minden rétegét, majd lemezre írta az adatokat.
A mélytanulási konténerek gyakran meghaladják a 10 GB-os méretet, ezért a letöltés minden feladatnál percekig tarthat. Ez különösen a hiperparaméter-kereséseknél, a rövid kísérleteknél és a rövid feldolgozási feladatoknál jelentős, mert ilyenkor a képletöltés a teljes futási idő nagy részét is kiteheti. Az AWS szerint ez a várakozás számlázott feladatidőnek számít, miközben még nem történik modellfejlesztés.
A SOCI csak a szükséges fájlokat tölti be
A Seekable OCI, röviden SOCI, nyílt forráskódú technológia, amely késleltetett konténerkép-betöltést tesz lehetővé. A SOCI-index a képben található fájlokat leíró metaadat, amelyet az eredeti képre hivatkozó, OCI-kompatibilis artefaktumként tárolnak az Amazon ECR-ben.
A SageMaker AI automatikusan ellenőrzi, hogy a megadott képhez tartozik-e SOCI-index. Ha igen, a szolgáltatás csak a konténer elindításához szükséges fájlokat tölti le, a többit pedig a kód futása közben streameli. Ha nincs index, vagy a késleltetett betöltés nem sikerül, a feladat a hagyományos letöltéssel folytatódik. Az AWS szerint ezért az index hozzáadása nem akadályozza meg a meglévő munkafolyamatok futását.
A megoldás használatához nem kell módosítani a feladat definícióját, a belépési pontot vagy az adatcsatornákat. Az AWS szerint az index külön artefaktumként működik, így a konténerkép kivonata és a meglévő aláírások érvényben maradnak.
A tesztekben a letöltés percekről másodpercekre rövidült
Az AWS nyolc, 1,8 és 35,4 GB közötti tömörített képet vizsgált SageMaker AI-tanítási feladatokon. A tesztekben GPU- és CPU-példányokat használtak, köztük az ml.g4dn, ml.g5, ml.g6, ml.g6e, ml.g7, ml.g7e, ml.p4d, ml.p5 és ml.m7i típusokat, az xlarge mérettől a 48xlarge méretig. A mérések az US West, Oregon régióban, az us-west-2 régióban, valamint az US East, N. Virginia régióban, az us-east-1 régióban készültek.
Az 1,8 GB-os kép hagyományos letöltése 48 másodpercig tartott, SOCI használatával 3 és 11 másodperc közé csökkent. A 13,2 GB-os kép esetében a két érték 3 perc 42 másodperc, illetve körülbelül 6 másodperc volt. A 35,4 GB-os képnél 7 perc 17 másodpercről 3 és 11 másodpercre csökkent a letöltési idő. Az AWS összesítése szerint a javulás 8 és 46-szoros között alakult.
A 13,2 GB-os kép 13 példánytípuson és méreten végzett vizsgálatában a hagyományos letöltés 3 perc 16 másodperc és 4 perc 20 másodperc között tartott, a késleltetett betöltés pedig 6 és 8 másodperc között maradt. Az AWS mérése szerint a tanítási teljesítmény a második korszaktól kezdve minden vizsgált példányon azonos volt a futások közötti eltéréseken belül. Az első korszak a késleltetett betöltésnél 3 és 16 másodperccel tovább tartott, mert a keretrendszer ekkor kérte le először a további fájlokat. A teljes feladat így 1 és 6 perccel hamarabb fejeződött be.
Előre indexelt képek és saját konténerek
Az AWS szerint a SOCI két módon használható. A fejlesztők választhatnak előre indexelt AWS Deep Learning Container képet, vagy saját konténerképükhöz hozhatnak létre indexet. Az előre indexelt változatokat a képcímkében szereplő -soci utótag jelzi.
Az ilyen változatok többek között PyTorch Training, TensorFlow Training, vLLM és SGLang konténerekhez érhetők el, egyes keretrendszereknél arm64-változatokkal is. Saját, DLC-alapú kép készítésekor külön indexet kell létrehozni a végleges képre, mert az alapul szolgáló kép indexe nem öröklődik a származtatott képre.
Az AWS szerint a legnagyobb előny akkor jelentkezik, ha a tanítás indulásakor csak a kép egy részére van szükség, és a többi adat a futás közben érkezhet meg. Ha a belépési kód a tanítás előtt a kép nagy részét beolvassa, ellenőrzi vagy előtölti, a gyorsulás kisebb lehet. A bevezetés így főként azoknak a csapatoknak lehet fontos, amelyek nagy képekkel, sok rövid feladattal vagy nagyszámú kísérlettel dolgoznak.
