Az AWS új SageMaker API-kkal adja a fejlesztők kezébe a tanítási ciklust
Az AWS új Amazon SageMaker AI training session API-kkal választja szét az egyedi modelltréninget és a GPU-infrastruktúra üzemeltetését. A fejlesztők saját Python-kódjukból irányíthatják a tanítási ciklust, miközben a szolgáltatás kezeli a gyorsítókat és a kapcsolódó üzemeltetési feladatokat.
- A fejlesztők saját Python-tanítási ciklust írhatnak GPU-fürtök kezelése nélkül.
- A SageMaker AI kezeli a GPU-kat, az elosztott futtatást, a hibajavítást és az ellenőrzőpontokat.
- A programozási modell három SDK-kliensre épül: ServiceClient, TrainingClient és SamplingClient.
- Az API-k SFT-t, RL-t, preferenciaoptimalizálást és egyedi célfüggvényeket is támogatnak.
- A használat feldolgozott tokenenként számlázódik, a GPU-műveletek fogyasztása alapján.
A fejlesztő írja a ciklust, a SageMaker futtatja az infrastruktúrát
A nagy nyelvi modellek finomhangolásánál gyakran választani kell az algoritmus feletti irányítás és az egyszerű üzemeltetés között. A teljesen kezelt szolgáltatások előre elkészített recepteket kínálnak, amelyeknél a felhasználó kiválasztja az alapmodellt, megadja az adatokat és a hiperparamétereket. Ha azonban egyedi veszteségfüggvényre, adatkurrikulumra, saját preferenciaoptimalizálásra, megerősítéses tanulási jutalmazásra vagy új illesztési algoritmusra van szükség, nagyobb szabadság kell.
Az AWS 2026. október 22-i bejelentése szerint a SageMaker AI training session API-k ebben a helyzetben a számítási infrastruktúrát rejtik el, az algoritmust viszont a fejlesztőnél hagyják. A forward_backward(), az optim_step() és a sample() műveletek API-hívásként építhetők be a saját Python-alapú tanítási ciklusba. A munkamenet állapottartó, ezért a modell a lépések között a GPU-kon marad.
A SageMaker AI kezeli a futtatókörnyezet beállítását, az elosztott végrehajtást, a gradiensek szinkronizálását, a hibák utáni helyreállítást, az elkülönítést és a nagy léptékű GPU-üzemeltetést. A fejlesztő közben a saját adatain, jutalmazási logikáján és algoritmusán dolgozhat.
Három SDK-kliensből áll a programozási modell
A SageMaker Python SDK-ban létrehozott kliensek egymásra épülnek. A ServiceClient kezeli a platformszintű beállításokat, például a végrehajtási szerepkört, a modellcsomag-csoportot és az Amazon S3 kimeneti helyét. Opcionálisan AWS KMS-kulcs és virtuális magánhálózat konfigurációja is megadható.
A ServiceClient indítja a munkamenetet, majd létrehozza a TrainingClientet. Ez biztosítja a tanítási és ellenőrzőpont-műveleteket, köztük a forward, forward_backward, optim_step és save_weights_for_sampler hívásokat. A TrainingClientből jön létre a SamplingClient, amely a mintavételezéshez és az értékeléshez használható sample és compute_logprobs műveleteket kínál.
A szolgáltatás a kiválasztott alapmodellt és a Low-Rank Adaptation, vagyis LoRA-adaptert kezeli a menedzselt gyorsítókon. Nincs szükség az egész feladatot előre leíró konfigurációs fájlra vagy fürt létrehozására. Az aktív munkamenet OpenAI-kompatibilis chat completions végpontot is biztosít, így meglévő OpenAI-klienskód is használható mintavételezésre.
Megerősítéses tanulás és felügyelt finomhangolás is támogatott
A megerősítéses tanulási ciklusban a Python-kód betölti a promptokat, majd a GPU-kon mintákat készít az aktuális modellből. A kód ezután pontozza a válaszokat. Ehhez használható ellenőrző, jutalmazómodell, tesztkörnyezet vagy bármilyen más, kódban kifejezhető értékelés. A forward_backward és az optim_step a pontszámokból GPU-n végrehajtott gradiensfrissítést készít, a save_weights_and_get_sampling_client() pedig frissíti a mintavételezőt a következő lépéshez.
A modell ugyanazokra az alapműveletekre támaszkodva felügyelt finomhangolásra is használható. Ilyenkor elhagyható a mintavételezés és a jutalmazás, a forward_backward hívás pedig címkézett példákon számított keresztentrópia-veszteséggel működik. Az AWS szerint a megközelítés támogatja többek között a GRPO-t, a PPO-t és az importance samplinget, valamint az ezekből felépített egyedi célfüggvényeket, preferenciaoptimalizálást és desztillációt.
Az AWS a training session API-k mellé SageMaker training sessions cookbookot is kiadott. A gyűjtemény futtatható SFT- és RL-recepteket tartalmaz, amelyek saját tanítási ciklusok kiindulópontjaként szolgálhatnak. A közlemény a GSM8K általános iskolai matematikai feladatain végzett minimális RL-ciklust, valamint egy olyan példát is említ, amely versenyprogramozási feladatokon tanít megerősítéses tanulással, és a generált kódot egységtesztekkel értékeli.
Kinek lehet fontos az új megoldás?
A training session API-kat az AWS azoknak a csapatoknak szánja, amelyek gyors kísérleti ciklusokat és algoritmikus szabadságot szeretnének, de nem akarnak GPU-fürtöket kiépíteni és működtetni. Ide tartozhatnak az RL- és illesztési algoritmusokon dolgozó kutatók, az egyedi veszteségfüggvényt vagy többfázisú folyamatot használó SFT- és preferenciaoptimalizálási csapatok, valamint az egyedi gördítési logikát és jutalmazást fejlesztő ügynökalapú rendszerek készítői.
A használat tokenenként feldolgozott mennyiség alapján számlázódik. Az AWS szerint akkor is csak a GPU-hoz kötött műveletekért kell fizetni, amikor a fejlesztői gépen futó jutalmazás, adatbetöltés, naplózás vagy hibakeresés zajlik. Ez különösen azoknál a munkafolyamatoknál lehet fontos, amelyekben összetett jutalmazómodellek, több eszközt használó gördítések vagy emberi értékelés lassítja a ciklust.
A szolgáltatás a SageMaker AI modell-testreszabási lehetőségei között a teljesen kezelt Serverless Model Customization és a nagyobb üzemeltetési felelősséget igénylő SageMaker Training Jobs, illetve SageMaker HyperPod közé kerül. A Serverless Model Customization előre meghatározott beállításokat kínál, a training session API-k viszont lehetővé teszik a teljes tanítási ciklus kódolását, miközben az infrastruktúra kezelése a SageMaker AI feladata marad.
AWS: Write your own training loop — without managing GPUs — with Amazon SageMaker training session APIs
AWS: Announcing new ways to customize models with SageMaker AI, without managing GPUs
