Az AWS többfordulós megerősítéses tanulást mutatott be a SageMaker AI-ban
Az AWS gyakorlati útmutatót tett közzé a többfordulós megerősítéses tanulásról, amelyben egy modell teljes feladatsorozat eredménye alapján kap visszajelzést. A bemutatott rendszer a SageMaker AI-t és az Amazon Bedrock AgentCore-t kapcsolja össze.
- Az AWS útmutatója a többfordulós megerősítéses tanulást mutatja be.
- A SageMaker AI és az Amazon Bedrock AgentCore közösen kezeli a tanítási folyamatot.
- A gpt-oss-20b megoldási aránya 61 százalékról 84 százalékra javult a bemutatott futtatásban.
- A 100 lépéses tanítás SageMaker AI-költsége körülbelül 338,50 dollár volt.
- A megoldás üzleti, több lépésből álló feladatokra is alkalmazható.
A teljes folyamat eredménye alapján tanul a modell
A hagyományos finomhangolás jellemzően egyetlen kérdésre adott válasz javítására szolgál. Az ügynökalapú feladatoknál azonban több egymásra épülő lépésből áll a folyamat, például egy költségelszámolás rögzítéséből vagy egy ügyfélszolgálati jegy osztályozásából. Ilyenkor gyakran nincs egyetlen helyes lépéssor, a megbízható visszajelzés pedig csak a teljes folyamat végén áll rendelkezésre.
Az AWS szerint a többfordulós megerősítéses tanulás, vagyis a Multi-Turn Reinforcement Learning, ezt a helyzetet kezeli. A SageMaker AI egy, az Amazon Bedrock AgentCore-on vagy saját infrastruktúrán futó ügynököt hív meg. Az ügynök több fordulón keresztül dolgozik a környezetben, majd a feladat végén egyetlen jutalmat küld vissza. A tanítás így nem előre megadott helyes útvonalat utánoz, hanem a végeredmény értékelésére támaszkodik.
A Wordle szolgált tesztfeladatként
Az útmutató példája a Wordle, amelyben a játékosnak hat próbálkozásból kell kitalálnia egy rejtett, ötb karakterből álló angol szót. A visszajelzés minden tipp után megmutatja, mely betűk vannak jó helyen, melyek szerepelnek a szóban más pozícióban, és melyek nem fordulnak elő benne.
Az AWS ezt oktatási példának tekinti, mivel a szabályok egyszerűek, minden új tipp függ az előző visszajelzésétől, a végeredmény pedig objektíven pontozható. A bemutatott futtatásban a gpt-oss-20b alapértelmezett gondolkodási erősség mellett 61 százalékról 84 százalékra javította a megoldási arányát a korábban nem látott szavakon. Az alacsony gondolkodási erősséggel végzett tanítás mellett az arány 15 százalékról 69 százalékra nőtt. A tanítás tokenköltsége az AWS számítása szerint körülbelül 339 dollár volt.
A gyakorlati cél egy kisebb, olcsóbb modell betanítása lehet olyan, több lépésből álló üzleti feladatra, amelyre a nyilvános modelleket korábban nem tanították.
A SageMaker AI és az AgentCore szerepe
A rendszer két részre oszlik. A SageMaker AI kezeli a tanítási feladatot és a szabályzatmodellként használt modellt, az AgentCore pedig az ügynököt, a Wordle környezetét és a jutalmazási függvényt futtatja. Minden futtatás egy titkos szót tartalmazó adatsort ad át az AgentCore runtime-nak.
Az ügynök egy eszközön keresztül legfeljebb hat tippet adhat le, a környezet pedig minden alkalommal visszaadja a betűk állapotát és az ismert információk összefoglalását. A jutalmazás eredményközpontú: a megoldás 1,05 és 1,55 közötti jutalmat érhet a gyorsaságtól függően, a vereség -0,5, az érvénytelen tipp nélküli futás pedig -1,5 értéket kap. Egy kisebb kiegészítő jutalom a stratégiát is értékeli.
A Group Relative Policy Optimization, vagyis a GRPO több, azonos szóra indított futtatás jutalmai közötti különbséget használja fel egy LoRA-adapter frissítéséhez. Az AWS közlése szerint az adatok, az ügynök és a betanított modell az ügyfél AWS-fiókjában maradnak, és nem használják őket az alapmodellek tanítására.
Költség, támogatott modellek és felhasználói jelentőség
A szolgáltatás kiszolgáló nélküli módon működik, a felhasználónak nem kell példányokat választania vagy fürtöt méreteznie. A díjazás három tokenkategóriára épül: a bemeneti tokenek előfeldolgozására, a modell által generált tokenekre és a LoRA-adapter frissítéséhez feldolgozott tanítási tokenekre.
Az AWS 100 lépéses futtatása 491,6 millió előfeldolgozási, 159,7 millió mintavételi és 643,3 millió tanítási tokent használt fel 105 486 futtatás során, 12 óra 40 perc alatt. A GPT-OSS-20B amerikai keleti régiós listaáraival számolva ez körülbelül 338,50 dollár SageMaker AI-költséget jelentett, az AgentCore runtime használata pedig további mintegy 79 dollár volt.
Az útmutató szerint a támogatott alapmodellek között szerepel az Amazon Nova 2 Lite, a GPT-OSS-20B, a Gemma 4 31B és a Qwen 3.6 27B, mindegyik LoRA-adapterrel. A teljes példakód az AWS mintarepozitóriumában érhető el. A megközelítés azoknak lehet hasznos, akik saját, többfordulós munkafolyamataikhoz szeretnének kisebb modellt tanítani, miközben a jutalmazást a teljes feladat sikeréhez igazítják.
