A Hugging Face egyszerűbbé teszi a modellek futtatását AWS Trainiumon

Natív PyTorch-háttér érkezik a Trainiumhoz

A TorchNeuron egy PyTorch-bővítmény, amely új hátteret biztosít az AWS Trainiumhoz. Támogatja az eager módot, a torch.compile használatát, valamint a PyTorch natív elosztott programozási felületeit, köztük az FSDP-t és a tensorpárhuzamosítást.

A Hugging Face szerint a TorchNeuron nyilvános bétája 2026. október 20-án indul. A kutatók és fejlesztők a csomagot a pip install torch-neuronx paranccsal telepíthetik.

Az AWS Trainiumot a vállalat mesterségesintelligencia-chipként fejleszti költséghatékony tanításhoz, míg az Inferentia a nagy léptékű következtetéshez készült. A Hugging Face eddig az optimum-neuron könyvtáron keresztül biztosította a Trainium és Inferentia támogatását. Ez a megoldás a PyTorch XLA-ra épülő torch-neuronx csomagot használta.

Kevesebb különleges kódra lehet szükség

A Hugging Face leírása szerint az Optimum Neuron használata olyan fejlesztési modellt tett szükségessé, amelyben a fordító működéséhez kellett igazodni. Ide tartozott a lusta végrehajtás, a statikus alakzatok használata és a gráf megszakadásakor szükséges újrafordítás. Az Optimum Neuron ezeket a részleteket rejtette el, miközben egyedi modell- és tanítási kódot tartott fenn.

A TorchNeuron közvetlenül a PyTorchba épül be, és a Neuront natív eszközként teszi elérhetővé. A Hugging Face könyvtáraiban így a Trainium más gyorsítókhoz hasonlóan használható. A Transformers, a Diffusers, az Accelerate, a PEFT és a TRL ugyanazokkal az osztályokkal és szkriptekkel futtatható rajta.

A Hugging Face ettől kezdve azt javasolja a Neuron-felhasználóknak, hogy ezeket a könyvtárakat közvetlenül használják az Optimum Neuron helyett.

A Transformersben a szöveggenerálás is támogatott

A Transformersben a TorchNeuron natív módon támogatja a szöveggenerálást a modellek széles körénél. A Hugging Face adatai szerint a 100 leggyakrabban használt szöveggeneráló modellarchitektúra 89 százaléka használható beállítás nélkül, míg az Optimum Neuron 0.4.5 esetében ez az arány 46 százalék volt.

A modell Neuron-eszközökre helyezéséhez a kódban a device_map="neuron" argumentumot kell megadni. A bemutatott példa tensorpárhuzamosítást használ, valamint statikus gyorsítótárat állít be a generáláshoz. A Hugging Face ezt azért ajánlja, hogy elkerülhető legyen a gyakori újrafordítás.

A példában a Qwen/Qwen3.8-27B modell szerepel, legfeljebb 1024 tokenes gyorsítótárral és 512 tokenes előfeldolgozási blokkokkal. A generálás legfeljebb 128 új tokent állít elő.

A tanítás a meglévő Hugging Face-eszközökkel történik

A TorchNeuronnal a Trainiumon végzett tanítás ugyanazokat a Hugging Face-könyvtárakat használja, mint más gyorsítók esetében: a Transformers, az Accelerate, a PEFT és a TRL is alkalmazható. A Hugging Face szerint nincs szükség külön Neuron-trénerre vagy a modellkód Neuron-specifikus változatára.

A bemutatott példában a TRL SFTTrainer osztálya végzi a felügyelt finomhangolást. A párhuzamosítást a Transformers kezeli a tensorpárhuzamosítási és FSDP-méretek megadásával, így nincs szükség külön --fsdp kapcsolóra vagy Accelerate FSDP-konfigurációra.

A Trainium használatakor továbbra is vannak sajátosságok. A példakód kikapcsolja a PyTorch automatikus dinamikus alakzatait, a sorozatokat legfeljebb 2048 tokenig csomagolja, és a TRL 1.16 vagy újabb verziójában a kötegeket 128 token többszörösére tölti fel. A Neuronon az aszinkron súlybetöltés jelenleg nem támogatott, ezért a példában a HF_DEACTIVATE_ASYNC_LOAD=1 beállítás szerepel.