A PyTorch konferenciája az egységesebb nyílt AI-infrastruktúrát mutatta be

Két nap a nyílt AI-ökoszisztémáról

A konferenciát október 20-án és 21-én rendezték meg San Joséban. A PyTorch Foundation szerint az esemény azt mutatta be, hogyan építhető olyan nyílt forráskódú szoftveres réteg, amely bármilyen chipen, bármely felhőben és bármilyen ügynök számára támogatja a modellek tanítását és futtatását.

Mark Collier, a PyTorch Foundation ügyvezető igazgatója a nyitóelőadásokban a kutatás, a modellek, a keretrendszerek, az infrastruktúra, a hardver és az éles használat közötti kapcsolatot emelte ki. Az első nap a közös fejlesztések gyorsító hatására összpontosított, a második pedig a szélesebb hardvertámogatásra, a több környezetben futó munkaterhelésekre, valamint a nagyobb léptékű modellképzésre és testreszabásra.

A konferencián és az azt megelőző napokban több PyTorch Foundation-projektről, köztük a PyTorch, a vLLM, a DeepSpeed, a Ray, a Helion és a Safetensors fejlesztéseiről is közzétettek frissítéseket.

Új backendek és fejlesztői eszközök

A Google és a Meta közös, nyílt forráskódú együttműködése, a TorchTPU natív PyTorch-hátteret kínál a Google TPU-khoz. Támogatja az eager executiont és a torch.compile használatát, az ellenőrzött integrációk között pedig megtalálható a TorchTitan, a vLLM, az SGLang és a Ray. Egyes munkaterhelések másik eszközre költöztetéséhez elegendő lehet a célhardver módosítása, míg a csúcsteljesítményhez további változtatásokra lehet szükség az alakzatok, a felosztás és a műveletek terén.

A TorchNeuron natív PyTorch-backendet biztosít az AWS Trainiumhoz, valamint a hozzá tartozó Trn2 és Trn3 Amazon EC2-példányokhoz. A projekt nyilvános bétája Apache 2.0 licenc alatt október 20-án indult. A megoldás az eager executiont, a torch.compile-t, a PyTorch DTensor és torch.distributed API-jait, továbbá a TorchTitan könyvtárat is támogatja.

Az IBM Spyre processzoraihoz készülő torch-spyre az Inductor munkamegosztással és tenzorelhelyezéssel kapcsolatos döntéseit végrehajtható programokká alakítja. A FlyDSL október 21-i frissítése emellett választható hátteret adott az AMD MI350 sorozatú GPU-ihoz, miközben a nem támogatott munkaterhelésekhez megmaradnak a meglévő implementációk.

A TorchTitan bővítette a támogatott modellek körét az ötdimenziós párhuzamosítási rétegben, és a TitanRL révén megerősítéses tanulást is bevezetett. A rendszer ugyanazt a modellimplementációt használja az előtanítás, az utólagos tanítás és a vLLM-en belüli futtatás során.

Adatkonzisztencia, peremközeli futtatás és új tagok

A Zephon TorchTitan-integrációja a globális kötegek megőrzését célozza akkor is, ha a tanítás más számú GPU-n folytatódik. Egy egymilliárd paraméteres modell tesztjében minden globális köteg hashértéke egyezett, amikor a tanítás egy 16 GPU-s ellenőrzési pontból 8, 32, illetve 64 GPU-n folytatódott. A garanciához rögzített adat-előkészítési receptre és globális kötegméretre van szükség, és a lebegőpontos redukció sorrendje továbbra is hatással lehet a tanítási veszteségre.

A Helion és az NVIDIA CompileIQ integrációja fordítói vezérlőkkel bővíti a kerneltuning keresési folyamatát. Az ExecuTorch Cortex-M-háttere közvetlen utat biztosít a PyTorchban tanított modellektől az Arm Cortex-M processzorokon végzett eszközoldali következtetésig, az Arm CMSIS-NN gyorsításával.

A PyTorch Foundation kilenc új tagot jelentett be. Platinum tagként csatlakozott a Nebius, az Nscale és a Shopify Inc., Silver tagként a LightSeek Foundation és a Lablup Inc., társult tagként pedig a SKOPOS INDIA FOUNDATION, a Siksha ‘O’ Anusandhan, a Messiah University és a Valencia College.

A Shopify a PyTorch és a vLLM használatával folyamatos tanulási hurkot alkalmaz. A vállalat esettanulmánya szerint a termelési hibákat naponta modellparaméterekké alakítja, és 96 százalékkal csökkenti a kiszolgálási költségeket.

A Foundation szerepe az ökoszisztémában

Mark Collier, a PyTorch Foundation ügyvezető igazgatója szerint „a nyílt rendszerek gyorsabban tanulnak, ha több ember, projekt és szervezet dolgozik együtt, így a nyereségek összeadódnak”. Hozzátette: „A nyílt forráskódú ökoszisztémák lehetővé teszik, hogy az áttörések a szervezetek között is terjedjenek, ahelyett hogy egyetlen vállalatnál maradnának.”

A konferencia programja október 19-én képzésekkel, műhelyekkel és társrendezvényekkel kezdődött. A PyTorch Associate Training előadásokat, bemutatókat, vezetett laborokat és felméréseket kínált a PyTorch Certified Associate vizsgára készülőknek. Az Academia to Adoption Workshop azt vizsgálta, hogyan válhatnak a kutatási projektek egyetlen tanulmányon vagy laboron túl megbízható, újrahasználható és közösségileg fejleszthető eszközökké.

A bejelentések alapján a Foundation egyszerre kapcsolja össze a kutatási szoftvereket, a modellképzést, az infrastruktúrát, a hardvereket és a gyártási környezeteket. A hangsúly azon van, hogy ezek a rétegek több szervezet és projekt együttműködésével, nyílt komponensekre építve fejlődjenek tovább.