Általánosan elérhetővé váltak a Modal többgépes AI-fürtjei

Egy dekorátorral indítható a többgépes futtatás

A Modal október 1-jei bejelentése szerint a Modal Clusters másfél év tesztelés után vált általánosan elérhetővé. A szolgáltatás több konténerből álló fürtöket kezel egyetlen dekorátor, a @modal.clustered segítségével. A fejlesztők a fürt méretét és az RDMA használatát is megadhatják, miközben a munkafolyamat a Modal meglévő elemeivel együtt használható.

A rendszer támogatja a Volumes használatát az ellenőrzési pontok mentésére, a Cloud Bucket Mounts szolgáltatást az adatok betöltésére, valamint a Queues eszközt a feladatok vezérlésére. A fürt környezetéből lekérhetők a konténerek IP-címei, rangjai és a teljes fürt mérete is. Ez lehetővé teszi a többcsomópontos tanítási és következtetési feladatok konfigurálását.

Új ütemező kezeli egyszerre a fürt minden csomópontját

A Modal Clusters bevezetése a vállalat szerint a teljes infrastruktúra több rétegének átalakítását igényelte. A hagyományos ütemező egyes csomópontok alapján osztotta ki a munkát, a többgépes futtatásnál azonban a fürt egésze az alapegység. Ehhez a Modal új, úgynevezett gang scheduling rendszert épített.

Az ütemező minden ciklusban áttekinti a többcsomópontos munkaterheléseket és a teljes rendelkezésre álló kapacitást, majd megtervezi a fürtök elhelyezését. A csomópontokat elérhetőségi zóna és hálózati azonosító szerint csoportosítja, szükség esetén új kapacitást indít, végül értesíti az aktív csomópontokat. A vállalat szerint a rendszer ugyanabból a kapacitáskészletből dolgozik, mint a Modal többi szolgáltatása, ezért a fürtök megszerzése másodpercek alatt megtörténhet.

A Modal állítása szerint ez a piacon elérhető leggyorsabb módja többcsomópontos fürt beszerzésének, és a szolgáltatás szerver nélküli, használatalapú díjazást kínál. A felhasználók akkor futtathatják a munkáikat, amikor szükségük van rájuk, és csak a tényleges használat után fizetnek.

Az RDMA a GPU-k közötti adatmozgatást gyorsítja

A többcsomópontos AI-munkafolyamatok nagy mennyiségű adatot mozgatnak a gépek között. A Modal példája szerint a GLM 4.7 minden tanítási lépésében körülbelül 717 GB BF16-súlyt kell továbbítani a tanító és a következtetési motor között. Ez 50 Gbps sebességű TCP-kapcsolaton csaknem két percig tart, RDMA használatával viszont két másodpercnél rövidebb idő alatt elvégezhető. A folyamat több ezer lépésben ismétlődik.

Az RDMA, vagyis a távoli közvetlen memóriaelérés lehetővé teszi, hogy a GPU- vagy CPU-memória a kernel közbeiktatása nélkül jusson el egy másik géphez. A Modal szerint a technológia akár 6,4 Tbps sebességet is elérhet. A vállalat az RDMA beállítását az rdma=True kapcsoló mögé rejtette, így a PyTorchot és NCCL-t használó munkaterhelések további konfiguráció nélkül működhetnek.

A Modal minden fürt csomópontját ugyanazon RDMA-fabricen, egy zónán belül helyezi el. A rendszer automatikusan telepíti a felhőszolgáltatók illesztőprogramjait, konfigurálja a hálózati kártyákat, és a gVisor futtatókörnyezetbe is beépítette az RDMA támogatását. A vállalat a kapcsolódó módosításokat továbbította a gVisor nyílt forráskódú projektbe.

Kutatási és gyártási feladatokra is használják

A Modal három ügyfél példáját ismertette. A Decagon ügyfélszolgálati AI-ügynököket fejleszt, és a Modal Clusters segítségével, a Miles rendszerrel, akár ezermilliárd paraméteres nyílt modelleket finomhangolt. A közös munka részeként a Modal LoRA-támogatást adott a Mileshez, valamint részt vett egy stabil, nyílt tanítási recept kialakításában.

A robotokat fejlesztő 1x a NEO mögötti világmodellt tanítja a Modal fürtjein. A nagy futtatásokhoz többcsomópontos, B300 GPU-kból álló, RDMA-kapcsolatot használó fürtöket alkalmaz, az értékelésekhez pedig egycsomópontos feladatokat. A vállalat szerint ugyanaz az ütemező mindkét típust kezeli, így az 1x szükség esetén több száz GPU-ra skálázhat, majd a futtatások között visszacsökkentheti a kapacitást.

A Runway legújabb videógeneráló és videószerkesztő modelljei, a Gen-4.5 és az Aleph 2.0, szintén Modal Clusters használatával futnak. A rendszer a következtetést több csomópont között osztja szét, az automatikus skálázó pedig egységként méretezi ezeket a fürtöket.