Általánosan elérhető az Anyscale Azure-integrációja

A teljes AI-munkafolyamat egy platformon

Az Anyscale október 7-i bejelentése szerint az Anyscale on Azure általánosan elérhető. A szolgáltatás célja, hogy a vállalatok a modellkiszolgáláson túl a teljes AI-munkafolyamatot saját környezetükben kezelhessék. Ide tartozik az adatok feldolgozása, a tanítás és finomhangolás, az utótréning, az értékelés, valamint a modellek éles kiszolgálása.

A vállalat szerint a tokenalapú modell-API-k gyors módot adnak egy AI-felhasználási eset kipróbálására, később azonban a modell feletti kontroll hiánya, az adatok külső környezetbe továbbítása és a használattal arányosan növekvő költség problémát okozhat. Az Anyscale olyan kisebb, szakterületre szabott modellek használatát emeli ki, amelyeket a vállalatok saját adataikon javíthatnak, majd saját GPU-kapacitásukon futtathatnak.

A platform minden munkafolyamatnál a nyílt forráskódú Rayre épül. Az Anyscale szerint ez lehetővé teszi a PyTorch és a vLLM használatát, miközben a csapatok új AI-keretrendszereket is bevezethetnek anélkül, hogy meg kellene változtatniuk a skálázás módját.

Azure-biztonság és vállalati irányítás

Az Azure-ügyfelek az Azure portáljáról telepíthetik a szolgáltatást, a termelési AI-munkafolyamatok pedig a saját előfizetésükhöz tartozó Azure Kubernetes Service-en futnak. Az Anyscale erőforrásai Azure-natív módon működnek, és a vállalat meglévő Microsoft Entra-környezetéhez kapcsolódnak.

A meglévő Azure RBAC- és Azure Policy-szabályok változtatás nélkül alkalmazhatók. Az adatok, az értékelések, a modellek és a konténerképek az ügyfél előfizetésében maradnak. A hálózati modell csak kimenő kapcsolatokat használ: a kapcsolatokat az Anyscale operátora és az ügyfél AKS-fürtjében futó Ray-fürtök kezdeményezik az Anyscale vezérlősíkja felé, így nincs szükség bejövő tűzfalszabályok megnyitására.

A szolgáltatásért az ügyfelek úgy fizetnek, mint más Azure-szolgáltatásokért, a költés pedig beleszámít a Microsoft Azure Consumption Commitment keretbe.

GPU-kapacitás megosztása és jobb kihasználása

Az Anyscale a GPU-k hatékonyabb használatát több szinten támogatja. A vállalat állítása szerint a hagyományos vállalati gépi tanulási infrastruktúrában az átlagos GPU-kihasználtság 30 százalék alatt marad, míg saját megoldása 80 százalék feletti átlagos kihasználtságot céloz. Ez az Anyscale szerint ugyanazzal a GPU-flottával 2-3-szor több munka elvégzését jelentheti.

A rendszer párhuzamos CPU-munkásokkal tölti és dolgozza fel az adatokat, így a következő adatkötet hamarabb eljuthat a GPU-khoz. A tört GPU-k használata több munkafolyamat elhelyezését teszi lehetővé egy eszközön, az automatikus skálázás pedig a feladatok erőforrásigényéhez igazodik. A mentési pontok használatával egy megszakadt feladat az utolsó befejezett lépéstől folytatható.

Az Anyscale több csapat klasztereit közös számítási kapacitásba szervezi. A prioritásalapú ütemezés lehetővé teszi, hogy egy sürgős feladat átmenetileg felfüggessze az alacsonyabb prioritású munkát, amely később ugyanonnan folytatódhat. A rendszer a munkafolyamatokat klaszterek és Azure-régiók között is elhelyezheti, miközben az identitás, a szabályozás és a menedzsment központja az Azure marad.

Mit jelent ez a vállalatoknak?

Az Anyscale on Azure azoknak a vállalatoknak kínál egységes környezetet, amelyek a modellek használata mellett saját adataikon szeretnék fejleszteni, értékelni és üzemeltetni az AI-rendszereiket. A termelési eredményekből származó adatok így visszakerülhetnek az adatkurálási, tanítási és utótréning-folyamatokba, az új modellverziók pedig ismét kiszolgálásba állíthatók.

A megoldás a Ray nyílt forráskódú alapjára épít, miközben az Azure ügyfél által már használt identitáskezelési, szabályozási és számlázási modelljét használja. Az Anyscale közlése szerint ez a vállalatok számára a saját AI-munkafolyamat feletti kontrollt, az adatok előfizetésen belüli kezelését és a közös GPU-kapacitás használatát egyesíti.