Elérhetővé vált a Databricks AI Runtime NVIDIA GPU-kkal

Szerver nélküli GPU-k a modelltestreszabáshoz

A Databricks október 21-én, a GTC Berlin rendezvényen jelentette be, hogy a Databricks AI Runtime, röviden AIR, általánosan elérhető. A szolgáltatás célja, hogy a fejlesztők NVIDIA GPU-kon taníthassanak és finomhangolhassanak modelleket anélkül, hogy maguknak kellene kezelniük a GPU-infrastruktúrát.

Az AIR támogatja az NVIDIA NeMo eszközeit és az NGC konténereket, továbbá több csomóponton futó, elosztott tanítást is. Az NVIDIA Quantum InfiniBand nagy sávszélességű, alacsony késleltetésű hálózatot biztosít, az NVIDIA Collective Communications Library, vagyis az NCCL pedig a GPU-k közötti kommunikációt kezeli. Az alapul szolgáló fürtöket és a hálózatot a Databricks menedzseli.

A fejlesztők meglévő kódjaikat és konténereiket is használhatják. Az AIR támogatja a Dockert és a privát regisztrieket, az NVIDIA NGC katalógusából származó GPU-ra optimalizált konténerek pedig a Databricks Artifact Registry segítségével hozhatók be a környezetbe. A környezetek gyorsítótárazása lerövidíti az új feladatok indítását.

Vállalati adatok, irányítás és ismételhető munkafolyamatok

Az AIR a Databricks vállalati adatkezelési és fejlesztési eszközeivel együtt működik. A Unity Catalog szabályozza a tanítási adatokhoz való hozzáférést, a natív rendszertáblák pedig láthatóságot adnak a CPU- és GPU-használathoz. Az MLflow követi a kísérleteket, a modell eredményeit és a GPU-k teljesítményét, így a csapatok összehasonlíthatják a különböző tanítási futásokat.

A fejlesztők Lakehouse-adatokat készíthetnek elő, GPU-val gyorsított jegyzetfüzetekből vagy az AIR parancssori felületén indíthatnak kísérleteket, és használhatnak PyTorchot, CUDA-t, elosztott tanítási keretrendszereket, valamint saját könyvtárakat és tanítási ciklusokat. A Lakeflow Jobs a tanítást az adat-előkészítéssel és az értékeléssel együtt ismételhető munkafolyamatokká szervezheti, a Declarative Automation Bundles pedig a munkafolyamatok telepítését és frissítését támogatja.

A Genie Code segíthet a tanítási szkriptek elkészítésében, a hibák feltárásában és a GPU-szűk keresztmetszetek vizsgálatában. A Databricks közlése szerint az eszköz NVIDIA-specifikus útmutatást is adhat a CUDA, a cuDNN, az NCCL és a profilozó eszközök használatához.

Nemotron, Kumo és élesben használható modellek

Az együttműködés részeként a Databricks és az NVIDIA olyan nyílt modellek testreszabását célozza, mint a Nemotron és a Kumo. Az AIR az NVIDIA Kumo Anomaly modellhez is kínál ellenőrzött finomhangolási munkafolyamatot. Ez idősorokban jelentkező rendellenességek felismerésére szolgál, az MLflow-követéssel és a Unity Catalog ellenőrzőpontjaival együtt.

A Databricks ügyfelei a Nemotron 3.5 Lightning és a Nemotron 3.5 Super VL modelleket betölthetik, kipróbálhatják, módosíthatják és kiszolgálhatják a platformon. A vállalat példaként egy technikai támogatási ügynököt említ: a fejlesztők korábbi, címkézett támogatási jegyeken finomhangolhatják a Nemotron egyik nyílt modelljét, hogy az jobban értse a vállalat termékeit, kifejezéseit és hibaelhárítási folyamatait.

A Databricks szerint a finomhangolás és az értékelés után a testreszabott modellek a Databricks Model Serving segítségével telepíthetők éles környezetbe, valós idejű következtetéshez. A cég közlése szerint az AIR így a vállalati adatoktól a modelltestreszabáson át az alkalmazásokban és ügynökökben való használatig egyetlen platformon kapcsolja össze a folyamatot.