A Databricks hatszorosára gyorsította a Qwen finomhangolását

A magas GPU-kihasználtság félrevezető lehet

A Databricks 2026. október 14-én közzétett blogbejegyzése szerint a több milliárd paraméteres alapmodellek tanítása és finomhangolása jelentős számítási kapacitást igényel, gyakran több száz vagy több ezer GPU-óra felhasználásával. A teljesítmény javítása közben azonban a magas szintű mutatók, például a GPU-kihasználtság, nem feltétlenül mutatják meg, mennyire hatékonyan dolgozik a rendszer.

A Qwen 3.8 27B modell kiinduló tanítása átlagosan 98 százalékos GPU-kihasználtság mellett 7 óra 44 percig tartott. A teljesítmény 9396 token volt másodpercenként. A Databricks szerint a kihasználtsági érték csak azt mutatja, hogy a GPU az idő mekkora részében végzett valamilyen munkát, azt nem, hogy az aktív időt mennyire hatékonyan használta ki.

A nyomkövetés feltárta a szűk keresztmetszeteket

A fejlesztők standard torch trace segítségével vizsgálták meg az egyes tanítási lépéseket. A mérés szerint a CPU-nak hosszabb időbe telt előkészítenie egy lépést, mint amennyi idő alatt a GPU végrehajtotta azt. Emiatt a GPU időnként várakozott.

A nyomkövetés egy másik problémát is megmutatott: túl sok apró műveletet kellett a CPU-nak a GPU felé továbbítania. A vizsgált mintalépésben a CPU-oldalon 1 714 382 hívás szerepelt, míg a GPU-oldalon 269 448 műveletet mértek. A Databricks szerint a cél ezért a GPU-nak küldött műveletek számának csökkentése volt.

A CUDA-grafikonok egyetlen CPU-hívással képesek rögzített CUDA-magokat újra lejátszani, de a technikának több korlátja van, és az FSDP2 dinamikus működésével is ütközik. A torch.compile automatikus kernel-összevonást végezhet, a Databricks azonban ebben a példában kézzel összevont, specializált kerneleket használt.

A megfelelő kernelek 3,7-szeres gyorsulást hoztak

A modell a transformers könyvtárat, az SFT HuggingFaceH4/ultrachat_200k adathalmazt, valamint az FSDP2 modellszilánkolási technikát használta. Az aktivációs ellenőrzés bekapcsolásával a rendszer memóriát cserélt számítási időre, így nagyobb GPU-nkénti kötegméret vált lehetővé.

A Qwen egyes rétegeihez a Databricks a flash-linear-attention és a causal-conv1d kerneleket telepítette. Ezek több kisebb GPU-műveletet egyesítenek, így csökkentik a memóriamozgatást és hatékonyabbá tehetik a GPU-magok ütemezését. A Qwen esetében különösen sokszor futott le a kötegelt mátrixszorzás, egy tanítási lépésben több mint 30 ezer alkalommal.

A kernelek telepítése után a teljes futási idő 3,7-szeres javulással 2 óra 5 percre csökkent. A végső, további optimalizálásokkal elért eredmény 1 óra 17 perc lett, ami a kiinduló 7 óra 44 perchez képest hatszoros gyorsulást jelent.

Mit jelent ez a felhasználóknak?

A Databricks példája azt mutatja, hogy a látszólag magas GPU-kihasználtság mellett is jelentős gyorsulási tartalék maradhat egy nagy nyelvi modell finomhangolásában. A javulás kulcsa a részletes teljesítménymérés, a felesleges műveletek csökkentése és a modell által támogatott, előre elkészített kernelek használata volt.

A vállalat szerint a kernelek telepítése történhet egyszerű pip-csomagtelepítéssel, a kapcsolódó tárhely klónozásával és fordításával, vagy előre fordított csomagok használatával. A Databricks különösen a konténer építésekor történő telepítést ajánlja, hogy a munkafolyamat indításakor kevesebb idő menjen el az előkészítésre. A Hugging Face Kernel Hub kényelmes megoldás lehet, de előfordulhat, hogy az adott PyTorch- és CUDA-verzióhoz nem érhető el megfelelő kernel, ilyenkor a modell optimalizálatlan megoldásra válthat.