A GitHub Copilot helyben futó kódolást hoz az új Windows PC-kre

Automatikus választás a helyi és a felhős modellek között

A Microsoft október 7-i bejelentése szerint a GitHub Copilot a hónap végéig olyan működést kap, amely a feladat jellege alapján választ a helyi és a felhőben futó következtetés között. A fejlesztőknek így nem kell minden esetben maguk dönteniük az infrastruktúráról, a Copilot a háttérben hangolja össze a helyi és a felhős modellek használatát.

A vállalat ezt a működést a Project HydraFusion elképzelésének következő lépéseként írja le. A rendszer nemcsak több modell között választhat, hanem a számítási környezeteket is összehangolhatja, beleértve a helyi, eszközön végzett feldolgozást.

A GitHub Copilot CLI-ben, a Copilot alkalmazásban és a VS Code-ban kétféleképpen lehet majd helyi modelleket használni. Az Auto mód a helyi vagy felhős futtatást választja ki, a fejlesztő pedig közvetlenül is kijelölhet egy helyi modellt. A GitHub szerint a helyi következtetés önmagában nem jelenti azt, hogy a munkamenet internetkapcsolat nélkül működik.

A MAI Code 1.1 Flash helyi változata

A Microsoft AI a helyi fejlesztési élményhez elkészítette a MAI Code 1.1 Flash helyi változatát. Ez egy kódolásra optimalizált, mixture-of-experts modell, amely összesen 137 milliárd, aktívan pedig 6,8 milliárd paramétert használ.

A helyi futtatásnál kvantálást és spekulatív dekódolást alkalmaznak. A kvantálás csökkenti a modell súlyainak és aktivációinak ábrázolásához szükséges pontosságot, ezáltal a memóriaigényt is. A spekulatív dekódolásnál egy kisebb modell tokenblokkokat javasol, amelyeket a célmodell ellenőriz.

A Microsoft közlése szerint a Surface Laptop Ultra modellen használt kvantált változat 53 GB-ot foglal, ami 80 százalékos méretcsökkenés a Bfloat16 felhős változathoz képest. A csúcsmemória-használat 256 ezres kontextusnál 75,5 GB volt. A prompt feldolgozási sebessége 64 ezres kontextusnál 923,5, 128 ezres kontextusnál pedig 769,8 token másodpercenként.

A vállalat október 5-én végzett tesztjeiben a helyi, kvantált modell a SWE-Bench Verified adathalmazon 70,80 százalékos, a Terminal-Bench 2.1 tesztben pedig 66,29 százalékos eredményt ért el. A Microsoft külön jelzi, hogy a tényleges eredmények az eszköztől, a konfigurációtól és más tényezőktől függhetnek.

A memória és a biztonság is korlátot jelent

A helyi kódolási ügynök működésében a modell súlyai csak a memóriaigény egyik részét adják. A rendszernek, az alkalmazásoknak, a következtetési futtatókörnyezetnek és a korábban feldolgozott tokenek figyelmi állapotát tároló kulcsérték-gyorsítótárnak is szüksége van memóriára. Ahogy az ügynök fájlokat olvas és eszközeredményeket kap, a kontextus és ezzel együtt a memóriahasználat is növekedhet.

A Surface Laptop Ultra az NVIDIA RTX Spark platformra épül, legfeljebb 128 GB egységes memóriával és legfeljebb 1 petaflop AI-számítási teljesítménnyel. Az egységes memória közös fizikai memóriaterületet biztosít a CPU és a GPU számára, de a teljes kapacitás nem használható kizárólag a modellhez.

A GitHub Copilot a parancsok futtatásához Microsoft Execution Containers, röviden MXC rendszert használhat. Ez egy nyílt forráskódú Windows-könyvtár, amely a házirendeket natív operációsrendszeres vezérlőkre fordítja le. A megoldás szabályozhatja a fájlokhoz, hálózatokhoz, hitelesítő adatokhoz, rendszerképességekhez és futtatási útvonalakhoz való hozzáférést.

Windows alatt a Copilot a ProcessContainer háttérrendszer BaseContainer rétegét, macOS-en a Seatbeltet, Linuxon pedig a bubblewrapet használja. A helyi háttérmegoldásokhoz nincs szükség külön virtuális gépre vagy konténerképre. A GitHub Copilot CLI-ben a /sandbox paranccsal lehet módosítani a beállításokat.

Mit jelent ez a fejlesztőknek?

A fejlesztők választhatnak az automatikus modell- és környezetválasztás, illetve a közvetlen helyimodell-kijelölés között. A helyi futtatás olyan munkafolyamatoknál lehet releváns, ahol fontos a konkrét modell, szolgáltató vagy végpont kiválasztása. A Microsoft példaként egy olyan napi jelentéskészítő feladatot mutat be, amely helyi kód­tárakat olvas, másolatokon teszteket futtat, majd HTML-jelentést ír. Ebben a forgatókönyvben a forráskód-tárak csak olvashatók, a tesztfolyamatok pedig nem férhetnek hozzá a hálózathoz.

A bejelentés alapján a GitHub Copilot a helyi modellek használatát a kódolási feladatok automatikus útválasztásával és korlátozott eszközhozzáféréssel kapcsolja össze. A funkció a Microsoft közlése szerint a hónap végéig érkezik.