Az NVIDIA RTX Spark helyben futtatott AI-t hoz a Windowsra
Az NVIDIA RTX Spark az Anaconda Kilo Desktop alkalmazásával együtt helyi AI-fejlesztésre kínál Windows on Arm környezetet. A platformon a modellek, a Python-eszközök és a projektek egyetlen alkalmazásban dolgozhatnak, miközben a felhasználói kérések a számítógépen maradhatnak.
- Az RTX Spark akár 128 GB egységes memóriával rendelkező konfigurációkat kínál.
- A Kilo Desktop helyi modelleket futtat az NVIDIA RTX hardveren.
- Az Anaconda Windows on Arm támogatása natív Pythont és több mint 2500 conda-csomagot ad.
- A GGUF modellek importálhatók a Kilo Desktop beépített modellkiszolgálójába.
- A helyi AI-ügynökök kódon, adatokon és projektfájlokon is dolgozhatnak.
RTX hardver és helyi modellek egy gépen
Az Anaconda október 16-i bejelentése szerint az NVIDIA RTX Spark NVIDIA RTX grafikát, a teljes NVIDIA AI-szoftvercsomagot és konfigurációtól függően akár 128 GB egységes memóriát kínál. A megoldást fejlesztésre, tartalomkészítésre és játékra szánják, az új Microsoft Surface Laptopot is beleértve.
Az RTX Spark NVIDIA Grace processzormagokat kapcsol össze Blackwell RTX GPU-val. A CPU és a GPU közösen használja a memóriát, így a készülék nagyobb helyi modellek és az azok által igényelt több kontextus kezelésére is alkalmas lehet. A platform natív CUDA-támogatást kap, ugyanazt a szoftveres veremet használva, amely az NVIDIA hardverein működik.
Az Anaconda szerint a Kilo Desktop beépített helyi modellkiszolgálója nyílt modelleket futtat az RTX hardveren. Helyi következtetés, vagyis inference használatakor a kérések az eszközön dolgozódnak fel, ezért a munkafolyamat helyben maradhat.
A Kilo Desktop a kódolást és az AI-ügynököket kapcsolja össze
A Kilo Desktop egy olyan alkalmazásként mutatkozik be, amelyben a felhasználó AI segítségével tervezhet, írhat, tesztelhet és hibakeresést végezhet a kódon. Az alkalmazás automatikusan beállítja a conda-környezeteket, így az RTX Spark Python-munkára készíthető fel már az első feladattól.
Az Anaconda Windows on Arm támogatása natív Pythont, több mint 2500 conda-csomagot és ellenőrzött könyvtárakat biztosít. A projekt környezetei ugyanabban az alkalmazásban kezelhetők, ahol a felhasználó a modellel dolgozik. Így a kód, a jegyzetfüzetek és az adatok egy projektben maradhatnak.
A fejlesztők GGUF modellfájlokat importálhatnak a Kilo Desktop beépített szerverébe. Az NVIDIA Nemotron modellcsalád nyílt, következtetésre és eszközhasználatra épített modelleket tartalmaz. A megfelelő modell képes értelmezni a kérést, kiválasztani egy eszközt, majd az eredmény alapján meghatározni a következő lépést. Az ügynöki munkához olyan modellt kell választani, amely támogatja az eszközhívást, ezután a kódolási eszközök és az utasítások is bekapcsolhatók.
Adatok elemzése és kódolás helyben
Az Anaconda példája szerint egy termékcsapat CSV-fájlokból kiindulva vizsgálhatja, miért nőtt a visszaküldések száma. A fejlesztő megkérheti az ügynököt az oszlopok áttekintésére, a hiányzó értékek jelzésére és egy olyan Python-jegyzetfüzet elkészítésére, amely termékenként és hónaponként hasonlítja össze a visszaküldési arányokat.
A Python végzi a számításokat, a helyi modell pedig irányítja a munkát és elmagyarázza az eredményeket. A fejlesztő áttekintheti a kódot és a kapott adatokat, majd további vizsgálatot kérhet a legnagyobb változásokkal kapcsolatban. A jegyzetfüzet a beszélgetés mellett nyitható meg, ezért az elemzés ellenőrizhető és módosítható.
Ugyanez a megközelítés használható dokumentumasszisztenshez, a projekt tesztjeit futtató kódolási ügynökhöz vagy olyan munkafolyamathoz, amely helyi fájlokból készít jelentést. A folyamat az Anaconda leírása szerint Windows PC-ken, NVIDIA RTX Spark hardveren, helyben futtatható.
A projektkörnyezet is menthető
A Kilo Desktop, a modellfájl és a projektcsomagok telepítése után a cél az első helyi válasz elérése öt percen belül. A kezdeti letöltés és beállítás ennél hosszabb ideig tarthat, az internetkapcsolattól és a választott modelltől függően.
A kezdéshez a felhasználó megnyitja a Kilo Desktopot, bejelentkezik, kiválasztja a projektmappát, majd a projekt conda-környezetét vagy annak environment.yml fájlját. Ezután importálhat egy kompatibilis Nemotron-modellt, elindíthatja a modellkiszolgálót, és kiválaszthatja a modellt a csevegésben. Az első feladat lehet egy Python-fájl magyarázata, később pedig további eszközök és összetettebb munkák is hozzáadhatók.
Az Anaconda azt javasolja, hogy a projekt növekedésével a Python-függőségeket environment.yml fájlban rögzítsék, a modell verzióját és beállításait pedig a kód mellett dokumentálják. Így a kompatibilis hardverrel rendelkező csapattagok újra létrehozhatják a munkafolyamatot. A hír a fejlesztők számára olyan helyi környezetet ír le, ahol a modellek, az adatok, a kód és a projektfüggőségek egyetlen Windowsos munkafolyamatban kezelhetők.
