Ingyen elérhető a Cline-ban az NVIDIA Nemotron 3.5 Lightning
Az NVIDIA Nemotron 3.5 Lightning modellje megjelent a Cline-ban, ahol ingyenesen használható. A 30 milliárd paraméteres, nyílt és testre szabható modell az ismétlődő modellhívások felgyorsítására készült.
- A Nemotron 3.5 Lightning ingyenesen elérhető a Cline-ban.
- A modell 30 milliárd paraméteres, ebből 3 milliárd aktív generáláskor.
- Legfeljebb 1 millió tokenes kontextusablakot támogat.
- Az NVIDIA előzetes adatai szerint akár négyszer nagyobb áteresztőképességet kínálhat hasonló méretű nyílt modelleknél.
- A modell helyben, peremhálózaton, adatközpontban vagy felhőben is telepíthető.
Sok modellhívásra optimalizálták
A Cline augusztus 11-i bejelentése szerint az NVIDIA kiadta a Nemotron 3.5 Lightningot, amelyet mindig aktív ügynökökhöz és nagy mennyiségű modellhívást igénylő feladatokhoz terveztek. A modell már elérhető a Cline-ban, a szolgáltatás ingyenes modelljei között.
Az ügynöki kódolási feladatok során egyes lépések összetettebb gondolkodást igényelnek, mások inkább végrehajtási jellegűek. Ilyen lehet a megfelelő fájl megkeresése, egy implementáció elolvasása, a tesztek futtatása, a hiba ellenőrzése vagy a következő módosítás elkészítése. Ezek a lépések egyaránt újabb modellhívásokkal járnak.
A Cline szerint a Nemotron 3.5 Lightning célja, hogy ezeket az ismétlődő hívásokat gyorsan kezelje, miközben megőrzi a speciális feladatokhoz szükséges ügynöki képességeket. A modellt népszerű ügynöki keretrendszerekhez tanították, és nagy áteresztőképességű feladatokra tervezték.
30 milliárd paraméter, 3 milliárd aktív paraméter
A Nemotron 3.5 Lightning hibrid szakértői keverék architektúrát, angolul mixture of experts, használ. Összesen 30 milliárd paraméterrel rendelkezik, a generálás során azonban 3 milliárd aktív paraméter dolgozik. A modell az NVIDIA Nemotron 3 Ultra modelljéből desztillált változat, és legfeljebb 1 millió tokenes kontextusablakot támogat.
Az NVIDIA előzetes teljesítményadatai szerint a Nemotron 3.5 Lightning 86,2 pontot ért el a PinchBenchen, 54,3 pontot a SWE-Bench Verified teszten, az AA-Omniscience nem hallucinációs mérésén pedig 73 pontot szerzett.
A Cline által idézett NVIDIA-adatok szerint a modell a hasonló méretű vezető nyílt modellekhez képest akár négyszer nagyobb áteresztőképességet kínál. A vállalat ezt a nagy mennyiségű ügynöki munkafolyamatok pontosság és sebesség szerinti Pareto-frontján elfoglalt helyeként írja le.
Így használható a Cline-ban
A Nemotron 3.5 Lightning használatához Cline-fiók szükséges, amely ingyenesen létrehozható. A Cline-nak telepítve kell lennie az integrált fejlesztői környezetben vagy a Cline parancssoros felületén.
A beállítás a Cline megnyitása után a Settings menüben végezhető el. Az API-szolgáltatónál a Cline Usage-Billing lehetőséget kell kiválasztani, majd az ingyenes modelllistából az nvidia/nemotron-3.5-lightning modellt.
A modell nyílt és testre szabható, ezért az NVIDIA szerint speciális munkafolyamatokra tovább is tanítható. Helyben, peremhálózati környezetben, adatközpontban vagy felhőben is telepíthető. A Cline értelmezése szerint az előnye azoknál a feladatoknál jelentkezhet, amelyekben az ügynök sokszor ismétli az olvasás, szerkesztés, tesztelés és újrapróbálás ciklusát. Egyetlen gyorsabb válasz önmagában is hasznos lehet, de több tucat vagy akár több száz forduló esetén a hívások sebessége a teljes folyamat tempóját is befolyásolja.
Cline: NVIDIA Nemotron 3.5 Lightning just landed in Cline
