Ingyenesen elérhető az NVIDIA Nemotron 3.5 Lightning a Vercelnél
Ingyenesen elérhetővé vált az NVIDIA Nemotron 3.5 Lightning modellje a Vercel AI Gateway szolgáltatásán. A nyílt súlyú modell hosszú ideig futó ügynökökhöz, chatbotokhoz és RAG-rendszerekhez készült.
- Az NVIDIA Nemotron 3.5 Lightning ingyenesen elérhető az AI Gatewayen.
- A modell 30 milliárd paraméteres, tokenenként 3 milliárd aktív paraméterrel.
- A kontextusablak mérete 1 millió token, és a modell eszközhívást is támogat.
- Elérhető az AI SDK, a Chat Completions, a Responses és a Messages API felületén.
- A promptokat a szolgáltató megőrizheti a modell fejlesztéséhez.
Hosszú feladatokra szánt modell érkezett
A Vercel október 14-i bejelentése szerint az NVIDIA Nemotron 3.5 Lightning az AI Gatewayen keresztül használható, ingyenesen. A szolgáltatásban a modell neve nvidia/nemotron-3.5-lightning-free, a kiszolgálást pedig az NVIDIA végzi.
A Nemotron 3.5 Lightning nyílt súlyú, következtetésre és párbeszédre használható modell. A Vercel leírása alapján hosszú ideig futó ügynökökhöz, alügynöki feladatokhoz, chatbotokhoz és RAG-rendszerekhez tervezték. A RAG, vagyis a visszakereséssel támogatott generálás olyan rendszerekre utal, amelyek külső információk alapján állítanak elő választ.
A modell 30 milliárd paraméterrel rendelkezik, tokenenként azonban 3 milliárd aktív paramétert használ. Felépítése hibrid Mixture-of-Experts rendszer, amelyben a Mamba-2 és a MoE rétegei néhány figyelmi réteggel váltakoznak.
Egymillió tokenes kontextus és eszközhívás
A Nemotron 3.5 Lightning 1 millió tokenes kontextusablakot támogat. Ez határozza meg, hogy a modell egy kérés során mekkora szöveges vagy egyéb bemeneti előzményt tud kezelni. A forrás szerint a modell támogatja az eszközhívást és a strukturált kimeneteket is.
Az AI Gatewayen többféle felületen lehet meghívni. A Vercel AI SDK mellett a Chat Completions, a Responses és a Messages API használható, valamint olyan kódoló ügynök is csatlakoztatható, amely támogatja az AI Gatewayt. A modellnév minden esetben nvidia/nemotron-3.5-lightning-free.
A Vercel példakódja az AI SDK streamText függvényével indít kérést, amelyben a modell egy TypeScript-függvény elkészítését kapja feladatul. A példa egy hibás fetch-kérés exponenciális visszalépéssel történő újrapróbálását kéri.
Claude Code, Codex és Cursor alatt is beállítható
A Vercel szerint a modell használható Claude Code, Codex, Cursor és más kódoló ügynökök mellett is. Ehhez a legújabb Vercel CLI-t kell telepíteni, majd le kell futtatni az npx vercel ai-gateway setup parancsot. A beállítás után az ügynökben ki lehet választani a Nemotron 3.5 Lightninget.
Az AI Gateway egységes API-t biztosít a modellek meghívásához, a használat és a költségek követéséhez, továbbá az újrapróbálkozások, az átirányítás és a teljesítményoptimalizálás konfigurálásához. A szolgáltatás egyedi jelentéseket, API-kulcsokra vonatkozó költségkereteket és útválasztási szabályokat is kínál.
A Vercel közlése szerint az AI Gateway a szolgáltatók árait tükrözi, felár nélkül. A platform a következtetésért nem számít fel platformdíjat, a saját kulcs használatával indított, BYOK-kérések esetén sem. Fontos korlátozás, hogy a szolgáltató megőrizheti a promptokat a modell fejlesztéséhez.
