Elérhető a Ling 3.0 Tiny a Vercel AI Gateway rendszerében
A Vercel AI Gateway kínálatába bekerült az ANT Group Ling 3.0 Tiny modellje. A szolgáltatásban augusztus 14-én 8:00-ig, csendes-óceáni idő szerint ingyenesen használható, ezt követően új modellnéven lesz elérhető.
- A Ling 3.0 Tiny az ANT Group 7,9 milliárd paraméteres MOE-modellje.
- A modell 256 ezer tokenes kontextusablakot és legfeljebb 32 ezer kimeneti tokent támogat.
- Augusztus 14-én 8:00-ig ingyenesen használható csendes-óceáni idő szerint.
- A jelenlegi modellnév inclusionai/ling-3.0-tiny-free, később inclusionai/ling-3.0-tiny lesz.
- Az AI Gateway használatkövetést, költségkezelést, újrapróbálkozást és átállást is kínál.
Nagy kontextusablak, kisebb aktív modellméret
A Ling 3.0 Tiny egy MOE, vagyis kevert szakértői architektúrára épülő modell. Összesen 7,9 milliárd paraméterrel rendelkezik, tokenenként azonban körülbelül 1,3 milliárd aktív paramétert használ.
A modell 256 ezer tokenes kontextusablakot kezel, és legfeljebb 32 ezer kimeneti tokent tud előállítani. A Vercel szerint a Ling 3.0 Tiny-t reszponzív ügynökökhöz, utasításkövetéshez és többlépcsős beszélgetésekhez tervezték.
A rendszer natív függvényhívást és promptgyorsítótárazást is támogat. Ezek a képességek olyan alkalmazásokban használhatók, amelyek külső műveleteket indítanak, illetve ismételten dolgoznak fel hasonló utasításokat.
Ideiglenesen ingyenes, később változik a modell neve
A Ling 3.0 Tiny a Vercel AI Gateway rendszerében a Ling 3.0 Flash helyét veszi át az ingyenes modellpozícióban. A Vercel közlése szerint a modell augusztus 14-én 8:00-ig használható díjmentesen, csendes-óceáni idő szerint.
A használathoz az AI SDK-ban az inclusionai/ling-3.0-tiny-free modellnevet kell megadni. Augusztus 14-én az új modellnév inclusionai/ling-3.0-tiny lesz. A fejlesztők a modellt a Vercel modelljátszóterében is kipróbálhatják.
Kódoló ügynökben a vercel ai-gateway coding-agents setup paranccsal lehet beállítani a használatát, majd az ügynökön belül ki kell választani az inclusionai/ling-3.0-tiny-free modellt.
Egységes hozzáférés több szolgáltatási funkcióval
Az AI Gateway egységes API-t kínál a modellek meghívásához. A rendszerben követhető a használat és a költség, továbbá beállítható az újrapróbálkozás, az átállás másik szolgáltatóra, valamint több teljesítményoptimalizálási lehetőség is.
A szolgáltatás beépített egyedi jelentéseket, Zero Data Retention támogatást, API-kulcsokra vonatkozó költségkereteket és útválasztási szabályokat is tartalmaz. A Vercel szerint az AI Gateway a szolgáltatói árakat tükrözi, ezért nem számít fel felárat, és az inferenciára platformdíjat sem kér, a saját kulcs használatával indított, BYOK kérések esetében sem.
A felhasználók számára ez azt jelenti, hogy a Ling 3.0 Tiny-t a Vercel által biztosított közös fejlesztői felületen próbálhatják ki, miközben az alkalmazásmodell, a használat követése és az üzemeltetési beállítások ugyanahhoz a gatewayhez kapcsolódnak.
Vercel: Ling 3.0 Tiny is now available on AI Gateway
