A Vercel Virtual Models funkcióval kódmódosítás nélkül válthatók az AI-modellek

Egy azonosító mögött változtatható a modell

A Virtual Model egy elmentett konfiguráció, amely megadja az AI Gateway számára, hogy melyik modellt és milyen beállításokkal használja. A fejlesztő például létrehozhatja a vmc/coding-agent azonosítót, majd ezt adhatja meg modellként az alkalmazásban vagy egy kódolóügynökben.

A háttérben használt modell később központilag módosítható. A Vercel példája szerint a anthropic/claude-opus-5.5 modellről az openai/gpt-6.1-sol modellre lehet átállni. Az ezt az azonosítót használó alkalmazások és ügynökök néhány percen belül átveszik az új konfigurációt, kódmódosítás és újratelepítés nélkül.

A funkció az AI Gateway minden modell­típusával használható, így kép-, videó-, beszéd-, beágyazási és valós idejű modellekkel is működik. Támogatja az AI SDK-t, valamint az OpenAI- és Anthropic-kompatibilis API-kat.

Feladatokra szabható modellek és tartalékútvonalak

A Vercel szerint az AI Gateway-en az előző 90 napban több mint 10 laboratóriumtól 125 új modell vált elérhetővé, ami körülbelül heti 10 modellt jelent. Az AI Gateway a kéréseket egészséges szolgáltatóhoz irányítja, és hiba esetén más szolgáltatókra is átállhat. A modellazonosító eddig az alkalmazás kódjában maradt, ezért a váltáshoz jellemzően újratelepítés kellett.

A Virtual Models ezt a modellválasztást és a hozzá tartozó beállításokat az AI Gateway-be helyezi át. Külön konfiguráció készíthető például az óránként több százszor futó, költségérzékeny támogatási jegy osztályozásához, illetve a ritkábban használt, magasabb szintű következtetést igénylő jogi szerződés-ellenőrzéshez.

Az azonosítóhoz tartozhatnak tartalékmodellek, szolgáltatói sorrend, Zero Data Retention, teljesítménybeállítások és egyedi jelentési címkék. A Vercel azt javasolja, hogy éles forgalmat kiszolgáló modell cseréje előtt a csapat egy második Virtual Modellel tesztelje az új modellt, és értékeléseket futtasson rajta.

Központi szabályozás a csapatok számára

A Virtual Modelt a csapat bármely tagja használhatja, a módosítási jogosultságokat azonban a csapatszerepkörök szabályozzák. A platform- és biztonsági csapatok központilag kezelhetik, tesztelhetik és felügyelhetik a modelleket, miközben a fejlesztők hozzáférhetnek az új modellekhez.

A Virtual Model beállításai elsőbbséget élveznek a kérésben megadott azonos beállításokkal szemben. Ez vonatkozik a szolgáltatói sorrendre és a tartalékmodellekre is. Ha egy konfiguráció Zero Data Retentiont vagy olyan szolgáltatókat ír elő, amelyek nem tanítanak a kérések adataiból, ezeket a követelményeket a kérésben megadott ellentétes érték sem írja felül.

A Virtual Modelhez rendelt címkék felülírják a kérésben szereplő címkéket, így a költségek az adott feladathoz rendelhetők. A Virtual Models oldal feladat szerint mutatja a kéréseket, a költést és a sikerességi arányt.

Elérhetőség az AI Gateway-ben

Virtual Model a csapat irányítópultjáról vagy a Vercel CLI használatával hozható létre. A létrehozáskor meg kell adni egy slugot, ki kell választani az alapul szolgáló modellt, majd be kell állítani a kérésekre érvényes opciókat.

Az AI Gateway egységes API-t biztosít a modellek meghívásához, a használat és a költségek követéséhez, valamint az újrapróbálkozások, az átirányítás és a teljesítmény beállításához. A Vercel közlése szerint a szolgáltatás a szolgáltatói árakat tükrözi felár nélkül, és az inferenciára nem számít fel platformdíjat, a saját kulcs használatával indított kérésekre sem.