Bizonytalan válaszoknál tartalékmodellre válthat a Vercel AI Gateway
A Vercel AI Gateway mostantól a beállított megbízhatósági feltételek alapján tartalékmodellhez továbbíthatja a döntési kéréseket. A funkció a Choice és Score típusú kérdéseknél magabiztossági értéket, Boolean kérdéseknél valószínűségi tartományt használ.
- Az AI Gateway bizonyos feltételeknél tartalékmodellhez eszkalálhatja a döntési kérést.
- A feltételek kombinálhatók, és a Choice, Score, valamint Boolean kérdéseket kezelik.
- A kérdés nélküli confidenceBelow feltétel minden megfelelő Choice vagy Score választ ellenőriz.
- A tartalékmodell futtatása mindkét döntési szakasz számlázásával jár.
- A döntési tartalékok béta állapotban vannak.
Feltételhez köthető modellváltás
A Vercel 2026. október 6-i bejelentése szerint az AI Gateway képes eszkalálni egy döntési kérést egy tartalékmodellhez, ha az elsődleges modell válasza teljesít egy előre megadott megbízhatósági feltételt. A fejlesztő azt is beállíthatja, hogy az eszkalálás több jel együttes teljesülésétől függjön.
A rendszerben továbbra is használhatók azok az egyszerű modellnevek, amelyeket a models listában adnak meg. Ezek a beállítások a közvetlen hibákat kezelik, és a Vercel szerint a meglévő tartalékmegoldások működését az új feltételes lehetőség nem változtatja meg.
Choice, Score és Boolean kérdések
A megbízhatósági feltételek a Choice és Score típusú kérdésekre vonatkoznak. Például a confidenceBelow mezővel megadható, hogy egy válasz akkor kerüljön tartalékmodellhez, ha a magabiztossági értéke 0,6 alá esik.
A feltételhez kérdés is társítható. A Vercel példája az intent nevű kérdést adja meg, és az openai/gpt-6-astra modellt jelöli ki tartalékmodellként. Ha a question mezőt elhagyják, a feltétel az adott típushoz tartozó minden kérdést ellenőrzi. Így a {"confidenceBelow": 0.6} beállítás akkor indít eszkalálást, ha bármelyik Choice vagy Score válasz értéke 0,6 alatt marad.
A Boolean kérdésekhez a rendszer külön logikát használ: ezeknél a döntés egy megadott valószínűségi tartomány alapján kerülhet a tartalékmodellhez.
Egy feltételes objektummal állítható be
A feltételes tartalékmodellt a providerOptions.gateway.models beállításban lehet megadni. Ehhez egy feltételes objektumot kell hozzáadni a modellek listájához. A Vercel példájában a tartalékmodell neve openai/gpt-6-astra, a feltétel pedig az intent kérdés 0,6 alatti magabiztossági értéke.
Azok a kérések, amelyekhez nem adnak meg ilyen feltételt, továbbra is a korábbi működés szerint futnak. A Vercel közlése szerint a döntési tartalékok béta állapotban vannak, a részletes használati leírás pedig a döntési tartalékokról szóló dokumentációban található.
A bizonytalan válasz második döntést indít
Ha egy megbízhatósági feltétel teljesül, a tartalékmodell újabb döntést hajt végre. Ennek közvetlen költségvonzata van: a Vercel szerint ilyenkor mindkét szakaszt számlázzák. A funkció így a bizonytalan válaszok kezelésére ad beállítható utat, miközben a feltétel nélkül küldött kérések és a korábbi, közvetlen hibákra épülő tartalékok változatlanul működnek.
Vercel: AI Gateway adds confidence-based decision fallbacks
