Az AI Gateway már az OpenAI Ultrafast módját is támogatja
A Vercel AI Gateway támogatja az OpenAI Ultrafast szolgáltatási szintjét a GPT-6 Astra modellhez. A beállítás interaktív alkalmazásoknál és gyors kódolási iterációknál biztosíthat rövidebb válaszidőt.
- Az AI Gateway támogatja az OpenAI Ultrafast szolgáltatási szintjét.
- Az Ultrafast a GPT-6 Astra modellhez használható.
- A mód az AI SDK-n, a Chat Completions API-n és a Responses API-n keresztül kérhető.
- A nem támogatott régiókhoz, például az EU-hoz kötött kérések standard szinten futnak.
- Az Ultrafast díja a standard tokenenkénti ár hatszorosa.
Az Ultrafast mód az AI Gateway-en keresztül érhető el
A Vercel október 5-i közleménye szerint az AI Gateway immár az OpenAI Ultrafast szolgáltatási szintjét is támogatja. A lehetőség a GPT-6 Astra modellhez használható, és a Vercel szerint elsősorban olyan alkalmazásoknál lehet hasznos, ahol fontos a gyors kimenet.
A szolgáltatás bekapcsolásához az openai/gpt-6-astra modellt kell megadni, majd az OpenAI szolgáltatási szintjeként az ultrafast értéket kell beállítani. A kérés az AI SDK-n, a Chat Completions API-n vagy a Responses API-n keresztül indítható.
A Vercel példakódja egy olyan feladatot mutat be, amelyben a modell a hibás teszteket vizsgálja meg, és javítási javaslatot készít. A példában az AI Gateway csak az OpenAI szolgáltatót használja.
A Responses API-t ajánlja az OpenAI gyakori eszközhasználathoz
Azoknál a munkafolyamatoknál, amelyekben a modell gyakran hív külső eszközöket, az OpenAI a Responses API használatát javasolja tartós WebSocket-kapcsolaton keresztül. A Vercel szerint ez csökkentheti a fordulók közötti többletterhelést.
A közlemény külön példákat is említ a tartós kapcsolatokhoz, köztük az AI SDK WebSocketen keresztüli használatát. Ez a megoldás olyan folyamatokhoz kapcsolódik, ahol a modell és az alkalmazás között több egymást követő interakció zajlik.
Az Ultrafast az Egyesült Államokban és globális feldolgozással is támogatott. Ha egy kérést olyan régióhoz kötnek, amelyet a szolgáltatás nem támogat, például az Európai Unióhoz, a kérés a standard, alapértelmezett szinten fut le.
A gyorsabb feldolgozás jelentősen drágább
Ha a kérésben nem adnak meg szolgáltatási szintet, az AI Gateway alapértelmezés szerint standard feldolgozást használ. Ez azt jelenti, hogy az Ultrafast módot az alkalmazásnak külön kell kérnie.
Az Ultrafast módban kiszolgált kérések díja a standard tokenenkénti díj hatszorosa. Ha egy kérés másik szolgáltatási szintre esik vissza, akkor az adott kérésnél ténylegesen használt szint díját számítják fel.
A mindenkori árakért a GPT-6 Astra modelloldalát kell ellenőrizni. A Vercel bejelentése alapján az új lehetőség a gyors válaszokra építő interaktív alkalmazásoknak és a sűrű kódolási iterációkat végző fejlesztési folyamatoknak szól, miközben az alapértelmezett standard feldolgozás változatlanul elérhető.
Vercel: OpenAI Ultrafast mode now available on AI Gateway
