Az AWS öt ázsiai régióból teszi elérhetővé az OpenAI GPT-6 modelljeit
Az Amazon Bedrock globális régióközi következtetéssel teszi elérhetővé az OpenAI GPT-6 Sol és GPT-6 Luna modelleket Thaiföldről, Malajziából, Szingapúrból, Indonéziából és Tajvanról. A GPT-6 Astra egyelőre a szingapúri régióból használható ilyen módon.
- A GPT-6 Sol és GPT-6 Luna öt ázsiai AWS-régióból érhető el globális régióközi következtetéssel.
- A GPT-6 Astra ilyen módon a szingapúri régióból használható.
- A kéréseket az Amazon Bedrock a támogatott célrégiók között irányítja.
- A hozzáférés a Converse API-n és OpenAI-kompatibilis API-kon is működik.
- A célrégiókat nem kell külön aktiválni, csak a hívás forrásrégióját.
A helyi kapacitás helyett több régió erőforrásai
Az AWS szerint az egyetlen régióra korlátozott következtetés (inference) lelassulhat vagy korlátozásba ütközhet, amikor a kereslet meghaladja a helyi kapacitást. A globális régióközi következtetés ilyenkor a támogatott kereskedelmi AWS-régiók között irányítja át a kéréseket, ahol az adott modell telepítve van.
A felhasználó a hívást a saját forrásrégiójából indítja, az Amazon Bedrock pedig kiválasztja a feldolgozás célrégióját. A számlázás, a kvóták követése, az AWS CloudTrail és az Amazon CloudWatch továbbra is a forrásrégióhoz kapcsolódik. A megoldás az Amazon Bedrock bedrock-runtime végpontján érhető el.
Három GPT-6 modell, eltérő feladatokra
Az AWS közlése szerint a GPT-6 Sol összetett feladatoknál kínál erős érvelési és kódolási képességeket. A GPT-6 Luna nagy mennyiségben végzett, fókuszált és ismételhető feladatokra készült, míg a GPT-6 Astra összetett érvelést, kódolást és hosszú dokumentumok feldolgozását célozza.
Mindhárom modell fogad szöveges és képi bemenetet, támogatja a kliensoldali eszközhasználatot és a promptgyorsítótárat. A modellek között az érvelési erőfeszítés szintjeiben is van különbség. A GPT-6 Sol és a GPT-6 Luna a none, low, medium, high, xhigh és max szinteket fogadja, a GPT-6 Astra esetében a none szint nem érhető el.
A GPT-6 Sol és GPT-6 Luna globális profiljai a Singapore, Jakarta, Malaysia, Thailand és Taipei régiókból hívhatók. A GPT-6 Astra globális profilja a Singapore régióból használható. Az AWS figyelmeztet, hogy a régiók és profilok elérhetősége változhat, ezért a fejlesztőknek az építés előtt ellenőrizniük kell az aktuális modellkártyákat.
Converse API, OpenAI-kompatibilis felületek és Codex
Az AWS bemutatója szerint mindhárom modell három hozzáférési útvonalon használható ugyanazon a végponton: az Amazon Bedrock Converse API-n, az OpenAI Responses API-n és az OpenAI Chat Completions API-n keresztül. Minden kérésben a globális régióközi következtetési profil azonosítóját kell megadni modellazonosítóként.
A használathoz az IAM-identitásnak engedéllyel kell rendelkeznie a profil meghívására, a forrásrégiót pedig aktiválni kell. Szingapúr alapértelmezés szerint engedélyezett, Jakarta, Malaysia, Thailand és Taipei régióihoz viszont előzetes aktiválás szükséges. A célrégiókat nem kell külön aktiválni, mert azok az Amazon Bedrock által kezelt kapacitáson futnak.
A ChatGPT asztali alkalmazása és a Codex CLI közös ~/.codex/config.toml fájlt használ. Az AWS szerint az amazon-bedrock-runtime szolgáltató fogad inference profile-t, ehhez pedig a Codex CLI 0.148 vagy újabb verziója szükséges. A bemutatott konfiguráció a GPT-6 Astra modellt használja a szingapúri régióból.
