Streamingtámogatást kapott a Google Cloud API Gateway

Egy átjáró a hagyományos és a folyamatos kapcsolatokhoz

A Google Developers Blog október 22-i bejelentése szerint az API Gateway Public Preview állapotban támogatja a streaminget. Korábban a fejlesztőknek választaniuk kellett: az API-kat az átjáró mögé helyezik, és lemondanak a streamingről, vagy megkerülik az átjárót, így viszont elveszítik az olyan funkciókat, mint a hitelesítés, az API-kulcsok kikényszerítése és a megfigyelhetőség.

Az új megoldással a streaming végpontok ugyanazon átjáró mögött működhetnek, ugyanazokkal a szabályokkal, mint a többi kiszolgált API. A támogatott minták között szerepel a Server-Sent Events, vagyis az SSE, a darabolt átvitel és a HTTP-válaszok fokozatos továbbítása, beleértve a soronként tagolt JSON-t is. Az API Gateway WebSocket-kapcsolatokat, valamint szerveroldali és kétirányú gRPC-streaminget is kezel.

A streamek legfeljebb egy órán át maradhatnak nyitva. A Google szerint a klienseknek újracsatlakozási logikát kell alkalmazniuk, hogy egy kapcsolat lezárása után a munkamenet folytatható legyen.

Nem kell módosítani az API szerződését

A Google közlése szerint a streaming nem külön termék, erőforrástípus vagy API-leírási mód. Nincs szükség új kiterjesztésekre, streamingre szabott megjegyzésekre vagy külön specifikációra. Ugyanaz a dokumentum írhatja le a hagyományos és a streaming API-t.

A meglévő funkciók továbbra is használhatók, köztük az API-kulcsok kezelése, a JWT-tokenek ellenőrzése, a Firebase, Auth0, Okta és Google ID-tokenek támogatása, a szolgáltatásfiókos hitelesítés, valamint a Cloud Logging és Cloud Monitoring integrációja. A Public Preview idején a streaminget a gateway létrehozásakor kell bekapcsolni a --enable-streaming kapcsolóval. A már létező átjárók helyben nem alakíthatók át, új gateway létrehozása szükséges.

A Google tervei szerint általános elérhetőségkor a streaming alapértelmezett működés lesz, külön bekapcsolás nélkül, az API-konfiguráció módosítása nélkül.

AI-alkalmazásoknál lehet fontos a leginkább

A modellválaszok, az ügynökök köztes lépései, a valós idejű irányítópultok és az együttműködési felületek folyamatos adatátvitelt igényelnek. A Google szerint a streaming különösen az AI-alkalmazásoknál fontos, mivel a felhasználók a generált választ annak elkészülése közben szeretnék látni.

Az API Gateway modellútválasztása egyetlen, OpenAI-kompatibilis végponton keresztül képes a kéréseket a Gemini, a Claude vagy a Gemini platform modellkertjében elérhető OpenAI gpt-oss modellek felé továbbítani a kérésben szereplő modellmező alapján. A streaminggel együtt a kliensek szabványos felületet kaphatnak, miközben központilag szabályozható, hogy mely modellek érhetők el, ki használhatja őket, és milyen házirendek vonatkoznak rájuk.

A bejelentés szerint az API Gateway, az Apigee és a Gemini platform Agent Gateway megoldásai különböző szerepeket töltenek be. Az API Gateway könnyű belépési pont lehet, míg az Apigee kiterjedtebb AI-házirendekhez és teljes életciklus-kezeléshez, az Agent Gateway pedig az ügynökkapcsolatok kezeléséhez és védelméhez használható.

Előre kiszámítható hostname és preview-korlátok

A streaming mellett az átjárók determinisztikus alapértelmezett hostname-et kapnak: GATEWAY_ID-PROJECT_NUMBER.REGION.gateway.dev. Korábban a gateway.dev cím generált hash-t tartalmazott, ezért a végpont címe csak az erőforrás létrehozása után volt ismert. Az új formátum előre beilleszthető klienskonfigurációba, Terraform-modulba, CI-folyamatba vagy tűzfalengedélyezési listába, és azonos projektben, régióban, azonos átjáró újraépítésekor ugyanazt a címet adja.

A Public Preview kezdetén még nem érhető el a Serverless NEGs és külső Application Load Balancer használatával megvalósított egyéni domain, valamint a streaming bekapcsolása a Cloud Console-ból és Terraformból. A Google azt is jelzi, hogy a késleltetési mutatók a teljes stream időt mérik, nem az első bájtig eltelt időt, ezért a hosszú kapcsolatok megváltoztathatják a grafikonok képét.