Tokenkvótákkal fékezhető a BigQuery generatív AI-költsége

Négy kvóta szabályozza a tokenfogyasztást

A BigQuery AI.GENERATE, AI.IF, AI.CLASSIFY és AI.SCORE funkciói nagy nyelvi modelleket tesznek elérhetővé SQL-lekérdezésekből. Így egyetlen lekérdezés több millió ügyfélszolgálati jegyet osztályozhat, vagy minden termékértékeléshez hangulatelemzést készíthet. A használat tokenalapú számlázása miatt a nagy adathalmazokon futó munkafolyamatoknál fontos lehet az előzetes költségkorlát.

A Google Cloud négy napi kvótát kezel a Google Cloud Identity and Access Management kvótarendszerén keresztül. A projekt szintű alapérték napi 200 milliárd bemeneti token és 20 milliárd kimeneti token. Felhasználónként egy projekten belül napi 150 milliárd bemeneti token és 15 milliárd kimeneti token a kiinduló érték. A kimeneti kvótába a válasz mellett a gondolkodási tokenek is beleszámítanak.

A kvóták globálisak, ezért a használatot minden régióból összeadják. A korlátozások az AI.GENERATE_TABLE, az AI.GENERATE_TEXT és annak ML.GENERATE_TEXT aliasa, valamint az AI.AGG funkciókra is vonatkoznak. A beágyazási funkciók, köztük az AI.GENERATE_EMBEDDING, az ML.GENERATE_EMBEDDING és az AI.EMBED, kimaradnak, mert más, a Google Cloud szerint lényegesen olcsóbb modelleken futnak.

Az adminisztrátorok azonnal módosíthatják a limiteket

A kvóták a Google Cloud Console IAM & Admin → Quotas & System Limits oldalán kezelhetők. A BigQuery API szolgáltatásra szűrve megjelenik a négy AI-tokenkvóta. Az értékek csökkentése jóváhagyás nélkül, azonnal életbe léphet. Nagyobb használathoz ugyanitt lehet emelést kérni, amelyet a Google Cloud szerint sok esetben automatikusan jóváhagynak, a nagyobb növeléseket pedig rövid ellenőrzés követheti.

A módosításhoz megfelelő jogosultság szükséges, például Owner, Editor, Quota Administrator vagy Service Usage Admin szerepkör. A beállítások programozottan is kezelhetők a Cloud Quotas API, a gcloud parancssori eszköz és a Terraform segítségével.

A felület korábbi tokenfogyasztási adatokat és 7, 14, 30 napos, illetve egyéni időszakokra állítható grafikonokat is mutat. A Google Cloud szerint ezek segíthetnek felismerni a kiugrásokat, valamint összehangolni a kvótákat az új generatív AI-munkafolyamatokkal és adatfeldolgozási folyamatokkal.

A kvóta a lekérdezés futása közben is leállíthatja a munkát

A tokenkvóta megelőző, AI-specifikus korlát. A BigQuery nyomon követi a tokenhasználatot, és a limit közelében leállítja az új modellhívások küldését. Ha a szükséges kvóta már a lekérdezés indításakor elfogyott, a rendszer QuotaExceeded hibával elutasítja a futtatást. Ha a limit a feldolgozás közben merül ki, a viselkedés a funkciótól függ.

Az olyan függvények, amelyek támogatják a max_error_ratio paramétert, például az AI.IF, részleges eredményt adhatnak, ha a feldolgozatlan sorok aránya a megadott határon belül marad. Az általános célú függvények, például az AI.GENERATE, továbbra is sikeresek lehetnek, de a kihagyott sorokhoz nem készül generált érték, a státuszmező pedig kvótakimerülési hibát jelez.

A kvóta méretezését segíti az AI.COUNT_TOKENS függvény, amely egy szöveg tokenizált hosszát számolja ki számlázható generálási hívás nélkül. A Google Cloud példája szerint a Gemini 3.1 Flash-Lite modellnél, napi körülbelül 100 dolláros kerettel és 100:1 bemeneti, illetve kimeneti tokenaránnyal nagyjából 754 millió bemeneti és 7,54 millió kimeneti token állítható be napi limitként. A példában a BigQuery kötegelt feldolgozása miatt 50 százalékos kedvezménnyel számolnak.

A Google Cloud a projekt- és felhasználói kvóták mellé a Cloud Billing költési korlátait is javasolja. A tokenkvóta pontos AI-használati védelemként működik, a dolláralapú költési plafon pedig szélesebb, projektszintű biztonsági tartalék. A tokenalapú költségkezelés már elérhető.