A Google Cloud új eszközökkel skálázza az agentikus AI-infrastruktúrát

Sűrűbb sandboxok és automatikus skálázás a GKE-ben

A Google Cloud szeptember 30-i összefoglalója szerint a GKE Agent Substrate nevű, nyílt forráskódú futtatási környezetet agentikus munkafolyamatokhoz tervezték. A vállalat állítása szerint a rendszer a hagyományos konténeres futtatókörnyezetekhez képest tízszer nagyobb sűrűséggel képes több millió sandbox futtatására.

A megoldás 500 milliszekundumnál rövidebb visszaállítási műveleteket kínál másodpercenként több mint 500 felfüggesztési és visszaállítási aktiválás mellett. A Google közlése szerint natív, zéró bizalmi modellre épülő kernel- és hálózati izolációt is biztosít.

A GKE beépített, nullára skálázási képességet is kapott. Ehhez a platform a Horizontal Pod Autoscalert, vagyis a vízszintes podautomatikus skálázót használja az Autoscaling Metric támogatásával, valamint a KEP-2021 megoldással. A GKE HPA immár egyedi PromQL-metrikák alapján is képes fel- és leskálázni a munkaterheléseket.

A GKE Pod snapshots funkció a futó munkaterhelés állapotát, a CPU- és GPU-memóriát is beleértve, menti és igény szerint visszaállítja. A Google belső tesztjei szerint ez akár 89 százalékkal csökkentheti az AI-következtetés indítási idejét.

Migráció AWS EKS-ről és támogatás a megerősítéses tanuláshoz

A Google Cloud elindította a GKE agentic migration eszközt is. Ez egy célzott ügynökbővítmény, amely AI-alapú migrációs folyamatot használ meghatározott, determinisztikus korlátokkal. A rendszer az AWS EKS infrastruktúrakódját és Kubernetes-manifesztjeit GKE-környezetekre fordítja le.

A megerősítéses tanulási feladatokhoz a GKE Agent Sandbox, az Agent Sandbox RL orchestration SDK, valamint népszerű RL-gymekkel és eszközökkel való natív integrációk váltak általánosan elérhetővé. A Google szerint ezek a megoldások a több tízezer párhuzamos futtatást végző, GPU-kat és elkülönített CPU-sandboxokat használó munkafolyamatok infrastruktúra-szűk keresztmetszeteit célozzák.

Új tárolási és számítási lehetőségek AI-munkafolyamatokhoz

A Filestore agent volumes nagy teljesítményű, rugalmas és tartós fájltárolást kínál agentikus munkaterhelésekhez. A GKE Agent Substrate és a GKE Agent Sandbox integrációjával a szolgáltatás dedikált, elkülönített fájlterületet oszt ki és csatol a sandboxokhoz milliszekundumok alatt. A funkcióhoz előzetes hozzáférést kell kérni.

Az általánosan elérhető M4N virtuális gépcsaládot a Google generatív AI- és RAG-adatrétegekhez, például Milvus, Pinecone, Qdrant, Vespa és Redis használatához ajánlja. Hyperdisk Extreme tárolóval párosítva az M4N akár 25 000 MiB/s, vagyis 25 GiB/s összesített gazdagépes tárolási teljesítményt és akár 1 millió IOPS-ot kínál.

Az általánosan elérhető Z4D bare metal konfigurációban nagy helyi SSD-kapacitást és alacsony késleltetést biztosít az agentikus mikrógépekhez. A Google szerint így gépenként több ezer elkülönített sandbox futtatható natív teljesítménnyel és hatékonysággal.

Globális gyorsítók és ügyfélpélda

A Google útmutatót tett közzé arról, hogyan kezelhetők a világ különböző pontjain működő GPU-k és TPU-k egyetlen poolként, egységes belépési pont mögött. A többklaszteres GKE Inference Gateway a globális, több régiót érintő forgalomelosztást és a magas rendelkezésre állást célozza, miközben az LLM-d router memóriaalapú ütemezést végez. A vállalat tesztjeiben ez a felépítés kevesebb mint 1 százalék többletterhelést okozott.

A Google közlése szerint a SeaVerse játékstartup GKE Agent Sandboxot használ több bérlős munkaterheléseihez, és a platform 60 százalékkal csökkentette infrastruktúraköltségeit. A vállalat emellett arról számolt be, hogy több Gartner- és Forrester-jelentésben vezetőként értékelték, a SemiAnalysis ClusterMax 3.0 jelentésében pedig Gold minősítést kapott.