A Cloudflare szerint már a forgalom több mint fele nem emberi

Az ügynökök gyorsan növelik a forgalmat

A Cloudflare szeptember 30-án közzétett elemzése szerint a vállalat hálózatán kezelt HTTP-kérések átlagos száma a 2024 végi másodpercenkénti 63 millióról mára közel kétszeresére, 115 millióra nőtt. A csúcsidőszakokban a 150 milliót is meghaladja a másodpercenkénti érték.

Az AI-ügynökök napi kéréseinek száma az elmúlt évben több mint 1700 százalékkal emelkedett. A Cloudflare szerint 2026-ban először fordult elő, hogy az internetes forgalom több mint fele nem emberi eredetű. A vállalat ezt egy második közönség megjelenéseként írja le: olyan ügynökökéről van szó, amelyek emberek nevében végeznek feladatokat.

Ezek az ügynökök eltérnek a hagyományos automatizált robotoktól. Gyakran egy ember kérésére keresnek információt, foglalnak asztalt, hasonlítanak össze biztosítási ajánlatokat, vagy vásárolnak adatokat egy kutató számára. A Cloudflare szerint ezért egy ügynök elutasítása azt is jelentheti, hogy az oldal egy potenciális ügyfelet utasít el.

Több kérés, kevesebb bevétel

A web korábbi üzleti modellje arra épült, hogy a keresők feltérképezték az oldalakat, majd látogatókat küldtek hozzájuk. A webhelyek ezeket a látogatókat hirdetésekkel, előfizetésekkel vagy vásárlásokkal tudták bevétellé alakítani.

Az AI-válaszadók megjelenésével ez az egyensúly felborult. Ezek a rendszerek elolvassák az oldalakat, majd összefoglalót adnak a felhasználónak, ami forgalmat és számítási kapacitást fogyaszt, de nem feltétlenül irányítja az embert az eredeti oldalra. Így elmaradhat a hirdetésmegjelenítés, a feliratkozás vagy a vásárlás.

A Cloudflare szerint a leggyakrabban feltérképezett kategóriák közül a kiskereskedelemben, a számítógépes szoftvereknél, az informatikai szolgáltatásoknál és a pénzügyi szolgáltatásoknál akár 40 százalékkal is csökkent az emberi forgalom kevesebb mint egy év alatt. Közben minden automatizált kérés sávszélességet, számítási kapacitást és eredeti kiszolgálói kapacitást igényel.

Külön kell választani a keresést, az ügynököket és a tanítást

A vállalat korábban az automatizált forgalom blokkolását javasolta, és 2025-ben azt ajánlotta, hogy az új domainek tiltsák le az AI-tanításra használt feltérképezőket. A Cloudflare adatai szerint 2025 tavaszán a feltérképezők kéréseinek 22 százaléka szolgált a megadott cél szerint AI-tanításra. 2026 júniusára ez az arány 52 százalékra nőtt.

A Cloudflare júliusban a korábbi, egyetlen AI-bot-blokkoló kapcsolót külön keresési, ügynök- és tanítási vezérlőkre cserélte. Ezek minden csomagban, a Free csomagban is elérhetők. A vállalat szerint a Cloudflare-t használó oldalak kevesebb mint 1 százaléka blokkolja a keresőrobotokat, miközben 17 százalékuk tiltja az AI-tanítási robotokat.

Szeptember 15-én a Cloudflare bevezette a Disallow AI Training beállítást. Ez lehetővé teszi, hogy egy oldal továbbra is szerepeljen a keresőben, miközben a robotspecifikus mechanizmusok jelzik az üzemeltetőnek, hogy az adatokat ne használja tanításra. Az Apple, a Google és a Microsoft vállalta ennek tiszteletben tartását.

Azonosíthatóbbá és fizetőssé tennék az ügynökforgalmat

A Cloudflare szerint az „AI-bot” megnevezés önmagában már nem elég informatív, mert a botok célja eltérő lehet. Az AI Crawl Control, a Business Insights és a BotBase a vállalat szerint megmutatja a webhelyüzemeltetőknek, hogy ki térképezi fel az oldalaikat, milyen tartalmakat vesz igénybe, mi tér vissza hozzájuk, és mely URL-ek iránt a legnagyobb az érdeklődés.

A Web Bot Auth segítségével az OpenAI, a Google és az AWS által működtetett ügynökök kriptográfiailag aláírhatják a kéréseiket. A Cloudflare szerint hetente több mint 500 milliárd ellenőrzött botkérés érkezik a hálózatán.

A vállalat augusztusban az ügynökalapú internetet olvashatóként, felfedezhetőként, hívhatóként és fizethetőként írta le. Ennek része a Pay Per Use modell, amelynél a fizetés a tartalom tényleges használatához kapcsolódik. A vevő ellenőrzött feltérképező, meghatározza, mit tekint használatnak és mennyit fizet érte, a kiadó pedig elfogadhatja vagy később visszautasíthatja az ajánlatot. A Cloudflare ellenőrzi a használatról szóló jelentéseket, számlázza a vevőt, majd kifizeti a kiadót.

A vállalat Monetization Gateway szolgáltatásának zárt bétatesztje jogosult amerikai Cloudflare-ügyfelek számára érhető el. A Rules nyelvvel szabályokat állíthatnak be, amelyek teljesülésekor a rendszer az x402 nyílt protokollon keresztül HTTP 402 Payment Required választ küld, és az ügynök közvetlenül fizet az eladónak.

A webhelyeknek új feltételeket kell kialakítaniuk

A Cloudflare értelmezése szerint a webhelyek előtt az a feladat áll, hogy különbséget tegyenek a keresőforgalom, az AI-tanítás és a ténylegesen ügyfélként viselkedő ügynökök között. A hirdetésekből élő oldalak például letilthatják a tanítást, és blokkolhatják az ügynököket azokon az oldalakon, ahol a hirdetés csak emberi megtekintés esetén termel bevételt.

A vállalat szerint az ügynökök által generált forgalom az emberi szokásokat követi, például heti ritmust mutat, és nyáron visszaesik. Az ügynökforgalom kezelése így közvetlenül összekapcsolódhat azzal, hogy az emberek milyen kérdéseket tesznek fel, milyen tartalmakat használnak, és milyen szolgáltatásokat vesznek igénybe.

A Cloudflare álláspontja szerint a jövőben nem egyetlen üzleti modell határozza meg az internetet. A kereső, a kutatási ügynök és a vásárlást lebonyolító ügynök eltérő értéket teremthet, ezért eltérő fizetési feltételekre lehet szükség. A cél az, hogy a webhelyek megtalálhatók maradjanak, miközben nagyobb rálátást és választási lehetőséget kapnak tartalmuk felhasználására.