A Cloudflare szerint az internetnek már két közönsége van

Megduplázódott a kérések száma

A Cloudflare szeptember 30-án közzétett elemzése szerint a vállalat 2024 végén másodpercenként átlagosan 63 millió HTTP-kérést kezelt. Ez a szám mára csaknem megduplázódott, 115 millióra nőtt, a csúcsok pedig meghaladják a 150 milliót. Az elmúlt évben a Cloudflare hálózatán az AI-ügynököktől érkező napi kérések száma több mint 1700 százalékkal emelkedett.

A cég szerint idén először fordult elő, hogy az internetes forgalom több mint fele nem emberi eredetű volt. Ezek az ügynökök szoftverek, amelyek egy ember megbízásából járnak el. Például asztalt foglalhatnak, biztosítási ajánlatokat hasonlíthatnak össze, vagy egy kutató számára adatállományt vásárolhatnak. A Cloudflare értelmezésében ezért az ilyen forgalom egy része ügyfélforgalom, még akkor is, ha maga a látogató nem ember.

A több forgalom nem feltétlenül jelent több bevételt

A web hagyományos működése arra épült, hogy a keresők feltérképezték az oldalakat, majd látogatókat küldtek hozzájuk. A webhelyek ezeket a látogatókat hirdetésekkel, előfizetésekkel vagy értékesítéssel tudták bevétellé alakítani. Az AI-válaszrendszerek azonban gyakran összefoglalják az oldal tartalmát anélkül, hogy a felhasználót az eredeti webhelyre irányítanák.

A Cloudflare szerint egyes, sokat feltérképezett területeken, például a kiskereskedelemben, a számítástechnikai szoftvereknél, az IT- és szolgáltatási szektorban, valamint a pénzügyi szolgáltatásoknál a humán forgalom egy éven belül akár 40 százalékkal is csökkent. Közben minden automatizált kérés sávszélességet, számítási kapacitást és eredeti szerverkapacitást használ. A cég szerint a kérésenkénti bevétel csökken, a költségek pedig emelkednek.

A vállalat korábban minden automatizált forgalom blokkolását javasolta bizonyos esetekben. 2025 tavaszán a Cloudflare által látott robotkérések 22 százaléka AI-betanítási célú volt a robotok által megadott cél szerint. 2026 júniusára ez az arány 52 százalékra nőtt. A Cloudflare most úgy látja, hogy az általános tiltás nem kezeli megfelelően a keresési, betanítási és ügynöki használat közötti különbségeket.

Ellenőrzés, szabályozás és fizetős hozzáférés

A Cloudflare AI Crawl Control, Business Insights és BotBase eszközei azt mutatják meg az oldal üzemeltetőinek, hogy ki és mit kér le, mely URL-ek iránt van a legnagyobb érdeklődés, valamint mi tér vissza a kérésekre. A Web Bot Auth segítségével többek között az OpenAI, a Google és az AWS kriptográfiailag aláírhatja az ügynökei kéréseit. A Cloudflare szerint hetente több mint 500 milliárd ellenőrzött robotkérést látnak.

Júliusban a vállalat az egyetlen, AI-robotok tiltására szolgáló kapcsolót külön Search, Agent és Training beállításokra cserélte. Ezek minden csomagban, az ingyenesben is elérhetők. A Cloudflare adatai szerint a webhelyek kevesebb mint 1 százaléka tiltja a keresőrobotokat, miközben 17 százalékuk tiltja a betanítást. Szeptember 15-én elindult a Disallow AI Training, amely lehetővé teszi, hogy egy oldal kereshető maradjon, miközben az üzemeltető megtiltja adatainak betanítási felhasználását. A vállalat szerint ennek betartását az Apple, a Google és a Microsoft is vállalta.

A Cloudflare augusztusban ismertetett Pay Per Use modellje azt célozza, hogy a tartalomtulajdonosok akkor kapjanak pénzt, amikor egy AI-rendszer ténylegesen felhasználja a tartalmukat. A vevő jelentést készít a felhasználásokról, a Cloudflare ellenőrzi ezeket, majd kiszámlázza a vevőt és kifizeti a kiadót. A kiadók megtekinthetik, mit használtak fel, mikor történt a felhasználás, és mennyit kerestek.

A vállalat Monetization Gateway szolgáltatásának zárt bétatesztje az arra jogosult, egyesült államokbeli Cloudflare-ügyfelek számára teszi lehetővé, hogy árat szabjanak a rajtuk áthaladó tartalomnak. Illeszkedő szabály esetén a rendszer az open x402 protokollon keresztül HTTP 402 Payment Required választ küld, az ügynök pedig közvetlenül az eladónak fizet.