Az AI elapasztja a webes forgalmat, a megbízható információ is sérülhet

Felbomlóban a keresők és a weboldalak régi megállapodása

Az internet elmúlt 30 évét egy informális megállapodás határozta meg: a weboldalak engedték, hogy a keresők hozzáférjenek a tartalmukhoz, a keresők pedig hivatkozásokkal látogatókat irányítottak vissza ezekre az oldalakra. A tartalomkészítők így forgalomhoz, reklámbevételhez és más bevételi lehetőségekhez jutottak.

Az AI-eszközök más módon használják a webet. A webhelyeket gyakran nem azért járják be, hogy a felhasználókat az eredeti oldalra küldjék, hanem azért, hogy modelleket tanítsanak, vagy válaszokat állítsanak elő. A ChatGPT válaszai és a Google AI Overviews összefoglalói továbbra is tartalmazhatnak forráslinkeket, de ezek az ARC Centre of Excellence for ADM+S szerint inkább kiegészítő szerepet kapnak a fő válasz mellett.

Az AI-crawlerek a hagyományos webes feltérképezőknél mélyebben és intenzívebben is bejárhatják az oldalakat. Ez költséget jelenthet az üzemeltetőknek, miközben az AI-forgalom nem feltétlenül hozza meg azt a reklám- vagy más bevételt, amelyet a valódi látogatók generálnának.

Egyre több oldal tilthatja az AI-crawlereket

A webhelyek a robots.txt fájllal kérhetik a keresőktől és más feltérképezőktől, hogy ne járják be az oldalaikat. A forrás szerint azonban egyes AI-cégek figyelmen kívül hagyhatják ezt a kérést. Ha a tiltást betartják, az újabb problémát okozhat: a jó minőségű tartalmak kevésbé kerülnek be az AI-válaszokba, miközben a félretájékoztatást tartalmazó oldalak kisebb eséllyel blokkolják a crawlereket.

A Cloudflare, amely az internet legnagyobb 10 ezer webhelyének legalább 30 százalékát kezeli, úgy becsüli, hogy a webforgalom több mint fele már AI-botoktól származik. Ennek egy része közvetlenül emberek által felügyelt AI-ügynökökhöz köthető, többségét azonban feltérképező programok adják.

A Cloudflare közlése szerint szeptember 15-től alapértelmezés szerint blokkolja az AI-crawlereket azokon a hirdetéseket tartalmazó oldalakon, amelyeket a szolgáltatása kezel. A forrás szerint ez azt jelentheti, hogy a világ legnagyobb webhelyeinek akár 30 százaléka sem jelenik meg a Google AI Overviews összefoglalóiban.

A felhasználók rosszabb AI-válaszokat kaphatnak

A forrás egy „Google Zero” néven emlegetett helyzetet is felvázol, amikor a Google felől érkező átkattintásos forgalom nullára csökken. A Google AI-összefoglalóinak megjelenése után az angol nyelvű Wikipedia forgalma gyorsan visszaesett, és hasonló mintát figyeltek meg más nyelveknél is, amikor az összefoglalókat bevezették.

Az elemzés szerint az AI-összefoglalók minősége rövid távon romolhat. Ennek egyik oka, hogy a jó minőségű tartalmak kisebb eséllyel jutnak el ezekbe a válaszokba. Egy friss tanulmány alapján már most körülbelül minden hatodik, AI-keresők által használt forrás maga is AI által létrehozott webhely.

A másik kockázat a modellösszeomlásnak nevezett jelenség. Ha a modelleket egyre több AI által készített szövegen tanítják, a kimenetük minősége romolhat. A forrás szerint ezért megbízhatóbbá válhatnak azok a keresők, amelyek kevésbé támaszkodnak AI-ra. A Mojeeket a ZDNet, a Brave-et a PCMag ajánlja, a Ban the Bots pedig több alternatívát is felsorol.

Az ARC Centre of Excellence for ADM+S szerzői jelenleg azt tanácsolják, hogy a felhasználók az AI-válaszok mellett görgessenek le a tényleges keresési találatokhoz, és kattintsanak meg néhány eredeti oldalra. Ez támogatja a tartalomkészítőket, és nagyobb eséllyel vezet pontosabb információhoz.