A kontrollcsoport szerint 28 százalékkal nőtt a Google Shopping bevétele

Kontrollcsoport nélkül nehéz mérni a hatást

A Lily AI 2026. augusztus 25-én közzétett módszertani összefoglalója szerint egy termékadatfolyam, vagyis feed optimalizálásának hatását csak kontrollcsoporttal lehet megbízhatóan elkülöníteni más piaci hatásoktól. Egy bevételnövekedés mögött ugyanis egyaránt állhat promóciós e-mail, egy versenytárs készlethiánya vagy egy platformfrissítés.

A vállalat szerint a vásárlói út több felületen zajlik. Ugyanazt a terméknyelvet olvassa a Google Shopping, a Meta Advantage+, a webhelyek keresője és az AI-asszisztensek rendszere is. A Lily AI a Semrush adataira hivatkozva azt írja, hogy az amerikai vásárlók 22 százaléka már vásárolt AI-eszközön belül, 50 százalékuk pedig máshol vásárolt, miután egy ilyen eszközben tájékozódott. Ez utóbbi csoport egy része nem jelenik meg a hagyományos analitikai adatokban.

A platform saját jelentése ezért önmagában nem bizonyítja, hogy a feed módosítása hozta az eredményt. A Lily AI szerint ehhez kontrollcsoport, azonos költés és különbségek különbsége módszerű kiértékelés szükséges.

Így épül fel a kontrollált teszt

A vizsgálatban pontosan egy dolgot kell megváltoztatni, a terméknyelvi bemenetet, a katalógus egyik, a másikkal összevethető felében. A termékeket először olyan jellemzők szerint kell csoportosítani, amelyek a nyelvi minőségtől függetlenül hatnak a bevételre. Ilyen lehet a kategória, az ársáv, a konverziós arány, a készlet mélysége és a korábbi bevétel. Ezután minden csoporton belül kell kialakítani a teszt- és kontrollágat.

A kezelt csoportban átírják a címeket, a vásárlók által használt szavakhoz igazítják a jellemzőket, módosítják a terméktípus és a taxonómia hozzárendelését, valamint a leírás nyelvét. A kontrollcsoport termékadatai változatlanok maradnak.

Közben mindkét oldalon rögzíteni kell a liciteket, a költségkeretet, a licitstratégiát, a kampányszerkezetet, a célzást, a földrajzi beállításokat, a céloldalakat, az árakat, a promóciókat, a kreatívokat, a feed szabályait, a szállítási beállításokat és a készletelérhetőséget. A költés rögzítése különösen fontos. Ha a jobban teljesítő csoport több pénzt kap, a mérés a költségkeret hatását is a nyelvi módosításnak tulajdoníthatja.

A Lily AI 28 napos tesztablakot használ olyan időtávként, amely lefedhet legalább egy teljes vásárlási ciklust, és időt adhat az újralekérdezett termékoldalak megjelenésének stabilizálódására. Az eredményt a kezelt csoport változásából le kell vonni a kontrollcsoport ugyanazon időszakban mért változását. Így kiszűrhető például az a hatás, amely egy egész kategória szezonális erősödéséből adódik.

Három felületen is pozitív eredményt mértek

A Lily AI közlése szerint a Google Shoppingon végzett, azonos költésű A/B teszt 28 napos kontrollidőszak mellett 28 százalékos bevételnövekedést mutatott a változatlan kontrollcsoporthoz képest. A Meta Advantage+ holdout tesztjét a Meta saját Conversion Lift mérésével is összevetették, és 21,4 százalékos ROAS javulást kaptak. A kiskereskedő saját webhelyén végzett, statisztikailag szignifikáns A/B teszt 28,3 százalékos helyszíni bevételnövekedést jelzett.

A vállalat azt írja, hogy a benchmark közzététele előtt több mint 1000 ilyen kontrollált tesztet futtatott. A három eredmény három különálló kontrollcsoportra és három külön mérésre épült. A Meta esetében a független holdout és a Meta saját módszertana egy irányba mutatott, ami a Lily AI szerint erősebb ellenőrzést jelent, mint bármelyik mérés önmagában.

A százalékos eredmény mellett a konfidenciaintervallumot is vizsgálni kell. Ez mutatja meg, milyen tartományban lehet a tényleges hatás a megfigyelések alapján. A Lily AI három adatot javasol bekérni: hány konverziót elérő termék szerepelt az egyes ágakban, milyen széles az intervallum, és hol található az alsó határa. A széles intervallum kis vagy rövid tesztből is következhet, a hiányzó intervallum viszont nem teszi ellenőrizhetővé a fő állítást.

A 28 százalék nem általános ígéret

A mért eredmények nem jelentik azt, hogy minden katalógus átírása 28 százalékos növekedést hoz. A hatás függ attól, mennyire tér el a kiinduló katalógus nyelve a vásárlók által használt kifejezésektől. A már eleve vásárlói nyelven megírt termékadatoknál kisebb lehet a további javulás lehetősége.

A teszt azt sem mutatja meg, hogy külön-külön mennyit számítottak a címek, a jellemzők lefedettsége és a taxonómia, mert ezeket együtt módosították. Az eredmény nem vihető át automatikusan más kategóriákra sem. A ruházati, szépségápolási és otthoni termékek eltérő keresési viselkedést és jellemzőszókincset használhatnak. A 28 nap alatt mért hatás továbbá nem bizonyít tartós eredményt, és a költségmarzsról sem ad választ.

A feed optimalizálásának megtérülését a különbségek különbsége módszerrel kiszámított többletbevételt kell elosztani a munka teljes költségével, a belső munkaórákat is beleszámítva. Pénzügyi döntéshez a Lily AI a bruttó bevétel helyett a hozzájárulási marzs használatát javasolja. A felhasználók és a vállalatok számára ez azt jelenti, hogy egy szolgáltató fő százalékos ígérete helyett a kontrollcsoportot, az azonos költést, a tesztidőszakot és az intervallum alsó határát kell ellenőrizni.