Beautymerk verbetert de BFCM-prestaties door middel van een voorbereidende strategie

In dit onderzoek voeren onderzoekers van Amazon Ads een A/B-test uit om te beoordelen of het activeren van een voorbereidende campagne voorafgaand aan een tentpole-evenement (Black Friday en Cyber Monday) kan helpen zorgen voor meer overweging en conversie tijdens de evenementen.

Een Duits beautymerk dat in 2021 op Amazon adverteerde, wilde weten hoe ze de prestaties van hun advertentiecampagne kunnen verbeteren tijdens het Black Friday- en Cyber Monday (BFCM)-evenement. Ze wilden met name weten hoe ze hun gegevenspaginaweergaven, aankooppercentage en aankooppercentage new-to-brand kunnen verbeteren.

Om de resultaten te realiseren, hebben we tijdens BFCM een A/B-test uitgevoerd tussen twee strategieën om te bepalen welke beter presteert:

Opmerking: Deze prestatiestatistieken zijn gebaseerd op één enkele adverteerder op een bepaald moment en de resultaten kunnen variëren als gevolg van contextuele en seizoensgebonden verschillen.

We hebben vastgesteld dat het activeren van een Amazon Ads-campagne voorafgaand aan BFCM leidt tot meer overweging en conversie tijdens de evenementperiode.

De testcampagne presteerde beter dan de controlecampagne in alle drie de statistieken.

• Gemaximaliseerd leren: Adverteerders die hiervoor in aanmerking komen, kunnen naadloos een experiment uitvoeren met een deel van hun jaarlijkse budget. Door een test toe te voegen aan het mediaplan, kunnen adverteerders wetenschappelijke inzichten verzamelen die verder gaan dan de standaard rapportage over campagneprestaties.
• Inzicht op maat: Adverteerders kunnen op maat gemaakte inzichten genereren door te testen met hun daadwerkelijke campagnes. Het inzicht in het experiment kan verder helpen bij het valideren van Amazon Ads-aanbevelingen.
• Nauwkeurig experimenteren: Door middel van gerandomiseerde gecontroleerde tests en statistische analyses stellen we een causaliteit vast tussen de geïmplementeerde strategie en de uitkomst.

1. Vertaal het zakelijke probleem naar een uitvoerbare hypothese: (1) Verbetert adverteren in de aanloop naar BFCM het weergavepercentage van gegevenspagina's, het aankooppercentage en het aankooppercentage new-to-brand?
2. Definieer de mate van succes: (1) Statistisch significante stijging dankzij de multitouch-behandeling(en), wat de waarde aantoont van display-advertenties via Amazon DSP in de aanloop naar BFCM. (2) Statistisch significante stijging dankzij een van de multi-touch-behandelingen. (3) Een belangrijke bevinding suggereert dat de waargenomen stijging waarschijnlijk wordt veroorzaakt door de behandeling in plaats van door toeval. Een testresultaat dat niet statistisch significant is, moet worden beschouwd als onvoldoende bewijs om te beweren dat er een behandelingseffect bestaat. Logischerwijs wordt er dan uitgegaan van de nulhypothese, waarbij wordt beweerd dat er geen verschil is tussen de geteste varianten.
3. Ontwerp het experiment: (1) In dit experiment omvatte de teststrategie een voorbereidende campagne van twee weken, gevolgd door een BFCM-campagne van 11 november 2021 tot 29 november 2021. De controlestrategie liep van 25 november 2021 tot 29 november 2021 als een standalone BFCM-campagne. (2) De teststrategie maakte gebruik van een voorbereidende remarketingcampagne, waarbij producten worden gepromoot bij relevante doelgroepen. (3) De meeste elementen (tactisch budget, gepromoot en aanbevolen ASIN, creatives, frequentie, biedingen, enz.) van de DSP-installatie worden in alle behandelingen weerspiegeld. Budgetoptimalisatie wordt tijdens de test uitgeschakeld, omdat budgetverschuivingen kunnen leiden tot afwijkingen die verder gaan dan wat kan worden gedefinieerd door de geteste variabele.
4. Identificeer de Key Performance Indicators (KPI's) van het experiment: In deze test zijn het weergavepercentage van de gegevenspagina's, aankooppercentage en aankooppercentage new-to-brand de belangrijkste statistieken die worden getest. We kunnen het effect op andere statistieken meten, maar de kans om significante verhogingen te detecteren is kleiner omdat de test niet is afgestemd op de secundaire KPI's.
5. Schatting van de steekproefomvang van het experiment: Over het algemeen maakt een grotere steekproefomvang het voor een test beter mogelijk om een echt effect te onderscheiden van willekeurige ruis. Gezien het beperkte budget moeten we tot een gewenste steekproefomvang komen die de kosten en baten van het detecteren van een statistisch significant resultaat in evenwicht houdt. We schatten de steekproefomvang door een vermogensanalyse uit te voeren, die is gebaseerd op 80% tot 90% statistisch vermogen, 95% betrouwbaarheidsniveau, 5% significantieniveau, KPI-basislijn en minimaal detecteerbaar effect. Deze schattingen van de steekproefomvang vormen het aanbevolen minimum voor statistische significantie.
6. Experiment opzetten: Amazon Ads verdeelt een doelgroep in groepen die elkaar uitsluiten om kruisbesmetting te voorkomen.
7. Resultaten bekijken: Experimenten duren gemiddeld vier weken. Het experimentele team van Amazon Ads houdt de voortgang halverwege de test in de gaten en maakt een analyse aan het einde van de test nadat het attributievenster is gesloten. Adverteerders kunnen bevindingen uit experimenten integreren in toekomstige campagnes om de prestaties te verbeteren.