Ett skönhetsmärke ökar sina BFCM-resultat genom annonsering inför ett evenemang

I denna studie utför Amazon Ads forskare ett A/B-test för att utvärdera om en kampanj inför ett viktigt evenemang (Black Friday och Cyber Monday) kan hjälpa till att öka övervägande och konvertering under själva evenemanget.

Ett tyskt skönhetsmärke som annonserade på Amazon under 2021 ville hitta sätt att förbättra resultaten av sin annonskampanj under Black Friday och Cyber Monday (BFCM). De var särskilt intresserade av att öka antalet informationssidvisningar, köpfrekvens per antal visningar (PR) och köpfrekvensen bland nya kunder.

För att uppnå dessa resultat utförde vi ett A/B-test som involverade två strategier under BFCM i syfte att avgöra vilken som gav bäst resultat:

Obs! Dessa resultatnyckeltal gäller en enda annonsör vid en tidpunkt och kan variera beroende på kontextuella och säsongsmässiga skillnader.

Vi fann att en Amazon Ads-kampanj inför BFCM ledde till ökat övervägande och ökad konvertering under själva evenemanget.

Testkampanjen överträffade kontrollkampanjen i alla tre nyckeltal.

• Maximera insikterna: Behöriga annonsörer kan enkelt köra experiment med en del av sin årliga budget. Genom att lägga till ett test i medieplanen kan annonsörer kan samla in vetenskapligt baserade insikter utöver standardrapporteringen för kampanjresultat.
• Anpassade insikter: Annonsörer kan generera anpassade insikter genom att köra test på sina faktiska kampanjer. Insikterna från experimenten kan hjälpa till att ytterligare validera Amazon Ads rekommendationer.
• Strikt genomförda experiment: Med hjälp av randomiserade, kontrollerade tester och statistisk analys fastslår vi kausalförhållandet mellan strategi och resultat.

1. Omvandla verksamhetens problem till en handlingsbar hypotes: (1) Leder annonsering inför BFCM till förbättrade informationssidvisningar, köpfrekvens per antal visningar (PR) och köpfrekvens bland nya kunder?
2. Fastslå måtten på framgång: (1) Ett statistiskt signifikant lyft tack vare användandet av flera beröringspunkter visar på värdet av displayannonsering via Amazon DSP inför BFCM. (2) Ett statistiskt signifikant lyft tack vare användandet av flera beröringspunkter. (3) Ett signifikant resultat indikerar att lyftet som observerats troligen berodde på strategin snarare än på slumpen. Ett testresultat som inte är statistiskt signifikant bör inte ses som bevis för att strategin faktiskt haft en effekt och innebär en återgång till den ursprungliga hypotesen, Det gick med andra ord inte att visa på någon skillnad mellan varianterna.
3. Utforma experimentet: (1) I detta experiment var teststrategin en två veckor lång kampanj inför BFCM följt av en BFCM-kampanj mellan 11 november 2021 och 29 november 2021. Kontrollstrategin kördes som en fristående BFCM-kampanj mellan 25 november 2021 och 29 november 2021. (2) Teststrategin var en remarketingkampanj inför evenemanget som marknadsförde produkter till relevanta målgrupper. (3) De flesta elementen i DSP-inställningarna (taktisk budget, marknadsförda och använda ASIN:er, annonsmaterial, frekvens, budgivning osv.) var desamma mellan varianterna. Budgetoptimering stängdes av under experimentet eftersom förändringar av budgeten kan innebära variationer utöver den variabel som ska testas.
4. Identifiera nyckeltal för experimentet (KPI:er): De huvudsakliga nyckeltalen i detta experiment var informationssidvisningar, köpfrekvens per antal visningar (PR) och köpfrekvens bland nya kunder. Vi kan mäta effekten på andra nyckeltal, men chansen att upptäcka signifikanta lyft är lägre för dessa eftersom experimentet inte är utformat med tanke på de sekundära nyckeltalen.
5. Uppskattning av experimentets stickprovsstorlek: I allmänhet innebär en större stickprovsstorlek bättre förutsättningar att skilja verklig effekt från slumpmässigt brus. Med hänsyn taget till en begränsad budget måste vi hitta en lagom stickprovsstorlek som uppnår en balans mellan kostnad och fördelarna med att upptäcka ett statistiskt signifikant resultat. Stickprovsstorleken uppskattas genom en effektanalys, som är baserad på 80–90 % statistisk effekt, 95 % konfidensnivå, 5 % signifikansnivå, baslinje för nyckeltal och minsta upptäckbara effekt. Dessa uppskattningar av stickprovsstorleken representerar rekommenderat minimum för statistisk signifikans.
6. Ställ in experimentet: Amazon Ads delar upp en målgrupp i två åtskilda grupper för att undvika överlappning.
7. Granska resultaten: I genomsnitt körs experiment under fyra veckor. Amazon Ads experimentgrupp kontrollerar experimentet efter halva tiden och tillhandahåller en analys efter att perioden för tillskrivning har avslutats. Annonsörer kan integrera insikter från experiment i framtida kampanjer för att förbättra resultaten.