Marca de beleza melhora o desempenho na Black Friday/Cyber Monday por meio de uma estratégia de preparação

Neste estudo, os pesquisadores da Amazon Ads realizam um teste A/B para avaliar se a ativação de uma campanha de preparação antes de um evento principal (Black Friday e Cyber Monday) pode ajudar a aumentar a consideração e a conversão durante os eventos.

Uma marca de beleza alemã que fazia publicidade na Amazon em 2021 queria saber como poderia melhorar o desempenho de suas campanhas publicitárias durante o evento Black Friday e Cyber Monday (BFCM). Especificamente, eles queriam saber como melhorar as visualizações da página de detalhes, a taxa de compra e a taxa de compra de clientes novos para a marca.

Para obter os resultados, realizamos um teste A/B entre duas estratégias durante a Black Friday/Cyber Monday para determinar qual tem melhor desempenho:

Observação: Essas métricas de desempenho são baseadas em um único anunciante em um determinado momento, e os resultados podem variar devido às diferenças contextuais e de sazonalidade.

Descobrimos que ativar uma campanha de preparação na Amazon Ads antes da Black Friday/Cyber Monday gera maior consideração e conversão durante o período do evento.

A campanha de teste superou a campanha de controle em todas as três métricas.

• Aprendizado maximizado: Os anunciantes elegíveis podem realizar um experimento sem problemas usando uma parte de seu orçamento anual. Ao adicionar um teste ao plano de mídia, os anunciantes podem obter insights científicos que vão além dos relatórios padrão de desempenho da campanha.
• Insight personalizado: Os anunciantes podem gerar insights personalizados testando com suas campanhas reais. O insight do experimento pode ajudar ainda mais a validar as recomendações da Amazon Ads.
• Rigor do experimento: Por meio de testes controlados randomizados e análises estatísticas, estabelecemos a causalidade entre a estratégia implementada e o resultado.

1. Traduza o problema do negócio em uma hipótese viável: (1) A publicidade na preparação da Black Friday/Cyber Monday melhora a taxa de visualização da página de detalhes, a taxa de compra e a taxa de compra de clientes novos para a marca?
2. Defina a medida do sucesso: (1) Aumento estatisticamente significativo impulsionado pelo(s) tratamento(s) multitoque, demonstrando o valor dos anúncios de display por meio da Amazon DSP na preparação da Black Friday/Cyber Monday. (2) Elevação estatisticamente significativa impulsionada por um dos tratamentos multitoque. (3) Uma descoberta significativa sugere que o aumento observado provavelmente é impulsionado pelo tratamento e não pelo acaso. Um resultado de teste que não seja estatisticamente significativo deve ser tratado como evidência insuficiente para afirmar que existe um efeito de tratamento e, logicamente, assume a hipótese nula, alegando que não há diferença entre as variações testadas.
3. Projete o experimento: (1) Neste experimento, a estratégia de teste continha uma campanha de preparação de duas semanas seguida por uma campanha de Black Friday/Cyber Monday de 11 de novembro de 2021 a 29 de novembro de 2021. A estratégia de controle foi executada como uma campanha independente de Black Friday/Cyber Monday de 25 de novembro de 2021 a 29 de novembro de 2021. (2) A estratégia de teste aproveitou uma campanha de remarketing de preparação, que promove produtos para públicos-alvo relevantes. (3) A maioria dos elementos (orçamento tático, ASIN promovido e destacado, criativos, frequência, lances etc.) da configuração da DSP são espelhados nos tratamentos. A otimização do orçamento é desativada durante o teste, pois mudanças no orçamento podem induzir variações além do que pode ser definido pela variável testada.
4. Identifique os indicadores-chave de desempenho (KPI) do experimento: Neste teste, a taxa de visualização da página de detalhes, a taxa de compra e a taxa de compra de clientes novos para a marca são as principais métricas testadas. Podemos medir o efeito em outras métricas, mas as chances de detectar aumentos significativos são menores, pois o teste não é dimensionado para os KPIs secundários.
5. Estimativa do tamanho da amostra do experimento: Em geral, um tamanho de amostra maior permite que um teste distinga melhor um efeito real de um ruído aleatório. Com um orçamento limitado, precisamos chegar a um tamanho de amostra desejável que equilibre o custo e o benefício de detectar um resultado estatisticamente significativo. Estimamos o tamanho da amostra executando uma análise de poder, que é baseada no poder estatístico de 80% a 90%, no nível de confiança de 95%, no nível de significância de 5%, na linha de base do KPI e no efeito mínimo detectável. Essas estimativas do tamanho da amostra representam o mínimo recomendado para significância estatística.
6. Configure o experimento: A Amazon Ads divide o público-alvo em grupos mutuamente exclusivos para evitar contaminação cruzada.
7. Resultados da análise: Em média, os experimentos duram quatro semanas. A equipe de experimentação da Amazon Ads monitora o progresso do teste intermediário e fornece uma análise de final do teste após o fechamento da janela de atribuição. Os anunciantes podem incorporar experiências aprendidas em campanhas futuras para melhorar o desempenho.