Cómo una marca de belleza aumentó su desempeño en el BFCM a través de una estrategia previa al evento

En este estudio, los investigadores de Amazon Ads realizaron una prueba comparativa A/B para evaluar si al activar una campaña previa a un evento destacado (Black Friday y Cyber Monday) podría ayudar a impulsar una mayor consideración y conversión durante los eventos.

Una marca de belleza alemana que se anunció en Amazon en 2021 quería saber cómo podría mejorar el desempeño de su campaña publicitaria durante el evento de Black Friday y Cyber Monday (BFCM). De forma más específica, querían saber cómo podrían mejorar sus vistas de página de información de producto, el porcentaje de compras y el porcentaje de compras de clientes nuevos de la marca.

Para obtener los resultados, realizamos una prueba comparativa A/B entre dos estrategias durante el evento BFCM para determinar cuál de las dos tiene el mejor desempeño:

Nota: Estas estadísticas de desempeño se basan en un solo anunciante en un momento dado, y los resultados pueden variar debido a las diferencias contextuales y de temporada.

Descubrimos que activar una campaña de Amazon Ads previa al BFCM genera una mayor consideración y conversión durante el período del evento.

La campaña de prueba superó a la campaña de control en cada una de las tres estadísticas.

• Aprendizaje al máximo: Los anunciantes elegibles pueden realizar un experimento sin problemas utilizando una parte de su presupuesto anual. Al agregar una prueba al plan de medios, los anunciantes pueden recopilar insights científicos que van más allá de los reportes estándar de desempeño de las campañas.
• Insights personalizados: Los anunciantes pueden generar insights personalizados al hacer pruebas en sus campañas actuales. Los insights de experimento pueden ayudar a validar las recomendaciones de Amazon Ads.
• Rigurosidad del experimento: Mediante pruebas controladas aleatorias y análisis estadísticos, establecemos la causalidad entre la estrategia implementada y el resultado.

1. Traducir el problema empresarial a una hipótesis procesable: (1) ¿La publicidad en el período previo a BFCM mejora el porcentaje de vistas de la página de información de producto, el porcentaje de compras y el porcentaje de compras de clientes nuevos de la marca?
2. Definir cómo medir el éxito: (1) Un aumento estadísticamente significativo generado por los tratamientos multitáctiles, lo que demuestra el valor de la publicidad de display a través de Amazon DSP en el período previo al BFCM. (2) Un aumento estadísticamente significativo generado por uno de los tratamientos multitáctiles. (3) Un hallazgo significativo sugiere que el aumento observado probablemente es generado por el tratamiento y no por casualidad. Un resultado de prueba que no sea estadísticamente significativo debe ser tratado como evidencia deficiente para afirmar que existe un efecto de tratamiento y lógicamente pasa a ser una hipótesis nula, lo cual afirma que no hay diferencia entre las variantes probadas.
3. Diseñar el experimento: (1) En este experimento, la estrategia de prueba contenía una campaña previa al evento de dos semanas, seguida de una campaña de BFCM del 11 de noviembre de 2021 al 29 de noviembre de 2021. La estrategia de control se desarrolló como una campaña independiente del BFCM del 25 de noviembre de 2021 al 29 de noviembre de 2021. (2) En la estrategia de prueba se aprovechó una campaña de remarketing previa al evento, la cual promociona productos a audiencias relevantes. (3) La mayoría de los elementos (presupuesto táctico, ASIN promocionados y destacados, materiales creativos, frecuencia, pujas, etc.) de la configuración de DSP se reflejaron en los tratamientos. La optimización del presupuesto se desactivó durante la prueba, ya que los cambios de presupuesto pueden inducir variaciones más allá de lo que puede ser definido por la variable probada.
4. Identificar los indicadores clave de desempeño (KPI) del experimento: En esta prueba, el porcentaje de vistas de la página de información de producto, el porcentaje de compras y el porcentaje de compras de clientes nuevos de la marca fueron las estadísticas principales probadas. Pudimos medir el efecto en otras estadísticas, pero las posibilidades de detectar aumentos significativos son menores ya que la prueba no estaba diseñada para los KPI secundarios.
5. Calcular el tamaño de muestra del experimento: En general, un tamaño de muestra más grande permite que una prueba sea capaz de distinguir un efecto verdadero del ruido aleatorio. Dado a un presupuesto limitado, necesitábamos llegar a un tamaño de muestra deseable que equilibrara el costo y beneficio de detectar un resultado estadísticamente significativo. Calculamos el tamaño de la muestra mediante la ejecución de un análisis de potencia, que se basa en una potencia estadística del 80% al 90%, un nivel de confianza del 95%, un nivel de importancia del 5%, un KPI de punto de referencia y un efecto mínimo detectable. Estos cálculos del tamaño de muestra representan el tamaño mínimo recomendado para la significación estadística.
6. Configurar el experimento: Amazon Ads dividió una audiencia en grupos mutuamente excluyentes para evitar la contaminación cruzada.
7. Revisar los resultados: En promedio, los experimentos tienen una duración de cuatro semanas. El equipo de experimentación de Amazon Ads monitoreó el progreso en la mitad de la prueba y proporcionó un análisis final de prueba una vez que se cerró la ventana de atribución. Los anunciantes pueden incorporar los aprendizajes de esta experimentación en futuras campañas para mejorar el desempeño.