Une marque de produits de beauté améliore sa performance du VFCL (vendredi fou cyber lundi) grâce à une stratégie en amont

Dans cette étude les chercheurs d'Amazon Ads réalisent un essai A/B pour évaluer si l'activation d'une campagne en amont d’un événement majeur (Vendredi fou et Cyberlundi) peut contribuer à stimuler la considération et la conversion pendant les événements.

Une marque de produits de beauté allemande faisant de la publicité sur Amazon en 2021 voulait savoir comment améliorer la performance de ses campagnes publicitaires lors de l'événement Vendredi fou et Cyberlundi (VFCL). Plus précisément, elle voulait savoir comment améliorer ses vues de pages de détails, son taux d'achat et son taux d'achat pour les clients issus de nouvelles associations à la marque.

Pour obtenir les résultats, nous avons effectué un essai A/B entre deux stratégies au cours de VFCL (vendredi fou cyber lundi) afin de déterminer laquelle fonctionne le mieux :

Remarque : Ces statistiques de performance sont fondées sur un seul annonceur à un moment donné, et les résultats peuvent varier en raison des différences contextuelles et saisonnières.

Nous avons constaté que l'activation d'une campagne Amazon Ads en amont de VFCL entraîne une plus grande considération et une plus grande conversion pendant la période de l'événement.

La campagne d’essai a surpassé la campagne de contrôle pour les trois statistiques.

• Apprentissage maximisé : Les annonceurs admissibles peuvent mener une expérience de façon transparente en utilisant une partie de leur budget annuel. En ajoutant un essai au plan médias, les annonceurs peuvent recueillir des données scientifiques qui vont au-delà des rapports standards sur la performance des campagnes.
• Données personnalisées : Les annonceurs peuvent générer des données personnalisées en effectuant des essais sur leurs campagnes réelles. Les données tirées de l’expérience peuvent également aider à valider les recommandations Amazon Ads.
• Rigueur de l'expérience : Au moyen d’essais contrôlés aléatoires et d'analyses statistiques, nous établissons la causalité entre la stratégie mise en œuvre et le résultat.

1. Transposer le problème commercial en une hypothèse exploitable : (1) La publicité en amont de VFCL améliore-t-elle le taux de vues de la page de détails, le taux d'achat et le taux d'achat de clients issus de nouvelles associations à la marque?
2. Définir la mesure du succès : (1) Une augmentation statistiquement significative générée par le ou les traitements multipoints, démontrant la valeur de la publicité display via Amazon DSP en amont de VFCL. (2) Une augmentation statistiquement significative générée par l'un des traitements multipoints. (3) Une constatation importante donne à penser que l’augmentation observée est probablement attribuable au traitement plutôt qu'au hasard. Un résultat d'essai qui n'est pas statistiquement significatif doit être considéré comme une preuve insuffisante pour affirmer qu'il existe un effet de traitement et doit être considéré logiquement comme revenant à l'hypothèse nulle, à savoir ne montrer aucune différence entre les variations mises à l’essai.
3. Concevoir l'expérience : (1) Dans cette expérience, la stratégie d’essai comprenait une campagne en amont de deux semaines suivie d'une campagne VFCL du 11 au 29 novembre 2021. La stratégie de contrôle s'est déroulée comme une campagne VFCL autonome du 25 au 29 novembre 2021. (2) La stratégie d'essai a mis à profit une campagne de marketing de relance en amont, faisant la promotion des produits auprès d'auditoires pertinents. (3) La plupart des éléments (budget tactique, ASIN promu et mis en vedette, créations publicitaires, fréquence, enchères, etc.) de la configuration DSP sont reflétés d'un traitement à l'autre. L'optimisation budgétaire est désactivée pendant l'essai, car les changements budgétaires peuvent entraîner des écarts au-delà de ce qui peut être défini par la variable testée.
4. Identifier les indicateurs clés de performance (ICP) de l'expérience : Dans cet essai, le taux de vues de la page de détails, le taux d'achat et le taux d'achat de clients issus de nouvelles associations à la marque sont les principales statistiques mises à l’essai. Nous pouvons mesurer l'effet sur d'autres statistiques, mais les chances de détecter des augmentations significatives sont plus faibles puisque l’essai n'a pas été conçu pour les indicateurs clés de performance secondaires.
5. Estimation de la taille de l'échantillon de l'expérience : En général, une plus grande taille d'échantillon permet à un essai de faire la distinction entre un effet réel et un bruit aléatoire. Compte tenu de notre budget limité, nous devons parvenir à une taille d'échantillon souhaitable qui équilibre les coûts et les avantages de la détection d'un résultat statistiquement significatif. Nous estimons la taille de l'échantillon en effectuant une analyse de puissance fondée sur une puissance statistique de 80 à 90 %, un niveau de confiance de 95 %, un niveau de signification de 5 %, un indicateur clé de performance de référence et un effet minimal détectable. Ces estimations de la taille de l'échantillon représentent le minimum recommandé pour ce qui est de la signification statistique.
6. Mettre en place l'expérience : Amazon Ads divise un auditoire en groupes mutuellement exclusifs afin de prévenir la contamination croisée.
7. Résultats de l'examen : En moyenne, les expériences durent quatre semaines. L'équipe d'expérimentation Amazon Ads surveille la progression de l’essai à mi-parcours et fournit une analyse de fin d’essai après la fermeture de la fenêtre d'attribution. Les annonceurs peuvent intégrer les leçons tirées de l'expérimentation dans les campagnes futures afin d'améliorer leur performance.