リードアップ戦略によりブラックフライデーサイバーマンデーのビューティーブランドのパフォーマンスが向上

この事例では、Amazon AdsのリサーチャーがA/Bテストを実施して、ショッピングイベント（ブラックフライデーとサイバーマンデー）期間前にリードアップキャンペーンを実施することで、イベント期間中の検討とコンバージョンを促進できるかどうかを評価しています。

2021年、Amazonに広告を掲載しているドイツのビューティーブランドが、ブラックフライデーとサイバーマンデー（BFCM）のイベント期間中に広告キャンペーンのパフォーマンスを向上させたいと考えていました。具体的には、商品詳細ページの閲覧数、購入率、ブランド新規顧客の購入率の向上方法について知りたいと考えていました。

結果を把握するために、ブラックフライデーサイバーマンデーの期間中、2つの戦略のA/Bテストを実施して、どちらの戦略のパフォーマンスが優れているかを判断することにしました。

注： これらのパフォーマンス指標は単一の広告主のある時点に基づくものであり、状況や季節の違いにより結果が異なる場合があります。

ブラックフライデーサイバーマンデー期間前にAmazon Adsでリードアップキャンペーンを実施することで、イベント期間中の検討とコンバージョンが向上することが判明しました。

テストキャンペーンは、3つの指標すべてにおいて、コントロールキャンペーンを上回りました。

• 学習効果の最大化： 対象となる広告主様は、年間予算の一部を使ってシームレスにテストを実施することができます。メディアプランにテストを追加することで、広告主様は標準的なキャンペーンパフォーマンスレポート以上の科学的インサイトを収集できます。
• カスタマイズされたインサイト： 広告主様は、実際のキャンペーンでテストすることで、カスタマイズされたインサイトを生成できます。テストに基づいたインサイトは、Amazon Adsの推奨事項を検証するうえでさらに役立ちます。
• 検証の厳密性： ランダム化比較テストと統計分析を通じて、導入した戦略と結果間の因果関係を確立します。

1. ビジネス上の問題を、実行可能な仮説に変換する： （1）ブラックフライデーサイバーマンデー期間前の広告掲載によって、商品詳細ページの閲覧率、購入率、ブランド新規顧客の購入率が向上するか？
2. 成功の尺度を定義する： （1）マルチタッチ処理により統計的に有意な上昇率が見られる。これは、ブラックフライデーサイバーマンデー期間前のAmazon DSPでのディスプレイ広告の価値を示す。（2）マルチタッチ処理のいずれかにより統計的に有意な上昇率が見られる。（3）有意な調査結果は、観察された上昇は偶然ではなくこの処理によるものである可能性が高いことが示唆される。統計的に有意でないテスト結果は、この処理の効果が存在すると主張するには証拠が不十分であり、論理的には帰無仮説として扱うべきで、テスト対象のバリエーション間に差はないということが言える。
3. 検証の設計： （1）この検証では、テスト戦略には2週間のリードアップキャンペーンと、その後に続く2021年11月11日から2021年11月29日までのブラックフライデーサイバーマンデーキャンペーンを含めました。コントロール戦略では、2021年11月25日から2021年11月29日の期間にのみブラックフライデーサイバーマンデーキャンペーンを実施しました。（2）テスト戦略では、リードアップリマーケティングキャンペーンを活用して、関連性の高いオーディエンスに商品を宣伝しました。（3）DSP設定のほとんどの要素（戦術予算、広告掲載/おすすめのASIN、クリエイティブ、頻度、入札額など）は、複数の処理に反映しました。予算の変動により、テスト対象の変数で定義できる範囲を超える差異が生じる可能性があるため、テスト期間中は予算の最適化はオフにします。
4. 検証における注目すべきパフォーマンス指標（KPI）の特定： このテストでは、商品詳細ページの閲覧率、購入率、ブランド新規顧客の購入率が、テスト対象となる主要な指標です。他の指標への影響を測定することもできますが、テストは二次的なKPIを対象としていないため、有意な上昇を検出する可能性は低くなります。
5. 検証サンプルサイズの推定： 一般に、サンプルサイズが大きいほど、テストでは実際の効果とランダムノイズを区別しやすくなります。予算が限られているため、統計的に有意な結果を検出するうえで費用とメリットのバランスが取れた、望ましいサンプルサイズを決定する必要があります。サンプルサイズは、80%～90%の統計的検出力、95%の信頼水準、5%の有意水準、KPIのベースライン、および検出可能な最小効果に基づく検出力分析を実行することで推定します。これらのサンプルサイズの推定値は、統計的有意性の推奨最小値となります。
6. 検証の設定： Amazon Adsは、検証の交差汚染を防ぐために、オーディエンスを相互に排他的なグループに分割します。
7. 結果の確認： 検証は平均4週間実施します。Amazon Adsの検証チームは、テスト途中の進捗状況をモニタリングし、アトリビューション期間が終了した後にテスト終了時の分析を行います。広告主様は、検証による学習内容を今後のキャンペーンに組み込み、パフォーマンスの向上に役立てることができます。