論文の背景： Kelly Paulsonはアルゴリズムを用いてビジネスユニット全体で学習機会を特定しています

Kelly Paulsonは大学院を卒業後すぐにAmazonに就職しました。彼女はカリフォルニア大学サンディエゴ校で経済学の博士号を取得しており、最初のうちはAmazonでの仕事を新たなステップに進む前の「お楽しみ」と捉えていました。しかし、離れられなくなるほどAmazonを気に入ってしまい、11年後にはAmazon Adsのエコノミストおよび応用科学者のシニアマネージャーに就任しました。彼女が共同執筆した論文「予算配分のためのマルチタスク組み合わせバンディット」は、2024年のAdKDDカンファレンスで最優秀論文賞を受賞しました。ここでは、Kellyがこの論文と、Amazon Adsでの彼女の仕事についてお話しします。

私がAmazon Kindleチームに加わったのは、卒論を完成させたばかりの2013年でした。これは、Amazonが新卒の若手エコノミストの採用を開始した年です。私はAmazonのデータに魅了されました。私は人々がどのように選択を行うかを読み取るための統計的手法に取り組んできましたが、Amazonにはもちろん、選択を行う人々に基づく世界最大規模のデータセットが構築されていました。

当時、私はテクノロジー、政府、学術の分野から仕事のオファーを受けており、シアトルに長期滞在するとは思っていませんでした。しかし、Amazonの豊富なデータを体感してみたくなり、オファーを先延ばしにして1年間ここで楽しもうと考えたのです。その1年が終わる頃には、この仕事が大好きになり、Amazonに残ることを決めました。私はAmazonの中でも、極めて大規模なデータセットから情報を抽出する方法について検討している人々が多くいる部門に移ることを希望し、効果測定に携わる最初の科学者としてAmazon Adsに異動しました。

私は、お客様が広告によってどのように影響を受けたか、そしてその情報を広告最適化システムにどのように伝達するかを理解することに重点を置きました。Amazon独自のシグナルは、当社のバリュープロポジションの中心です。靴の広告を、その靴の購入により高い関心を持っているお客様に表示できているでしょうか？ 同様の傾向を持つお客様に、翌日も同じ広告を表示する機会があれば、その機会を活かすべきでしょうか？

しかし、その中で重要なのは、どうすれば広告主にとって有益な方法でインサイトを要約できるかという点でした。彼らに有益な費用対効果を計算することは可能でしょうか？ 広告主たちは、新学期キャンペーンから何を学び、それをホリデーキャンペーンに活かすことができるでしょうか？

広告主がより有益なコンテンツを適切なタイミングで買い物客に提供できるように支援することで、Amazonが買い物客と広告主を共同で最適化する方法を考え始めた初期の頃でした。

私のバックグラウンドは計量経済学理論で、特に量的マーケティングにおける因果モデルに焦点を当てています。ここ数年は、因果関係を示すシグナルを作成して、それをマーケティング上の意思決定を行う幅広いシステムに送り込む方法に強い関心を抱いています。

因果関係の測定と強化学習が交わるのは、Amazonのとてもユニークな特徴です。Amazonのスケールはとても大きいので、意思決定を行うには強化学習などのツールを多数使用する必要があります。Amazonはデータ主導型の企業であり、相関シグナルではなく因果シグナルに基づいて意思決定を行いたいと考えています。

他の企業は通常、どちらか一方に焦点を当てています。この交わりはとても興味深く、将来的には広く普及するでしょう。Amazonはその分野の最前線にいます。

テクノロジー業界ではよくあることですが、Amazon独自のニーズを利用して、最終的に外部に販売する可能性のある新しいプロダクトの圧力テストを行っています。私は広告部門に所属していますが、広告以外のさまざまなAmazonビジネスのマーケティングにも携わっています。たとえば、新しいPrime Videoシリーズに対するコンテンツストリーマーの認知度を高めたり、ホリデーセールについてお客様の認知度を高めたりしたい場合があります。

そこで私のチームは、Amazon社内のビジネスがAmazon Adsプロダクトを使用してマーケティング目標を達成するのをサポートをしています。チームの顔ぶれは多彩で、科学者やエンジニアに加え、ビジネスリーダーと密接な関係を持つマーケティング分野の専門家も参加しています。私たちは協力して、広告システムでアルゴリズムを使用する機会や、チーム独自の視点でパターンを見つける機会を特定します。

今回の論文の理念は、さまざまなプロダクトの情報をアルゴリズムに分析させることで、何かを学ぶことができるかどうかを確認することでした。強化学習の手法を用いる場合、他のプロダクトが学習したことを極めてリアルタイムに活用することで、特定のプロダクトの効果を高めることに本質的に貢献できることを示しています。私たちはこのアルゴリズムを毎日実行しています。

たとえば、すでにさまざまなデバイス向けのマーケティングキャンペーンを多数実施しており、新たなデバイスでホリデーシーズン向けキャンペーンを開始するとします。何から着手しますか？ このアルゴリズムは、既存のデバイスに対して行った他のマーケティングから判明したことを活用し、最適化された設定で新しいキャンペーンを開始する方法です。

重要なのは、パフォーマンスの改善効果がとても高いという点です。AdKDDカンファレンスでは、他の多くの論文でクリックスルー率が2％または3％向上したと報告されていました。私たちの論文では、総クリック数の平均改善率は18%でした。また、クリック単価も12.7%削減されました。

この結果から、プロダクトの調整は意図的に行っても非常に困難なことであり、このようなアルゴリズムを使用してプロダクト同士が体系的に学習できるようにすることで大きなビジネスチャンスが得られることがわかるでしょう。さまざまなプロダクトのマーケティングの専門家は、「ランチアンドラーン」で学んだことを互いに共有し、ベストプラクティスのプレイブックを作成できます。しかし、人間同士が調整するのはコストがかかり、急速に進化する業界でニュアンスの異なるインサイトを最新の状態に保つことは至難の業です。これは、企業が連携を深め、効率性を高めるための、原則に基づいた体系的な方法です。

テクノロジー企業以外にも、複雑なマーケティングニーズとグローバルフットプリントを持つ大企業はたくさんあります。しかし、学術的な文献の多くは、ビジネス上の問題の特定の部分だけを取り上げています。ですから、多様なプロダクトを扱う企業の場合、強化学習を利用することでビジネスの異なる部門がすべて同じ方向を目指すことができる点が素晴らしいのです。

3名の大学院生が博士論文執筆の合間を縫って、インターンとしてこの論文に協力してくれました。3名ともAmazonから入社のオファーを受けており、そのうち2名はすでにAmazonでの勤務を開始しており、もう1名は今年の初めに入社する予定です。

私が本当に気に入っていることの1つは、自分のアイデアをプログラムに発展させることができる点です。あるプロジェクトに取り組んでいるときに、そのビジネスにとってはるかに重要な別の何かがあることに気づくことがよくあります。Amazonでは、仮定のプレスリリースを作成し、将来Amazonが提供する可能性のあるプロダクトやプログラムについて、よくある質問に回答するというプロセスがあります（PR/FAQと呼ばれます）。

それを通して、解決したい問題を定式化し、解決策を考え、それを文書にまとめ、そのアイデアを同僚に広め、科学を駆使した新しいプロダクトを生み出す機会が何度かありました。今では25名のチームが携わるプロダクトを目にするのは楽しいですし、そのビジネスケースを推進し、最初の資金を得たのは自分なのですから。

私の役割では、広告がお客様に与える影響をどのように測定するかという質問と、お客様により良い結果をもたらす最適化システムの運用方法とのバランスを取ることができます。他社の人と話をすると、何かを測定しているのか、それとも最適化システムを管理しているのかと、私の仕事を枠にはめようとしているように感じます。Amazonでは、問題領域全体を見渡して柔軟に動き、最適化システムと測定システムを組み合わせてお客様に最良の結果をもたらす方法について深く検討できます。

Amazonにおける応用科学者は、研究だけでなく、ソフトウェアの提供にも尽力している点がユニークです。耐久性に優れ、長期的なビジネスニーズを解決するのに役立つプロダクトの開発にも携わっています。

私のチームは日々、Amazon独自の広告ニーズについて考え、大きな規模にわたって既存の広告プロダクトをテストし、より良い成果を上げる機会を特定しています。Amazonは世界最大の広告主の1つであるため、多くのことを学んでいます。私たちは既存の広告プロダクトを販売しようとはしていません。それらを改善する方法を模索しているのです。このようなお客様へのこだわりは、最適なソリューションを柔軟に設計できることに加え、この業界にとっては目新しいものです。