En coulisses : Kelly Paulson utilise des algorithmes pour repérer les opportunités d'apprentissage dans les différentes unités opérationnelles

Kelly Paulson est entrée chez Amazon dès sa sortie de l'université. Elle venait d'obtenir son doctorat en économie à l'Université de Californie, à San Diego, et elle considérait dans un premier temps ce travail comme « quelque chose d'amusant » à faire avant de passer à autre chose. Pourtant, il s'est avéré qu'elle l'aimait trop pour le quitter et, 11 ans plus tard, la voilà responsable senior des économistes et des spécialistes des sciences appliquées chez Amazon Ads. L'article qu'elle a co-écrit, Multi-task combinatorial bandits for budget allocation, a remporté le prix du meilleur article lors de la conférence AdKDD de 2024. Kelly nous parle aujourd'hui de cet article et de son travail chez Amazon Ads.

J'ai rejoint l'équipe Kindle d'Amazon en 2013, juste après avoir terminé ma thèse. C'était la première année où Amazon recrutait des économistes juniors directement à la sortie de leurs études supérieures. Les données m'attiraient. Je travaillais sur des techniques statistiques pour comprendre la manière dont les gens font des choix et, bien sûr, Amazon disposait déjà de l'un des plus grands ensembles de données au monde sur le sujet.

À l'époque, je recevais des offres d'emploi dans les secteurs de la technologie, l'administration et le milieu universitaire, et je ne pensais pas rester à Seattle sur le long terme. Mais expérimenter les riches ensembles de données d'Amazon m'intéressait et je me suis donc dit que je pouvais remettre ces opportunités à plus tard et faire quelque chose d'amusant pendant un an. Une fois l'année terminée, j'ai réalisé que j'adorais ce travail et j'ai décidé de rester. Je voulais intégrer une division Amazon dans laquelle davantage de personnes réfléchissaient aux manières d'extraire des informations à partir d'immenses ensembles de données. J'ai donc intégré Amazon Ads en tant que première scientifique à travailler sur le suivi et les mesures.

J'ai avant tout cherché à comprendre comment les publicités influençaient les clients et comment transmettre ces informations aux systèmes d'optimisation des publicités. Les signaux uniques d'Amazon représentent un élément central de notre proposition de valeur. Lorsqu'un acheteur voit une publicité pour des chaussures, est-il plus susceptible d'acheter ces chaussures ? Si nous avons l'opportunité de montrer la même publicité à un acheteur similaire demain, devrions-nous le faire ?

L'un des éléments cruciaux était de savoir comment résumer les données d'une manière utile pour les annonceurs. Pouvions-nous leur proposer des calculs utiles du retour sur investissement ? Que pouvaient-ils apprendre de leurs campagnes de rentrée scolaire et ensuite intégrer à leurs campagnes de fêtes de fin d'année ?

C'était les débuts de la réflexion sur la façon dont Amazon pouvait optimiser conjointement l'expérience des acheteurs et des annonceurs en aidant ces derniers à proposer du contenu plus utile aux acheteurs, au bon moment.

J'ai d'abord étudié la théorie économétrique, en me concentrant plus particulièrement sur les modèles causaux dans le marketing quantitatif. Au cours des dernières années, je me suis vraiment intéressée à la façon de développer un signal causal et de l'intégrer dans un ensemble plus large de systèmes qui façonnent les décisions marketing.

Cette intersection entre les mesures causales et l'apprentissage par renforcement est vraiment unique à Amazon. Nous travaillons à une si grande échelle que nous devons utiliser de nombreux outils, comme l'apprentissage par renforcement, pour prendre des décisions. Nous sommes une entreprise très axée sur les données, et nous voulons prendre des décisions fondées sur des signaux causaux, et non sur des signaux corrélationnels.

Les autres entreprises se concentrent généralement sur l'un ou l'autre de ces aspects. L'intersection est très intéressante et vous la retrouverez partout à l'avenir. Amazon est à l'avant-garde dans ce domaine.

Comme souvent dans le secteur de la technologie, Amazon se base sur ses propres besoins pour tester sous pression les nouveaux produits que nous pourrions ensuite éventuellement vendre en externe. Je fais partie d'Amazon Ads, mais je travaille aussi sur le marketing de diverses autres organisations Amazon. Par exemple, nous pouvons être amenés à sensibiliser les créateurs de contenu à une nouvelle série Prime Video ou à faire connaître aux acheteurs les offres des périodes de fêtes.

Mon équipe soutient donc les activités internes d'Amazon en utilisant les produits Amazon Ads pour atteindre ses objectifs marketing. L'équipe est diversifiée, avec des experts du domaine marketing qui travaillent en étroite collaboration avec la direction de l'entreprise, en plus des scientifiques et des ingénieurs. Ensemble, nous identifions les opportunités d'utilisation des algorithmes dans les systèmes de publicité et nous cherchons à identifier des schémas que les autres gens ne peuvent pas voir.

L'objectif de cet article était de voir si nous pouvions apprendre quelque chose en faisant analyser des informations sur différents produits par un algorithme. Nous démontrons que grâce aux techniques d'apprentissage par renforcement, nous pouvons en fait contribuer à améliorer les performances d'un produit en utilisant ce que d'autres produits nous ont appris, et ce de manière vraiment instantanée. Nous exécutons cet algorithme quotidiennement.

Imaginons que nous disposons déjà de plusieurs campagnes marketing pour différents appareils et que nous lançons un nouvel appareil lors des fêtes de fin d'année. Par où commençons-nous ? Cet algorithme est un moyen de tirer parti de ce que nous avons appris des autres campagnes marketing diffusées pour les appareils existants et de démarrer la nouvelle campagne avec une configuration optimisée.

Le principal, c'est la nette amélioration des performances. Lors de la conférence AdKDD, beaucoup d'autres articles parlaient d'une amélioration de 2 à 3 % du taux de clics. Chez nous, l'amélioration du nombre total de clics a atteint une moyenne de 18 %. Nous avons également réduit de 12,7 % le coût par clic.

Cela démontre que même lorsqu'il y a une volonté de coordonner les produits, c'est vraiment difficile, et que l'utilisation d'algorithmes comme celui-ci représente une énorme opportunité commerciale pour aider les produits à apprendre systématiquement les uns des autres. Les experts en marketing de différents produits peuvent partager ce qu'ils ont appris lors de sessions « lunch and learn » (déjeuner en apprenant) et développer des guides de bonnes pratiques, mais la coordination entre humains est coûteuse, et il reste difficile de tenir à jour des données nuancées dans un secteur qui évolue aussi rapidement. C'est de façon méthodique et systémique que les entreprises peuvent gagner en coordination et en efficacité.

Même en dehors du secteur technologique, beaucoup de grandes entreprises ont des besoins marketing complexes et une présence mondiale. Pourtant, une grande partie de la documentation académique ne s'intéresse qu'à des aspects isolés du problème commercial. Si vous êtes une entreprise qui propose des produits variés, vous pouvez donc faire en sorte que les différentes divisions de votre entreprise travaillent toutes dans la même direction en utilisant l'apprentissage par renforcement, et c'est quelque chose d'incroyable.

Trois étudiants de troisième cycle ont pris le temps, pendant leurs thèses, de travailler avec nous en tant que stagiaires sur cet article. Et tous les trois se sont vus proposer un poste chez Amazon : deux ont déjà commencé, et le dernier commencera en début d'année.

Ce que j'aime vraiment, c'est la possibilité de transformer mes idées en programmes. Souvent, je travaille sur un projet et je réalise que quelque chose d'autre était beaucoup plus important pour l'entreprise. Il y a un processus dans lequel nous devons rédiger un communiqué de presse hypothétique et répondre à des questions fréquemment posées concernant un futur produit ou programme qu'Amazon pourrait proposer. Il s'agit du processus PR/FAQ.

Grâce à cela, j'ai eu plusieurs occasions de formuler un problème que je souhaitais résoudre, de réfléchir à la solution, de la mettre par écrit, de faire circuler l'idée auprès de mes collègues et de créer ces nouveaux produits basés sur la science. C'est amusant de voir que des équipes de 25 personnes travaillent maintenant sur des produits en sachant que c'est moi qui ai présenté l'analyse de rentabilité et obtenu le financement initial.

Mon rôle me permet d'équilibrer les questions sur la façon dont nous mesurons l'impact qu'ont les publicités sur les clients par rapport à la manière dont nous gérons nos systèmes d'optimisation afin de proposer de meilleurs résultats à nos clients. Quand je discute avec d'autres entreprises, j'ai l'impression qu'elles essaient de me mettre dans une case. Elles veulent que je mesure quelque chose ou que je gère un système d'optimisation. Chez Amazon, j'ai la flexibilité d'opérer dans tout l'espace des problèmes et de réfléchir véritablement à la façon d'obtenir le meilleur résultat pour les clients, en combinant les systèmes d'optimisation et les systèmes de suivi et mesures.

Ce qui est également unique ici, c'est que les spécialistes en science appliquée se concentrent sur la livraison de logiciels, sans se contenter de faire de la recherche. Ils créent des produits qui sont durables et qui contribuent à répondre à un besoin commercial à long terme.

Mon équipe réfléchit quotidiennement aux besoins d'Amazon en matière de publicité. Nous testons les produits publicitaires existants à grande échelle et identifions les possibilités d'amélioration. Amazon étant l'un des plus grands annonceurs publicitaires au monde, nous apprenons beaucoup. Nous n'essayons pas de vendre les produits publicitaires existants, nous cherchons des moyens de les améliorer. Cette obsession client, associée à la flexibilité dont nous disposons pour concevoir la meilleure solution, est quelque chose de totalement nouveau dans le secteur.