Dans les coulisses : Kelly Paulson utilise des algorithmes pour repérer des opportunités d’apprentissage à travers les différentes unités opérationnelles

Kelly Paulson a décroché un emploi chez Amazon dès la fin de ses études supérieures. Elle avait obtenu son doctorat en économie à l’Université de Californie à San Diego et voyait initialement ce travail comme « quelque chose de plaisant » à faire avant de passer à autre chose. Mais elle a tellement aimé ce poste qu’elle n’est jamais partie, et 11 ans plus tard, elle est devenue directrice principale des économistes et de l’équipe des sciences appliquées chez Amazon Ads. L’article qu’elle a coécrit, « Multi-task combinatorial bandits for budget allocation », a remporté le prix du meilleur article lors de la conférence AdKDD 2024. Kelly discute ici de son article et de son travail chez Amazon Ads.

J’ai rejoint l’équipe Amazon Kindle en 2013, tout juste après avoir terminé ma thèse. C’était la première année où Amazon recrutait de jeunes économistes directement après leurs études supérieures. J’étais attirée par les données. Je travaillais sur des techniques statistiques pour mieux comprendre comment les gens font leurs choix et, bien sûr, Amazon disposait déjà de l’un des plus grands ensembles de données au monde sur ce sujet.

À l’époque, j’avais des offres d’emploi dans les domaines technologiques, gouvernementaux et universitaires, et je ne pensais pas rester à Seattle à long terme. Mais comme j’étais curieuse de plonger dans les données riches d’Amazon, j’ai décidé de mettre mes autres offres en attente et de faire quelque chose d’amusant pendant un an. À la fin de cette année-là, j’aimais vraiment mon travail et j’ai choisi de rester. Je voulais évoluer dans une équipe où l’on réfléchissait davantage à la façon d’exploiter de très grands ensembles de données. C’est ainsi que j’ai rejoint Amazon Ads en tant que première scientifique à travailler sur l’évaluation.

Cela signifiait mettre l’accent sur les clients et sur la transmission de ces informations aux systèmes d’optimisation publicitaire. Les signaux uniques d’Amazon sont au cœur de notre proposition de valeur. Lorsqu’un acheteur voit une publicité pour des chaussures, est-il plus susceptible de se les procurer? Si nous avons l’occasion de montrer la même publicité à un acheteur similaire demain, devrions-nous le faire?

Un aspect crucial de ce travail était de résumer les données de manière utile pour les annonceurs. Pouvions-nous faire des calculs de rendement du capital investi pour eux? Que pouvaient-ils apprendre de leurs campagnes de rentrée scolaire qu’ils pourraient intégrer dans leurs campagnes de fêtes?

C’était les débuts de la réflexion sur la manière dont Amazon pourrait optimiser conjointement les expériences des acheteurs et des annonceurs en aidant ces derniers à apporter un contenu plus utile aux acheteurs au bon moment.

Ma formation est en théorie économétrique, avec un accent particulier sur les modèles causaux en marketing quantitatif. Ces dernières années, je me suis vraiment intéressée à la façon de développer un signal causal et de l’intégrer dans un ensemble plus large de systèmes qui prennent des décisions marketing.

Cette intersection entre l’évaluation causale et l’apprentissage par renforcement est très unique à Amazon. Notre échelle est elle que nous devons utiliser beaucoup d’outils comme l’apprentissage par renforcement pour prendre des décisions. Nous sommes une entreprise très axée sur les données et nous voulons prendre des décisions basées sur des signaux de causalité, et non sur des signaux de corrélation.

Les autres entreprises se concentrent habituellement sur un aspect ou sur l’autre. Cette intersection est très intéressante et sera omniprésente à l’avenir. Amazon est à l’avant-garde dans ce domaine.

Comme c’est assez courant dans l’industrie technologique, nous utilisons les besoins propres à Amazon pour tester sous pression de nouveaux produits que nous pourrions éventuellement vendre à l’extérieur. Je fais partie du service Publicités, mais je travaille sur le marketing pour un ensemble diversifié d’unités opérationnelles Amazon en dehors de celle-ci. Par exemple, nous pourrions vouloir accroître la notoriété des diffuseurs de contenu pour une nouvelle série Prime Video ou accroître celle des promotions de fêtes auprès des acheteurs.

Ainsi, mon équipe soutient les unités opérationnelles internes d’Amazon en utilisant les produits Amazon Ads pour atteindre ses objectifs marketing. L’équipe est diversifiée, avec des spécialistes en marketing qui entretiennent des relations étroites avec des dirigeants d’entreprises ainsi qu’avec des scientifiques et des ingénieurs. Ensemble, nous identifions des opportunités d’utiliser des algorithmes dans les systèmes publicitaires et de voir des tendances que les autres ne peuvent pas voir.

L’objectif de cet article était de déterminer si nous pouvions apprendre quelque chose en utilisant un algorithme pour analyser des informations sur différents produits. Nous avons démontré que faire appel à des techniques d’apprentissage par renforcement permet essentiellement de contribuer à l’amélioration d’un produit en utilisant ce que d’autres produits ont appris, et ce, en temps réel. Nous exécutons cet algorithme quotidiennement.

Disons que nous avons déjà plusieurs campagnes de marketing pour différents appareils et que nous lançons ensuite un nouvel appareil pour la période des fêtes. Par où commençons-nous? Cet algorithme est une façon d’utiliser ce que nous avons appris des autres campagnes marketing réalisées pour les appareils existants et de démarrer la nouvelle campagne avec une configuration optimisée.

Notre conclusion principale est que l'amélioration de la performance est très importante. À la conférence AdKDD, beaucoup d’autres articles ont mentionné une amélioration de 2 % à 3 % du taux de clics. Notre amélioration du nombre total de clics a atteint une moyenne de 18 %. Nous avons également démontré une réduction du coût par clic de 12,7 %.

Cela confirme que même lorsqu’il y a une intention de coordonner les produits, c’est vraiment difficile. Il existe une énorme opportunité commerciale à utiliser des algorithmes comme celui-ci pour aider les produits à apprendre systématiquement les uns des autres. Les spécialistes en marketing de différents produits peuvent partager leurs apprentissages entre eux lors de « dîners-conférences » et développer des guides de meilleures pratiques, mais la coordination entre humains est coûteuse, et il est difficile de maintenir à jour des données nuancées dans une industrie qui évolue rapidement. C’est une façon juste et systématique qui permet aux entreprises d’être mieux coordonnées et plus efficaces.

Même en dehors des entreprises technologiques, il existe de nombreuses grandes entreprises ayant des besoins marketing complexes et une présence mondiale. Mais une grande partie de la littérature académique ne fait qu’examiner des aspects isolés du problème commercial. Il est donc passionnant de constater qu’une entreprise offrant des produits diversifiés peut s'assurer que ses différentes unités travaillent toutes dans la même direction en utilisant l’apprentissage par renforcement.

Trois étudiants aux cycles supérieurs ont pris du temps pendant leur thèse pour travailler avec nous comme stagiaires sur cet article. Les trois ont reçu des offres d’Amazon; deux ont déjà commencé, et l’autre débutera tôt cette année.

Ce que j’apprécie particulièrement, c’est la possibilité de transformer mes idées en programmes. Il m’arrive souvent de travailler sur un projet et de me rendre compte que quelque chose d’autre était beaucoup plus important pour l’entreprise. Nous avons un processus où vous rédigez un communiqué de presse hypothétique et répondez à des questions fréquemment posées – appelé PR/FAQ – concernant un futur produit ou programme qu’Amazon pourrait avoir.

Grâce à cela, j’ai eu plusieurs occasions de formuler un problème que je voulais résoudre, de réfléchir à la solution, de la rédiger, de partager l’idée avec des collègues et de créer ces nouveaux produits issus de la science. C’est amusant de voir des produits sur lesquels travaillent maintenant des équipes de 25 personnes et de savoir que c’est moi qui ai présenté l’analyse de rentabilisation et obtenu le financement initial.

Dans mon rôle, je peux équilibrer les questions sur la manière dont nous mesurons l’impact des publicités sur les clients avec la gestion de nos systèmes d’optimisation, ce qui mènera à de meilleurs résultats pour nos clients. Quand j’échange avec d’autres entreprises, j’ai l’impression qu’elles essaient de me mettre dans une case; elles veulent que je mesure quelque chose ou que je gère un système d’optimisation. Chez Amazon, j’ai la flexibilité d’évoluer dans l’ensemble de l’espace des problèmes et de réfléchir véritablement à la façon d’obtenir les meilleurs résultats pour les clients, en combinant les systèmes d’optimisation et les systèmes d’évaluation.

Ce qui est également unique chez l’équipe des sciences appliquées est qu’elle se concentre sur la fourniture de logiciels – elle fait donc plus que de la recherche. Elle développe des produits durables qui contribuent à répondre à un besoin commercial à long terme.

Mon équipe réfléchit quotidiennement aux besoins publicitaires d’Amazon, teste les produits publicitaires existants à grande échelle et cerne les opportunités d’amélioration. Puisqu’Amazon est l’un des plus grands annonceurs au monde, nous apprenons beaucoup. Nous n’essayons pas de vendre des produits publicitaires existants; nous cherchons des façons de les améliorer. Cette obsession du client, combinée à la flexibilité de concevoir la meilleure solution, est unique dans l’industrie.