Hinter den Kulissen: Kelly Paulson nutzt Algorithmen, um Lernmöglichkeiten in allen Unternehmensbereichen zu erkennen

Kelly Paulson nahm frisch von der Uni einen Job bei Amazon an. Sie promovierte zu der Zeit an der University of California San Diego in Wirtschaftswissenschaften und sah den Job zunächst als „etwas aufregendes“, ehe sie sich einer anderen Aufgabe zuwenden würde. Es gefiel ihr jedoch zu gut, um zu gehen. 11 Jahre später ist sie nun Senior Manager of Economists and Applied Scientists bei Amazon Ads. Die von ihr mitverfasste Arbeit Multi-task combinatorial bandits for budget allocation (Kombinatorische Banditen für die gleichzeitige Bearbeitung von Aufgaben zur Budgetzuweisung) wurde auf der AdKDD-Konferenz 2024 als beste Arbeit ausgezeichnet. Hier spricht Kelly über die Arbeit und ihre Tätigkeit bei Amazon Ads.

Ich kam 2013 zum Amazon Kindle-Team, als ich gerade meine Dissertation fertiggestellt hatte. Das war das erste Jahr, in dem Amazon junge Wirtschaftswissenschaftler direkt nach dem Studium einstellte. Ich fühlte mich von den Daten angezogen. Ich arbeitete an statistischen Verfahren, um zu erfahren, wie Menschen Entscheidungen treffen. Natürlich verfügte Amazon bereits über einen der weltweit größten Datensätze genau zu diesem Thema.

Damals hatte ich Jobangebote aus der Tech-Branche, dem öffentlichen Sektor und der Wissenschaft, und ich rechnete nicht damit, langfristig in Seattle zu bleiben. Da ich aber daran interessiert war, praktische Erfahrungen mit den reichhaltigen Daten von Amazon zu sammeln, dachte ich mir, ich verschiebe meine Angebote und mache ein Jahr lang etwas, das mir wirklich Spaß macht. Am Ende des Jahres gefiel mir die Arbeit so gut, dass ich beschloss, zu bleiben. Ich wollte in einen Bereich von Amazon wechseln, in dem mehr Leute darüber nachdenken, wie man Informationen aus wirklich großen Datensätzen extrahieren kann. Also wechselte ich zu Amazon Ads. Dort war ich die erste Wissenschaftlerin, die an Messungen arbeitete.

Ich konzentrierte mich darauf zu verstehen, wie Kunden durch Werbung beeinflusst werden und wie man diese Informationen an Werbeoptimierungssysteme weitergibt. Amazons einzigartige Signale sind für unser Wertversprechen von entscheidender Bedeutung. Wenn ein Käufer eine Werbeanzeige für Schuhe sieht, ist er dann eher bereit, diese Schuhe zu kaufen? Wenn wir die Möglichkeit haben, einem ähnlichen Käufer morgen dieselbe Werbeanzeige zu zeigen, sollten wir es dann tun?

Entscheidend war jedoch, wie wir die Insights so zusammenfassen konnten, dass sie für Werbetreibende nützlich waren. Könnten wir eine sinnvolle Berechnung des Return on Investment für sie durchführen? Was könnten sie über ihre Schulstart-Kampagnen lernen, das sie in ihre Feiertagskampagnen einfließen lassen könnten?

Es war die Anfangszeit, in der man darüber nachdachte, wie Amazon für Käufer und Werbetreibende gleichermaßen Optimierungen vornehmen könnte, indem Werbetreibende dabei unterstützt werden, den Käufern zur richtigen Zeit nützlichere Inhalte anzubieten.

Mein Fachgebiet ist die ökonometrische Theorie, mit besonderem Schwerpunkt auf kausalen Modellen im quantitativen Marketing. In den letzten Jahren habe ich mich sehr dafür interessiert, wie man ein kausales Signal entwickelt und es in eine breitere Palette von Systemen einspeist, die Marketingentscheidungen treffen.

Diese Überschneidung von Kausalmessungen und Reinforcement Learning ist einzigartig für Amazon. Wir sind so groß, dass wir viele Tools wie das Reinforcement Learning einsetzen müssen, um Entscheidungen zu treffen. Wir sind ein sehr datengesteuertes Unternehmen und wollen Entscheidungen auf der Grundlage von Kausalsignalen und nicht von Korrelationsdaten treffen.

Andere Unternehmen konzentrieren sich in der Regel entweder auf die eine oder auf die andere Sache. Die Überschneidung ist sehr interessant und wird in Zukunft überall zu finden sein. Amazon ist in diesem Bereich führend.

Wie es in der Tech-Branche ziemlich üblich ist, nutzen wir Amazons eigene Bedürfnisse, um neue Produkte auf ihre Tauglichkeit zu testen, die wir möglicherweise später extern verkaufen. Ich gehöre zur Ads-Organisation, aber ich arbeite am Marketing für eine Reihe von Amazon-Unternehmen außerhalb von Ads. So können wir zum Beispiel die Bekanntheit von Content-Streamern auf eine neue Prime Video-Serie lenken oder Käufer auf Feiertagsangebote aufmerksam machen.

Mein Team unterstützt also die internen Unternehmen von Amazon, die Amazon Ads-Produkte nutzen, um ihre Marketingziele zu erreichen. Das Team ist breit gefächert und umfasst neben Wissenschaftlern und Ingenieuren auch Marketingexperten, die enge Beziehungen zu Geschäftsführern unterhalten. Gemeinsam suchen wir nach Möglichkeiten, Algorithmen in Werbesystemen einzusetzen und Muster zu erkennen, die andere nicht sehen können.

Die Idee für diese Arbeit war es, herauszufinden, ob wir etwas lernen können, wenn wir einen Algorithmus Informationen über verschiedene Produkte hinweg analysieren lassen. Wir zeigen, dass wir mit Hilfe von Reinforcement-Learning-Techniken zu besseren Leistungen eines Produkts beitragen können, indem wir das nutzen, was andere Produkte gelernt haben, und zwar auf eine sehr echtzeitorientierte Weise. Wir haben diesen Algorithmus täglich ausgeführt.

Nehmen wir an, wir haben bereits eine Reihe von Marketingkampagnen für verschiedene Geräte und bringen dann zu den Feiertagen ein neues Gerät auf den Markt. Womit fangen wir an? Mit diesem Algorithmus können wir die Erkenntnisse aus anderen Marketingmaßnahmen für bestehende Geräte nutzen und die neue Kampagne mit einem optimierten Setup starten.

In erster Linie ist die Leistungsverbesserung ziemlich hoch. Auf der AdKDD-Konferenz berichteten viele der anderen Arbeiten von einer Verbesserung der Klickrate um 2 oder 3 %. Unsere Verbesserung bei den Gesamtklicks lag bei durchschnittlich 18 %. Außerdem konnten wir die Kosten pro Klick um 12,7 % senken.

Daran sieht man, dass es selbst dann, wenn die Produkte koordiniert werden sollen, sehr schwierig ist. Die Nutzung von Algorithmen wie diesem, die den Produkten helfen, systematisch voneinander zu lernen, bietet eine enorme Unternehmensmöglichkeit. Marketingexperten für verschiedene Produkte können ihre Erfahrungen bei „Lunch and Learns“ austauschen und Playbooks mit bewährten Methoden entwickeln – aber die Koordination von Menschen untereinander ist teuer, und es ist schwierig, in einer sich schnell entwickelnden Branche nuancierte Insights auf dem neuesten Stand zu halten. Dies ist ein grundlegender und systemischer Weg, wie Unternehmen besser koordiniert und effizienter werden können.

Auch außerhalb der Technologiebranche gibt es viele große Unternehmen mit komplexen Marketinganforderungen und globaler Präsenz. Ein großer Teil der akademischen Literatur befasst sich jedoch nur mit isolierten Teilen des Unternehmensproblems. Wenn Sie also ein Unternehmen mit verschiedenen Produkten sind, können Sie mit Hilfe von Reinforcement Learning verschiedene Bereiche Ihres Unternehmens in die gleiche Richtung lenken.

Drei Doktoranden haben sich während ihrer Dissertationen Zeit genommen, mit uns als Praktikanten an dieser Arbeit mitzuwirken. Alle drei haben Angebote von Amazon erhalten; zwei haben bereits angefangen, und einer wird Anfang des Jahres anfangen.

Eine Sache, die ich wirklich mag, ist die Möglichkeit, meine Ideen in Programme umsetzen zu können. Oftmals arbeite ich an einem Projekt und stelle fest, dass etwas anderes viel wichtiger für das Unternehmen ist. Wir haben ein Verfahren, bei dem man eine hypothetische Pressemitteilung schreibt und einige häufig gestellte Fragen – ein sogenanntes PR/FAQ – über ein zukünftiges Produkt oder Programm von Amazon beantwortet.

Dadurch hatte ich mehrere Gelegenheiten, ein Problem zu formulieren, das ich lösen möchte, über die Lösung nachzudenken, sie aufzuschreiben, die Idee an Kollegen weiterzugeben und diese neuen, wissenschaftlich fundierten Produkte zu entwickeln. Es ist schön, Produkte zu sehen, für die es inzwischen Teams von 25 Mitarbeitern gibt, und zu wissen, dass ich diejenige war, die den Business Case vorgelegt und die Anfangsfinanzierung sichergestellt hat.

In meiner Rolle kann ich Fragen dazu beantworten, wie wir die Wirkung von Anzeigen auf Kunden messen und wie wir unsere Optimierungssysteme betreiben, die zu besseren Ergebnissen für unsere Kunden führen. Wenn ich mit anderen Unternehmen spreche, habe ich das Gefühl, dass sie versuchen, mich in eine Schublade zu stecken – sie brauchen mich, um entweder etwas zu messen oder ein Optimierungssystem zu verwalten. Bei Amazon habe ich die Flexibilität, über den gesamten Problembereich hinweg zu agieren und wirklich darüber nachzudenken, wie ich das beste Ergebnis für die Kunden erzielen kann, indem ich die Optimierungssysteme und die Messsysteme zusammenbringe.

Eine weitere Besonderheit der angewandten Wissenschaftler hier ist, dass sie sich auf die Bereitstellung von Software konzentrieren – es geht also nicht nur um Forschung. Sie entwickeln Produkte, die langlebig sind und dazu beitragen, langfristige Unternehmensanforderungen zu erfüllen.

Mein Team denkt jeden Tag über Amazons eigene Werbebedürfnisse nach. Wir testen bestehende Werbeprodukte in großem Umfang und identifizieren Möglichkeiten, sie zu verbessern. Da Amazon einer der größten Werbetreibenden der Welt ist, lernen wir eine ganze Menge. Wir versuchen nicht, bestehende Anzeigenprodukte zu verkaufen, sondern Wege zu finden, sie zu verbessern. Diese 100%ige Kundenorientiertheit in Verbindung mit der Flexibilität, die beste Lösung zu entwickeln, ist ein Novum für die Branche.