Achter de publicatie: Kelly Paulson gebruikt algoritmen om leermogelijkheden in verschillende bedrijfseenheden te ontdekken

Kelly Paulson ging direct na haar masteropleiding bij Amazon aan de slag. Ze heeft haar PhD in economie behaald aan de University of California San Diego en zag de baan aanvankelijk als 'iets leuks' om te doen voordat ze iets anders zou gaan doen. Maar ze vond het te leuk om te vertrekken en 11 jaar later is ze Senior Manager of Economists and Applied Scientists bij Amazon Ads. De publicatie waaraan ze heeft meegewerkt, Multi-task combinatorial bandits for budget allocation, heeft de prijs gewonnen voor de beste publicatie tijdens de AdKDD-conferentie van 2024. Kelly bespreekt hier de publicatie en haar werk bij Amazon Ads.

Ik ben in 2013 bij het Amazon Kindle-team begonnen, nadat ik net mijn proefschrift had afgerond. Het was het eerste jaar dat Amazon jonge economen aannam die net van een masteropleiding afkwamen. Ik voelde me aangetrokken tot de gegevens. Ik heb aan statistische technieken gewerkt om te leren over de manier waarop mensen keuzes maken. Amazon beschikte uiteraard al over een van de grootste gegevensverzamelingen ter wereld over mensen die keuzes maken.

Destijds kreeg ik vacatures aangeboden in de technische sector, bij de overheid en in de academische wereld en ik had niet verwacht dat ik op de lange termijn in Seattle zou blijven. Aangezien ik echter graag praktijkervaring wilde opdoen met de omvangrijke gegevens van Amazon, dacht ik mijn aanbiedingen uit te stellen en een jaar lang iets leuks te gaan doen. Aan het eind van dat jaar vond ik het werk zo leuk dat ik besloot te blijven. Ik wilde naar een deel van Amazon waar meer mensen bezig waren met manieren om informatie uit enorm grote gegevensverzamelingen te halen. Daarom ben ik als eerste wetenschapper naar Amazon Ads overgestapt om aan metingen te werken.

Ik heb me gericht op het inzichtelijk maken van de manier waarop klanten zijn beïnvloed door advertenties en op de manier waarop die informatie kan worden overgebracht naar systemen voor het optimaliseren van advertenties. De unieke signalen van Amazon staan centraal in onze waardepropositie. Wanneer een shopper een advertentie voor schoenen ziet, is de kans dan groter dat hij of zij die schoenen koopt? Als we morgen de mogelijkheid hebben om een soortgelijke shopper dezelfde advertentie te laten zien, moeten we dat dan doen?

Maar een cruciaal onderdeel daarvan was de wijze waarop we inzichten konden samenvatten op een manier die nuttig was voor adverteerders. Kunnen we nuttige berekeningen van het rendement op investering voor hen uitvoeren? Wat kunnen ze leren over de back to school-campagnes die ze in hun campagnes voor de feestdagen kunnen opnemen?

Het was de beginperiode van het nadenken over de manier waarop Amazon gezamenlijk shoppers en adverteerders kon optimaliseren door adverteerders te helpen om op het juiste moment meer nuttige content bij shoppers weer te geven.

Mijn achtergrond ligt in de econometrische theorie, met een specifieke focus op causale modellen op het gebied van kwantitatieve marketing. In de afgelopen jaren ben ik echt geïnteresseerd geweest in de manier waarop we een causaal signaal kunnen ontwikkelen en dit kunnen voeden in een bredere reeks systemen die marketingbeslissingen nemen.

Die kruising tussen causale metingen en versterkend leren is zeer uniek voor Amazon. We hebben zo'n breed scala dat we veel tools zoals versterkend leren moeten gebruiken om beslissingen te kunnen nemen. Gegevens zijn enorm belangrijk voor ons bedrijf en we willen beslissingen nemen op basis van causale signalen, niet op basis van correlatieve signalen.

Andere bedrijven richten zich meestal op de ene of de andere kant. Die kruising is erg interessant en zal in de toekomst overal te vinden zijn. Amazon loopt voorop op dat gebied.

Zoals vrij gebruikelijk is in de technologie-industrie, gebruiken we de eigen behoeften van Amazon om nieuwe producten onder druk te testen, die we uiteindelijk wellicht extern gaan verkopen. Ik zit in de organisatie voor Ads, maar ik werk aan marketing voor een verscheidenheid aan Amazon-bedrijven buiten Ads. We willen bijvoorbeeld bewustzijn opbouwen bij contentstreamers over een nieuwe tv-serie op Prime Video of bij shoppers over aanbiedingen voor de feestdagen.

Mijn team ondersteunt dus de interne bedrijven van Amazon die gebruikmaken van Amazon Ads-producten om hun marketingdoelstellingen te verwezenlijken. Het team is divers, met experts op het gebied van marketingdomeinen die naast de wetenschappers en technici, nauwe relaties hebben met leiders uit het bedrijfsleven. Samen identificeren we mogelijkheden om algoritmen te gebruiken in advertentiesystemen en om patronen te kunnen zien die andere mensen niet kunnen zien.

Het idee voor deze publicatie was om te kijken of we iets konden leren van een algoritme dat informatie in verschillende producten analyseert. We laten zien dat we bij het gebruik van technieken op het gebied van versterkend leren, in wezen één product kunnen helpen om het beter te doen door gebruik te maken van wat andere producten hebben geleerd, en dat alles in realtime. We hebben dit algoritme dagelijks uitgevoerd.

Stel dat we al een heleboel marketingcampagnes hebben voor verschillende apparaten en vervolgens een nieuw apparaat lanceren voor de feestdagen. Waar moeten we beginnen? Dit algoritme is een manier waarop we gebruik kunnen maken van wat bekend is van de andere marketing die we hebben uitgevoerd voor bestaande apparaten en de nieuwe campagne kunnen beginnen met een geoptimaliseerde configuratie.

Het belangrijkste is dat de verbetering in prestaties behoorlijk groot is. Tijdens de AdKDD-conferentie hebben veel andere publicaties een verbetering in de click-through rate van 2% of 3% gerapporteerd. Onze verbetering in het totale aantal klikken bedroeg gemiddeld 18%. We hebben ook een verlaging van de kosten per klik van 12,7% gerealiseerd.

Het laat zien dat zelfs als het de bedoeling is om producten op elkaar af te stemmen, het gewoon heel moeilijk is. Bovendien ligt er een enorme zakelijke mogelijkheid in het gebruik van algoritmen zoals deze, om producten te helpen systematisch van elkaar te leren. Marketingexperts op het gebied van verschillende producten kunnen met elkaar delen wat ze hebben geleerd tijdens 'lunchen en leren' en draaiboeken met beste praktijken ontwikkelen. Het is echter duur om mensen met elkaar te laten coördineren en het is moeilijk om genuanceerde inzichten actueel te houden in een snel veranderende industrie. Dit is een principiële en systemische manier waarop bedrijven beter gecoördineerd en efficiënter kunnen zijn.

Zelfs buiten technologiebedrijven zijn er veel grote bedrijven met complexe marketingbehoeften en een wereldwijde aanwezigheid. Maar veel van de academische literatuur kijkt alleen naar geïsoleerde delen van het zakelijke probleem. Het is dus spannend dat als je een bedrijf bent met verschillende producten, je verschillende onderdelen van je bedrijf allemaal in dezelfde richting kunt laten bewegen met behulp van versterkend leren.

Drie promovendi hebben tijdens hun proefschrift tijd vrijgemaakt om als stagiaires met ons samen te werken aan deze publicatie. Bovendien hebben ze alle drie een aanbod van Amazon gekregen; twee zijn al begonnen en één gaat aan het begin van dit jaar nog van start.

Wat ik erg leuk vind, is de mogelijkheid om mijn ideeën in programma's te kunnen uitwerken. Het komt regelmatig voor dat ik aan een bepaald project werk en me realiseer dat iets anders veel belangrijker is voor het bedrijf. We hanteren een proces waarbij je een hypothetisch persbericht schrijft en een aantal veelgestelde vragen beantwoordt (oftewel een persbericht/veelgestelde vragen) over een toekomstig product of programma dat Amazon zou kunnen aanbieden.

Daardoor heb ik verschillende mogelijkheden gehad om een probleem te formuleren dat ik wil verhelpen, na te denken over de oplossing, deze op te schrijven, het idee te verspreiden onder collega's en deze nieuwe producten op basis van wetenschap te ontwikkelen. Het is leuk om producten te zien waarvoor nu teams van 25 mensen actief zijn en te weten dat ik degene ben geweest die de businesscase heeft voorgesteld en de eerste financiering heeft geregeld.

In mijn functie kan ik een evenwicht vinden tussen vragen over de manier waarop we de impact van advertenties op klanten meten en de manier waarop we onze systemen voor optimalisatie inzetten, om betere resultaten voor onze klanten te behalen. Wanneer ik met andere bedrijven praat, heb ik het gevoel dat ze me in een hokje proberen te stoppen. Ze willen dat ik ergens metingen voor uitvoer of dat ik een systeem voor optimalisatie beheer. Bij Amazon heb ik de flexibiliteit om me met het hele probleemgebied bezig te houden en echt na te denken over de manier waarop we het beste resultaat voor klanten kunnen bewerkstelligen, door de systemen voor optimalisatie en metingen samen te voegen.

Wat ook uniek is aan de toegepaste wetenschappers hier, is dat ze zich richten op het leveren van software. Ze houden zich niet alleen bezig met onderzoek. Ze ontwikkelen duurzame producten die helpen bij het oplossen van een zakelijke behoefte op de lange termijn.

Mijn team denkt dagelijks na over de eigen behoeften van Amazon op het gebied van adverteren en we testen op grotere schaal bestaande advertentieproducten en zoeken naar mogelijkheden om het beter te doen. Aangezien Amazon een van de grootste adverteerders ter wereld is, kunnen we veel leren. We proberen geen bestaande advertentieproducten te verkopen, maar we zoeken naar manieren om deze te verbeteren. Die klantgerichtheid, in combinatie met de flexibiliteit om de beste oplossing te ontwerpen, is nieuw voor de industrie.