Bakgrund: Kelly Paulson använder algoritmer för att upptäcka inlärningsmöjligheter i affärsenheter

Kelly Paulson började jobba på Amazon direkt efter examen. Hon tog sin doktorsexamen i ekonomi på University of California San Diego och såg initialt jobbet som ”något roligt” att göra innan hon gick vidare till något annat. Men hon gillade det för mycket att lämna det och 11 år senare är hon Senior Manager för ekonomer och forskare inom fältet tillämpad vetenskap på Amazon Ads. Artikeln som hon var medförfattare till, Multi-task combinatorial bandits for budget allocation, utsågstill vinnande bidrag under AdKDD-konferensen 2024. Här diskuterar Kelly artikeln och sitt arbete på Amazon Ads.

Jag gick med i Amazon Kindle-teamet 2013 när jag just hade avslutat min avhandling och det var första året Amazon rekryterade nyutexaminerade juniorekonomer. Jag lockades av data. Jag hade arbetat med statistiska tekniker för att lära mig om hur människor gör val, och naturligtvis hade Amazon redan en av de största datamängderna i världen av människor som gör val.

Vid den tiden hade jag jobberbjudanden inom teknik, regering och akademi, och jag förväntade mig inte att stanna i Seattle på lång sikt. Men eftersom jag var intresserad av att få praktisk erfarenhet av Amazons rika data, bestämde jag mig för att skjuta upp mina erbjudanden och göra något roligt i ett år. I slutet av det året gillade jag verkligen arbetet och bestämde mig för att stanna. Jag ville flytta till en del av Amazon där det fanns fler människor som funderade på hur man extraherar information från riktigt stora datamängder. Så jag flyttade in i Amazon Ads som den första forskaren som arbetade med mätning.

Jag fokuserade på att förstå hur kunder påverkades av annonser och hur jag kunde överföra den informationen till ett annonsoptimeringssystem. Amazons unika signaler är centrala för vårt värdeförslag. När en kund ser en annons för skor, är de mer benägna att köpa dessa skor? Om vi har möjlighet att visa en liknande kund samma annons imorgon, bör vi göra det?

Men en viktig del av det var hur vi kunde sammanfatta insikter på ett sätt som var användbart för annonsörer. Kan vi göra användbara beräkningar av investeringsavkastningen för dem? Vad kunde de lära sig om skolstartskampanjer som de kunde använda i sina storhelgskampanjer?

Det var då vi började fundera på hur Amazon kunde optimera kunder och annonsörer genom att hjälpa annonsörer att erbjuda mer användbart innehåll till kunder vid rätt tidpunkt.

Min bakgrund är ekonometrisk teori, med särskilt fokus på kausalmodeller inom kvantitativ marknadsföring. Under de senaste åren har jag verkligen varit intresserad av hur man utvecklar en kausal signal och matar in den i en bredare uppsättning system som fattar marknadsföringsbeslut.

Den skärningspunkten mellan kausal mätning och förstärkt inlärning är mycket unik för Amazon. Vi har en så stor skala att vi behöver använda många verktyg som använder förstärkt inlärning för att fatta beslut. Vi är ett mycket datadrivet företag och vi vill fatta beslut baserade på kausala signaler, inte korrelationssignaler.

Andra företag fokuserar vanligtvis på den ena eller den andra sidan. Skärningspunkten är mycket intressant och kommer att finnas överallt i framtiden. Amazon ligger i framkant inom detta område.

Som ganska vanligt inom teknikindustrin använder vi Amazons egna behov för att trycktesta nya produkter som vi så småningom kan sälja externt. Jag är i Ads-organisationen, men jag arbetar med marknadsföring för en mängd olika Amazon-företag utanför Ads. Vi kanske till exempel vill öka innehållsstreamarnas kännedom om en ny Prime Video-serie eller öka kundernas kännedom om storhelgserbjudanden.

Så mitt team stöder Amazons interna företag som använder Amazon Ads-produkter för att nå sina marknadsföringsmål. Teamet är mångsidigt och förutom forskare och ingenjörer består det av marknadsföringsexperter med nära relationer till företagsledare. Tillsammans identifierar vi möjligheter att använda algoritmer i annonseringssystem för att se mönster som andra inte kan se.

Tanken med denna artikel var att se om vi kunde lära oss något av att låta en algoritm analysera information över olika produkter. Vi visar att när vi använder tekniker för förstärkt inlärning bidrar vi i huvudsak till ett bättre resultat från en produkt genom att använda vad andra produkter har lärt oss och det i verklig realtid. Vi har kört denna algoritm dagligen.

Låt oss säga att vi redan har en massa marknadsföringskampanjer för olika enheter och sedan lanserar vi en ny enhet inför helgerna. Var börjar vi? Med denna algoritm använder vi det vi lärde oss från den andra marknadsföringen vi genomförde för de befintliga enheterna och startar den nya kampanjen med en optimerad inställning.

Det viktigaste är att vi får mycket bättre resultat. Vid AdKDD-konferensen rapporterade många av de andra artiklarna en ökning av klickfrekvensen på 2 eller 3 %. Vår förbättring av antalet totala klick var i genomsnitt 18 %. Vi kunde även notera en minskning av kostnaden per klick på 12,7 %.

Detta visar att även när det finns en avsikt att samordna produkter är det bara riktigt svårt, och det ligger en enorm affärsmöjlighet i att använda algoritmer som denna för att hjälpa produkter att systematiskt lära av varandra. Marknadsföringsexperter för olika produkter kan dela vad de har lärt sig av varandra i s.k. ”lunch- och lärsessioner” och utveckla spelböcker med bästa praxis – men det är dyrt att samordna mellan människor och svårt att hålla nyanserade insikter uppdaterade i en snabbt utvecklande bransch. Detta är ett principiellt och systematiskt sätt för företag att bli bättre samordnade och effektivare.

Även bland andra företag utanför teknikbranschen finns det många stora aktörer med komplexa marknadsföringsbehov och globala fotavtryck. Men mycket av den akademiska litteraturen tittar bara på isolerade delar av affärsproblemet. Så det är spännande nyheter för företag med olika produkter, som kan använda förstärkt inlärning för att få olika delar av företaget att dra i samma riktning.

Tre doktorander tog sig tid under sina avhandlingar att arbeta med oss som praktikanter på denna artikel. Och alla tre fick Amazon-erbjudanden. Två har redan börjat, och en kommer att börja tidigt i år.

En sak jag verkligen gillar är förmågan att utveckla mina idéer till program. Ofta när jag arbetat med ett projekt så har det hänt att jag kommit till insikt om att något annat varit mycket viktigare för verksamheten. Vi har en process där du skriver ett hypotetiskt pressmeddelande och svarar på några vanliga frågor – processen kallas PR/FAQ – om en framtida produkt eller program som Amazon kan ha.

Genom det har jag haft flera möjligheter att formulera ett problem jag vill lösa, tänka på lösningen, skriva upp den, sprida idén till kollegor och skapa dessa nya vetenskapsdrivna produkter. Det är kul att se produkter som nu har team på 25 personer och att veta att det var jag som lade fram affärsfallet och fick den initiala finansieringen.

I min roll kan jag balansera frågor om hur vi mäter annonsernas påverkan på kunder med hur vi använder våra optimeringssystem som kommer att leda till bättre resultat för våra kunder. När jag pratar med andra företag känner jag att de försöker kategorisera mig – de behöver mig för att antingen mäta något eller hantera ett optimeringssystem. På Amazon har jag flexibiliteten att arbeta över hela problemutrymmet och verkligen tänka på hur man kan driva det bästa resultatet för kunderna genom att sätta ihop optimeringssystemen och mätsystemen.

En annan sak som är unik med forskare inom tillämpad vetenskap här är att de fokuserar på att leverera programvara – det är inte bara att göra forskning. De bygger produkter som är hållbara och som hjälper till att lösa ett långsiktigt affärsbehov.

Mitt team tänker på Amazons egna annonseringsbehov varje dag och vi testar befintliga annonsprodukter i stor skala och identifierar möjligheter för förbättringar. Eftersom Amazon är en av de största annonsörerna i världen lär vi oss mycket. Vi försöker inte sälja befintliga annonsprodukter. Vi hittar sätt att förbättra dem. Den kundbesattheten, tillsammans med flexibiliteten att utforma den bästa lösningen, är ny i branschen.