Por trás do artigo: Kelly Paulson usa algoritmos para identificar oportunidades de aprendizado em todas as unidades de negócios

Kelly Paulson conseguiu um emprego na Amazon logo depois de se formar na pós-graduação. Ela tinha obtido seu doutorado em economia pela Universidade da Califórnia em San Diego e, inicialmente, via o trabalho como "algo divertido" para fazer antes de partir para outra coisa. Mas ela gostou demais, decidiu ficar e, 11 anos depois, ela é Gerente Sênior de Economistas e Cientistas Aplicados na Amazon Ads. O artigo que ela coescreveu, Multi-task combinatorial bandits for budget allocation, ganhou o prêmio de melhor artigo na conferência AdKDD 2024. Aqui, Kelly discute o artigo e seu trabalho na Amazon Ads.

Entrei para a equipe do Kindle da Amazon em 2013 quando tinha acabado de concluir minha dissertação, e foi o primeiro ano em que a Amazon estava recrutando economistas juniores recém-saídos da pós-graduação. Eu me interessei pelos dados. Eu estava trabalhando em técnicas estatísticas para aprender sobre como as pessoas fazem escolhas e, é claro, a Amazon já tinha um dos maiores conjuntos de dados do mundo sobre pessoas fazendo escolhas.

Na época, eu tinha ofertas de emprego nas áreas de tecnologia, governo e academia, e não esperava ficar em Seattle a longo prazo. Mas, como eu estava interessada em ter experiência prática com os dados abundantes da Amazon, pensei em adiar minhas ofertas e fazer algo divertido por um ano. No final daquele ano, eu realmente gostei do trabalho e decidi ficar. Eu queria me mudar para uma área da Amazon onde havia mais pessoas pensando em como extrair informações de conjuntos de dados realmente grandes. Então eu fui para a Amazon Ads como a primeira cientista a trabalhar com medição.

Concentrei-me em entender como os clientes eram influenciados pelos anúncios e como transmitir essas informações para os sistemas de otimização de publicidade. Os sinais únicos da Amazon são fundamentais para nossa proposta de valor. Quando um comprador vê um anúncio de sapatos, ele tem mais probabilidade de comprar esses sapatos? Se tivermos a oportunidade de mostrar o mesmo anúncio para um comprador semelhante amanhã, devemos fazê-lo?

Mas uma parte crítica disso era como poderíamos resumir os insights de uma forma que fosse útil para os anunciantes. Poderíamos fazer cálculos úteis de retorno sobre o investimento para eles? O que eles poderiam aprender sobre suas campanhas de volta às aulas que poderia ser incorporado às suas campanhas do período festivo?

Estávamos nos primeiros dias de pensar sobre como a Amazon poderia otimizar conjuntamente entre compradores e anunciantes, ajudando os anunciantes a trazer conteúdo mais útil aos compradores no momento certo.

Minha formação é em teoria econométrica, com foco particular em modelos causais em marketing quantitativo. Nos últimos anos, tenho me interessado muito em como desenvolver um sinal causal e alimentá-lo em um conjunto mais amplo de sistemas que estão tomando decisões de marketing.

Essa interseção entre medição causal e aprendizado por reforço é muito exclusiva da Amazon. Nossa escala é tão grande que precisamos usar muitas ferramentas, como aprendizado por reforço, para tomar decisões. Somos uma empresa muito orientada por dados e queremos tomar decisões baseadas em sinais causais, não em sinais correlacionais.

Outras empresas geralmente focam em um lado ou no outro. O cruzamento é muito interessante, e estará em toda parte no futuro. A Amazon está na vanguarda dessa área.

Como é bastante comum na indústria de tecnologia, usamos as próprias necessidades da Amazon para testar sob pressão novos produtos que um dia podemos vender externamente. Estou na organização da Amazon Ads, mas trabalho com marketing para um conjunto diversificado de negócios da Amazon fora da Amazon Ads. Por exemplo, talvez desejemos aumentar o reconhecimento dos streamers de conteúdo sobre uma nova série do Prime Video ou aumentar o reconhecimento dos compradores sobre as ofertas do período festivo.

Então minha equipe dá suporte aos negócios internos da Amazon usando produtos da Amazon Ads para atingir seus objetivos de marketing. A equipe é diversificada, com especialistas na área de marketing que mantêm relações próximas com líderes empresariais, além dos cientistas e engenheiros. Juntos, identificamos oportunidades para usar algoritmos em sistemas de publicidade e para ver padrões que outras pessoas não conseguem enxergar.

A ideia deste artigo era ver se poderíamos aprender algo ao ter um algoritmo analisando informações entre diferentes produtos. Demonstramos que, quando usamos técnicas de aprendizado por reforço, podemos essencialmente ajudar um produto a ter um melhor desempenho usando o que outros produtos aprenderam, de uma maneira em tempo real. Temos executado este algoritmo diariamente.

Digamos que já temos várias campanhas de marketing para diferentes dispositivos e vamos lançar um novo dispositivo para o período festivo. Por onde começamos? Esse algoritmo é uma maneira de aproveitarmos o que já sabemos das outras campanhas de marketing que fizemos para dispositivos existentes para começar a nova campanha com uma configuração otimizada.

O principal é que a melhoria no desempenho é bastante alta. Na conferência AdKDD, muitos dos outros artigos relataram uma melhoria de 2% ou 3% na taxa de cliques. Nossa melhoria no total de cliques teve uma média de 18%. Também demonstramos uma redução de 12,7% no custo por clique.

Isso mostra que, mesmo quando há intenção de coordenar produtos, é realmente muito difícil, e existe uma enorme oportunidade de negócio em usar algoritmos como este para ajudar produtos a aprenderem sistematicamente uns com os outros. Especialistas em marketing de diferentes produtos podem compartilhar o que aprenderam uns com os outros em "almoços de aprendizado" e desenvolver manuais de melhores práticas, mas a coordenação entre pessoas é cara, e é difícil manter insights detalhados atualizados em um setor que evolui rapidamente. Esta é uma maneira sistemática e baseada em princípios pela qual as empresas podem ser melhor coordenadas e mais eficientes.

Mesmo fora das empresas de tecnologia, há muitas grandes empresas com necessidades complexas de marketing e presença global. Mas grande parte da literatura acadêmica está apenas analisando partes isoladas do problema empresarial. Então é empolgante ver que, se você é uma empresa com produtos diversos, pode fazer com que diferentes partes do seu negócio sigam na mesma direção usando aprendizado por reforço.

Três estudantes de pós-graduação dedicaram tempo durante suas dissertações para trabalhar conosco como estagiários neste artigo. E todos os três receberam ofertas da Amazon; dois já começaram, e um vai começar no início deste ano.

Uma coisa que eu realmente gosto é a capacidade de transformar minhas ideias em programas. Frequentemente estou trabalhando em um projeto e percebo que outra coisa era muito mais importante para o negócio. Temos um processo em que você escreve um comunicado à imprensa hipotético e responde algumas perguntas frequentes, chamado de PR/FAQ, sobre um futuro produto ou programa que a Amazon poderia lançar.

Através disso, tive várias oportunidades de formular um problema que quero resolver, pensar na solução, documentá-la, circular a ideia entre colegas e criar esses novos produtos baseados na ciência. É gratificante ver produtos que agora têm equipes de 25 pessoas e saber que fui eu quem apresentou o caso de negócio e conseguiu o financiamento inicial.

No meu cargo, posso equilibrar questões sobre como medimos o impacto dos anúncios nos clientes com a forma como operamos nossos sistemas de otimização que levarão a melhores resultados para nossos clientes. Quando converso com outras empresas, sinto que elas estão tentando me colocar em uma caixa; elas precisam que eu meça alguma coisa, ou gerencie um sistema de otimização. Na Amazon, tenho a flexibilidade de operar em todo o espaço do problema e realmente pensar sobre como gerar o melhor resultado para os clientes, combinando os sistemas de otimização e os sistemas de medição.

Outra coisa única sobre os cientistas aplicados aqui é que eles são focados em entregar software, e não apenas em fazer pesquisas. Eles estão desenvolvendo produtos que são duráveis e que ajudam a resolver uma necessidade de negócio a longo prazo.

Minha equipe pensa diariamente nas necessidades de publicidade da Amazon, testamos produtos de publicidade existentes em larga escala e identificamos oportunidades de melhorar. Como a Amazon é uma das maiores anunciantes do mundo, aprendemos muito. Não estamos tentando vender produtos de publicidade existentes; estamos encontrando maneiras de melhorá-los. Essa obsessão pelo cliente, junto com a flexibilidade para desenvolver a melhor solução, é algo inovador para o setor.