Detrás del documento: Kelly Paulson utiliza algoritmos para detectar oportunidades de aprendizaje en todas las unidades de negocios

Kelly Paulson aceptó un trabajo en Amazon apenas terminó su doctorado. Había obtenido un doctorado en economía de la Universidad de California en San Diego e inicialmente vio el trabajo como “algo divertido” para hacer antes de pasar a otra cosa. Pero le gustó demasiado como para irse y, 11 años después, se desempeña como gerenta sénior de economistas y científicos aplicados en Amazon Ads. El documento del que fue coautora, Multi-task combinatorial bandits for budget allocation (Bandidos combinatorios multitareas para la asignación de presupuesto), ganó el premio al mejor trabajo en la conferencia AdKDD de 2024. Aquí, Kelly habla sobre el documento y su trabajo en Amazon Ads.

Me uní al equipo de Amazon Kindle en 2013 cuando acababa de terminar mi disertación, y era el primer año en que Amazon estaba reclutando economistas junior recién salidos de la escuela de posgrado. Me atraían los datos. Había estado trabajando en técnicas estadísticas para aprender sobre cómo las personas toman decisiones y, por supuesto, Amazon ya tenía uno de los conjuntos de datos más grandes del mundo de estas personas.

En ese momento, tenía ofertas de trabajo en tecnología, el gobierno y academias, y no esperaba quedarme en Seattle a largo plazo. Pero como me interesaba tener experiencia práctica con los datos enriquecidos de Amazon, pensé en postergar mis ofertas y hacer algo divertido durante un año. Cuando terminó el año, decidí que me gustaba mucho el trabajo y me quedé. Quería trabajar en una parte de Amazon donde hubiera más personas pensando en cómo extraer información de conjuntos de datos realmente grandes. Entonces pasé a Amazon Ads como la primera científica en trabajar en el área de medición.

Me centré en entender cómo la publicidad influía en los clientes y cómo transmitir esa información a los sistemas de optimización de anuncios. Las señales únicas de Amazon son fundamentales para nuestra propuesta de valor. Cuando un comprador ve un anuncio de zapatos, ¿es más probable que compre esos zapatos? Si tenemos la oportunidad de mostrarle a un comprador similar el mismo anuncio mañana, ¿deberíamos hacerlo?

Pero una pieza crítica de eso era cómo podíamos resumir la información de una manera que fuera útil para los anunciantes. ¿Podíamos hacer cálculos útiles de retorno de la inversión para ellos? ¿Qué podían aprender sobre sus campañas de vuelta a clases que podían incorporar a sus campañas para las fiestas?

Apenas empezábamos a pensar en cómo Amazon podía optimizar conjuntamente compradores y anunciantes al ayudar a los anunciantes a llevar más contenido útil a los compradores en el momento adecuado.

Mi formación es en teoría econométrica, con un enfoque particular en modelos causales en marketing cuantitativo. En los últimos dos años, me interesó mucho cómo desarrollar una señal causal y llevarla a un conjunto más amplio de sistemas que toman decisiones de marketing.

Esa intersección de medición causal y aprendizaje por refuerzo es algo muy único de Amazon. Tenemos una escala tan grande que necesitamos usar muchas herramientas como el aprendizaje por refuerzo para tomar decisiones. Somos una empresa que se basa mucho en los datos, y queremos tomar decisiones basadas en señales causales, no en señales correlacionales.

Otras empresas suelen centrarse en un lado u otro. La intersección es muy interesante y estará en todas partes en el futuro. Amazon está a la vanguardia de esa área.

Como es bastante común en la industria tecnológica, utilizamos las propias necesidades de Amazon para someter a pruebas nuevos productos que eventualmente podemos vender externamente. Estoy en la organización de Ads, pero trabajo en marketing para un conjunto diverso de empresas de Amazon fuera de Ads. Por ejemplo, podríamos querer aumentar el reconocimiento de los streamers de contenido en torno a una nueva serie de Prime Video o concientizar a los usuarios sobre ofertas para las fiestas.

Mi equipo apoya a las empresas internas de Amazon que usan los productos de Amazon Ads para cumplir sus objetivos de marketing. El equipo es diverso, y cuenta con expertos en el dominio del marketing que tienen relaciones estrechas con líderes empresariales además de los científicos e ingenieros. Juntos, identificamos oportunidades para usar algoritmos en sistemas publicitarios y para ver patrones que otras personas no pueden ver.

La idea de este documento era ver si podíamos aprender algo de tener un algoritmo que analizara información en diferentes productos. Mostramos que, cuando usamos técnicas de aprendizaje por refuerzo, esencialmente podemos ayudar a un producto a tener mejores resultados al usar lo que otros productos han aprendido y a lograrlo muy en tiempo real. Hemos estado ejecutando este algoritmo a diario.

Imaginemos que ya tenemos un montón de campañas de marketing para diferentes dispositivos y lanzamos un nuevo dispositivo para las fiestas. ¿Por dónde empezamos? El algoritmo nos permite tomar lo que ya conocemos de las otras técnicas de marketing que hemos implementado para los dispositivos existentes y comenzar la nueva campaña con una configuración optimizada.

Lo principal es que la mejora en el desempeño es bastante alta. En la conferencia de AdKDD, en muchos de los otros documentos se informó una mejora del 2% o 3% en la tasa de clics. Nuestra mejora en el total de clics fue del 18% en promedio. También mostramos una reducción del 12,7% en el costo por clic.

Con esto demostramos que, incluso cuando hay una intención de coordinar productos, esto es muy difícil, y hay una gran oportunidad comercial al usar algoritmos como este para ayudar a los productos a aprender sistemáticamente unos de otros. Los expertos en marketing de diferentes productos pueden compartir lo que han aprendido entre ellos en “almuerzos de aprendizajes” y desarrollar guías de prácticas recomendadas, pero la coordinación entre seres humanos es costosa y es difícil mantener al día la información matizada en una industria que evoluciona rápidamente. Esta es una manera sistemática y basada en principios en la que las empresas pueden estar mejor coordinadas y ser más eficientes.

Incluso fuera de las empresas tecnológicas, hay muchas grandes empresas con necesidades complejas de marketing y presencia global. Pero gran parte de la literatura académica solo analiza partes aisladas del problema empresarial. Así que es emocionante que, si tienes una empresa que vende productos diversos, puedas lograr que diferentes sectores trabajen todos en la misma dirección utilizando el aprendizaje por refuerzo.

Tres estudiantes de posgrado dedicaron tiempo durante sus tesis doctorales para trabajar con nosotros como pasantes en este documento. Y los tres consiguieron ofertas de Amazon; dos ya comenzaron, y uno va a comenzar a principios de este año.

Algo que realmente me gusta es la capacidad de desarrollar mis ideas y convertirlas en programas. A menudo, me encuentro trabajando en un proyecto y me doy cuenta de que hay algo mucho más importante para el negocio. Tenemos un proceso en el que escribes un comunicado de prensa hipotético y respondes algunas preguntas frecuentes, llamado Comunicado de prensa/documento de preguntas frecuentes, sobre un producto o programa que Amazon podría tener en el futuro.

A través de esto, he tenido varias oportunidades de formular un problema que quiero resolver, pensar en la solución, escribirla, hacer circular la idea entre colegas y originar estos nuevos productos impulsados por la ciencia. Es emocionante ver productos que ahora cuentan con equipos de 25 personas y saber que fui yo quien formuló el caso de negocios y obtuve el financiamiento inicial.

En mi puesto, puedo equilibrar preguntas sobre cómo medimos el impacto de los anuncios en los clientes con la manera en que operamos nuestros sistemas de optimización que conducirán a mejores resultados para nuestros clientes. Cuando hablo con otras empresas, siento que están tratando de encasillarme; me necesitan para medir algo o administrar un sistema de optimización. En Amazon, tengo la flexibilidad de operar en todo el espacio de problemas y pensar realmente en cómo impulsar los mejores resultados para los clientes, al combinar los sistemas de optimización y los sistemas de medición.

Otro aspecto único acerca de los científicos aplicados aquí es que se centran en entregar software, no solo en hacer investigación. Crean productos duraderos que ayudan a resolver una necesidad comercial a largo plazo.

Mi equipo piensa en las necesidades publicitarias propias de Amazon todos los días, probamos los productos publicitarios existentes a gran escala e identificamos oportunidades para mejorar. Como Amazon es uno de los mayores anunciantes del mundo, aprendemos mucho. No estamos tratando de vender productos publicitarios existentes: buscamos formas de mejorarlos. Esa pasión por el cliente, junto con la flexibilidad para diseñar la mejor solución, es algo novedoso en la industria.