论文背后： Kelly Paulson 运用算法跨业务单元挖掘学习机遇

Kelly Paulson 运用算法在各业务单元中寻找学习契机。她在美国加州大学圣地亚哥分校获得了经济学博士学位，起初只是把这份工作当作“一件有趣的事情”来尝试，打算之后再寻找其他发展道路。但她对这份工作实在是太热爱了，以至于 11 年后的今天，她已经成长为亚马逊广告部门的经济学家与应用科学高级经理。她与人合著的论文《Multi-task combinatorial bandits for budget allocation》在2024年AdKDD会议上荣获优秀论文奖。以下，Kelly 将就这篇论文发表她的看法，并分享她在亚马逊广告部门的工作经历。

2013 年，我刚完成博士论文，就加入了亚马逊的 Kindle 团队。那时，亚马逊首次直接从研究生院招聘了初级经济学家，而我就是其中之一。我被公司提供的数据所吸引。我一直致力于研究统计技术，旨在探究人们如何做出选择，而亚马逊无疑掌握着世界上最为庞大的用户选择数据集之一。

当时，我收到了来自科技界、政府部门以及学术界的多个工作邀请，并没打算在西雅图长期定居。但由于我对亲自处理亚马逊那海量的数据充满了浓厚兴趣，所以我决定暂时放下其他邀请，先在这里“体验”一年。一年结束后，我发现自己真的爱上了这份工作，于是决定继续留下来。我希望能加入亚马逊的一个部门，那里有更多的同事在思考如何从庞大的数据集中挖掘出有价值的信息。于是，我加入了亚马逊广告团队，成为了团队中首位专注于数据广告效果衡量的科学家。

我的工作是深入了解广告如何影响顾客，以及如何将这些信息传递给广告优化系统。亚马逊的独特数据信号是我们核心价值主张的关键所在。当一位顾客看到一则鞋子广告时，他们是否更有可能购买那双鞋子？ 如果我们有机会明天向类似的购物者再次展示同样的广告，那么我们应该抓住这个机会吗？

但关键在于，我们如何以对广告主有用的方式总结这些洞察。我们能为他们提供准确且有用的投资回报率计算分析吗？ 他们能从返校季的广告活动中汲取哪些经验，并将其融入到假日广告活动中呢？

那时，我们刚开始探索亚马逊如何通过协助广告主在恰当的时机为顾客呈现更多有价值的内容，进而实现顾客与广告主的双赢优化。

我的背景是计量经济学理论，特别专注于定量营销中的因果模型。过去几年里，我一直对如何挖掘因果信号，并将其融入到更广泛的营销决策体系中，保持着浓厚的兴趣。

在亚马逊，将因果广告效果衡量与强化学习相结合的做法是非常独特的。我们的业务规模如此庞大，以至于我们必须借助强化学习等多种工具来辅助决策。我们是一家数据驱动的企业，我们致力于依据因果信号，而非仅仅是相关信号，来做出决策。

其他企业通常只关注其中一方面。这种结合方式极具趣味性，未来有望在各个领域得到广泛应用和推广。亚马逊在这一领域处于领先地位。

在科技行业，很常见的是，我们会利用亚马逊自身的需求来测试新产品，这些产品最终可能会对外销售。我虽然在广告部门工作，但我也为亚马逊广告之外的多个业务部门提供营销支持。例如，我们可能希望提高内容流媒体用户对 Prime Video 新系列的认知度，或者提升顾客对假日优惠促销的认知度。

因此，我的团队利用亚马逊广告产品支持亚马逊的内部业务，帮助他们实现营销目标。我们的团队多元化，既有与业务部门领导关系密切的营销领域专家，也有科学家和工程师。我们共同努力，在广告系统中寻找使用算法的机会，发现其他人无法察觉的模式。

这篇论文的初衷是探究算法是否能够通过分析不同产品的相关信息，从而学习到有价值的知识或规律。我们论证了，在运用强化学习技术的情况下，我们能够实时地借鉴其他产品所学到的知识，进而助力某一产品实现更优的表现。我们每天都在运行这个算法。

假设我们已经为各种设备启动了一系列营销广告活动，现在，随着假日的临近，我们准备推出一款全新的设备。那么，我们应该从何处着手呢？ 这个算法能够助力我们充分利用现有设备营销活动的已知信息，以更优化的配置来启动新的广告活动。

最主要的是，效果方面的提升非常显著。在 AdKDD 会议上，很多其他论文报告的点击率提升仅为 2%或 3%。而我们的总点击量平均提升了 18%。我们还成功实现了单次点击成本降低 12.7% 的好成绩。

这表明，尽管产品之间有意进行协同，但实际操作起来却困难重重，而利用这类算法帮助促进产品之间系统地相互学习，无疑蕴含着巨大的商业潜力。不同产品的营销专家们可以通过“午餐学习会”来交流分享各自的经验，并共同制定出优秀实践指南，然而，这种人工协调的方式成本高昂，并且在快速变化的行业中，很难确保这些细微洞察的时效性和准确性。这是一种基于原则且系统性的方法，能够助力企业实现更协调、更高效的运营。

即便在科技公司范畴之外，也有众多大型企业面临着复杂的营销需求和遍布全球的业务布局。但很多学术文献只是孤立地研究业务问题的一部分。因此，对于产品多元化的公司而言，令人振奋的是，通过强化学习，能够促使公司各部门协同一致，共同朝着同一目标迈进。

在撰写这篇论文的过程中，我们有幸与三名研究生合作，他们作为实习生参与了论文的完成工作。他们三位研究生都收到了亚马逊的录用通知，其中两人已经顺利入职，另一位也将在今年年初加入我们。

我特别喜欢的一点是，在这里我能将自己的想法逐步发展成实际的项目。我在做一个项目的过程中，经常会意识到另一件事情对业务来说更为关键。我们有一个特定的流程，就是起草一篇假设性的新闻稿，并针对亚马逊未来可能推出的产品或项目，预先准备并回答一系列常见问题（我们称之为 PR/FAQ）。

通过这个流程，我多次有机会提出自己想要解决的问题，构思解决方案，将其撰写成文，与同事们交流探讨，最终催生出这些以科学为驱动的新产品。如今看到这个已发展到 25 人团队的产品，想到自己是那个提出商业案例并成功获得初期资金的人，这种感觉真是太棒了。

在我的职位上，我能够兼顾如何准确衡量广告对顾客的影响，以及我们如何运营并优化系统，从而为顾客带来更优的结果这两个方面的问题。当我与其他公司交流时，我感觉他们总是试图将我限制在某个特定的领域，要么让我负责衡量某些指标，要么让我管理一个优化系统，似乎总想让我二者选其一。而在亚马逊，我有足够的灵活性在整个问题空间内自由发挥，能够真正深入思考如何为客户带来满意的结果，将优化系统与广告效果衡量系统有机地结合起来。

亚马逊的应用科学家们还有一个独特之处，那就是他们不仅仅满足于做研究，而是专注于将研究成果转化为实际的软件产品并交付使用。他们所构建的产品既具有持久性，又能帮助有效解决长期的业务需求。

我的团队每天都在深入思考亚马逊自身的广告需求，对现有的广告产品进行大规模测试，并积极寻找改进和优化的机会。由于亚马逊是全球最大的广告主之一，因此我们在这个过程中积累了大量的宝贵经验和知识。我们并不是在简单地推销现有的广告产品，而是在不断探索如何改进和优化它们。这种以顾客为中心的理念，以及在设计优秀解决方案时所展现出的灵活性，在广告行业中是颇具新意的。