논문의 이면: Kelly Paulson, 알고리즘을 사용하여 사업부 전반에서 학습 기회를 찾다

Kelly Paulson은 대학원을 졸업한 후 아마존에 취직했습니다. 그녀는 University of California San Diego에서 경제학 박사 학위를 취득했으며 처음에는 이 일을 다른 일을 하기 전에 해야 할 ‘재미있는 일’이라고 생각했습니다. 그러나 그녀는 그 일을 너무 좋아해서 떠나지 않았고, 11년 후에는 아마존 광고에서 경제학자 및 응용 과학자 팀의 선임 관리자가 되었습니다. 그녀가 공동 저술한 Multi-task combinatorial bandits for budget allocation 논문은 2024 AdKDD conference에서 최우수 논문을 수상했습니다. 여기에서 Kelly는 이 논문과 아마존 광고에서 수행한 작업에 대해 설명합니다.

저는 논문을 막 마친 2013년에 아마존 Kindle 팀에 합류했습니다. 아마존이 대학원을 막 졸업한 주니어 경제학자를 모집한 첫 해였습니다. 저는 데이터에 매료되었습니다. 사람들이 어떻게 선택을 하는지 배우기 위한 통계 기법을 연구해 왔고, 물론 아마존은 이미 사람들이 선택하는 세계에서 가장 큰 데이터 세트 중 하나를 가지고 있었습니다.

당시 저는 기술, 정부 및 학계 전반에 걸쳐 구인 제안을 받았지만 시애틀에 장기간 머무를 거라고는 예상하지 못했습니다. 하지만 아마존의 풍부한 데이터를 직접 경험해 보는 데 관심이 있었기 때문에 제안을 연기하고 1년 동안 재미있는 일을 하고 싶다고 생각했습니다. 그해 말까지 그 일이 정말 마음에 들어서 머물기로 결심했습니다. 정말 큰 데이터 세트에서 정보를 추출하는 방법에 대해 생각하는 사람들이 더 많은 아마존의 한 곳으로 옮기고 싶었습니다. 그래서 저는 측정 연구를 시작한 최초의 과학자로 아마존 광고에 입사했습니다.

광고가 고객에게 미치는 영향과 해당 정보를 광고 최적화 시스템으로 전송하는 방법을 이해하는 데 중점을 두었습니다. 아마존의 고유한 신호는 가치 제안의 핵심입니다. 쇼핑객이 신발 광고를 볼 때 해당 신발을 구매할 가능성이 더 높은가? 내일 비슷한 쇼핑객에게 같은 광고를 보여줄 기회가 있다면 그렇게 해야 하는가?

하지만 가장 중요한 부분은 광고주에게 유용한 방식으로 인사이트를 요약하는 방법이었습니다. 이들을 위해 유용한 투자 수익률 계산을 할 수 있을까? 신학기 캠페인에 대해 무엇을 배울 수 있을까? 이를 홀리데이 캠페인에 통합할 수 있을까?

아마존이 광고주가 적절한 시기에 쇼핑객에게 더 유용한 콘텐츠를 제공할 수 있도록 지원함으로써 쇼핑객과 광고주 전반을 공동으로 최적화할 수 있는 방법을 고민하던 초창기였습니다.

제 경력은 계량 경제학 이론이며, 특히 양적 마케팅의 인과 관계 모델에 중점을 두고 있습니다. 지난 몇 년 동안 저는 인과 신호를 개발하여 마케팅 결정을 내리는 광범위한 시스템에 전달하는 방법에 관심이 많았습니다.

인과 관계 측정과 강화 학습의 교차점은 아마존에서만 볼 수 있는 독특한 기능입니다. 아마존은 규모가 너무 커서 결정을 내리기 위해 강화 학습과 같은 많은 도구를 사용해야 합니다. 아마존은 매우 데이터 중심적인 회사이며 상관 신호가 아닌 인과 신호를 기반으로 의사 결정을 내리고자 합니다.

다른 회사들은 보통 한쪽 또는 다른 쪽에 초점을 맞춥니다. 교차로는 매우 흥미롭고 앞으로 어디에나 있을 것입니다. 아마존은 그 분야의 최전선에 있습니다.

기술 업계에서 흔히 볼 수 있는 것처럼 아마존은 아마존의 자체 요구 사항을 활용하여 결국 외부에 판매할 수 있는 신상품에 대한 압력 테스트를 실시합니다. 저는 광고 조직에 속해 있지만 광고 이외의 다양한 아마존 비즈니스를 위한 마케팅 업무를 담당하고 있습니다. 예를 들어 새로운 프라임 비디오 시리즈에 대한 콘텐츠 스트리머의 인지도를 높이거나 홀리데이 딜에 대한 쇼핑객의 인지도를 높이고 싶을 수 있습니다.

그래서 저희 팀은 아마존 광고 상품을 사용하여 마케팅 목표를 달성하는 아마존 내부 비즈니스를 지원합니다. 팀은 과학자와 엔지니어 외에도 비즈니스 리더와 긴밀한 관계를 맺고 있는 마케팅 분야 전문가로 구성되어 있습니다. 우리는 함께 광고 시스템에서 알고리즘을 사용하고 다른 사람들이 볼 수 없는 패턴을 볼 수 있는 기회를 찾아냅니다.

이 논문의 아이디어는 알고리즘을 통해 다양한 상품에 대한 정보를 분석함으로써 배울 수 있는 것이 있는지 알아보는 것이었습니다. 강화 학습 기법을 사용할 때 다른 상품에서 학습한 것을 매우 실시간으로 활용함으로써 한 상품이 더 잘 작동하도록 도울 수 있다는 것을 보여줍니다. 우리는 이 알고리즘을 매일 실행해 왔습니다.

이미 다양한 기기에 대한 마케팅 캠페인을 벌이고 있는데 연말연시에 새 기기를 출시한다고 가정해 보겠습니다. 어디서부터 시작해야 할까요? 이 알고리즘은 기존 디바이스에 대해 수행한 다른 마케팅에서 얻은 정보를 바탕으로 최적화된 설정으로 새 캠페인을 시작할 수 있는 방법입니다.

가장 중요한 것은 성능 향상이 상당히 크다는 것입니다. AdKDD conference에서 다른 많은 논문들은 클릭률이 2% 또는 3% 개선되었다고 보고했습니다. 우리의 총 클릭수 증가율은 평균 18%에 달했습니다. 또한 클릭당 비용이 12.7% 감소했습니다.

상품을 조정하려는 의도가 있더라도 정말 어렵다는 것을 보여줍니다. 이와 같은 알고리즘을 사용하여 상품이 서로 체계적으로 학습하도록 돕는 것은 엄청난 비즈니스 기회가 있다는 것을 보여줍니다. 다양한 상품에 대한 마케팅 전문가는 ‘점심 식사 후 학습’을 통해 서로 배운 내용을 공유하고 모범 사례를 담은 플레이북을 개발할 수 있습니다. 하지만 서로 협력하려면 비용이 많이 들고 빠르게 진화하는 업계에서 미묘한 인사이트를 최신 상태로 유지하기가 어렵습니다. 이는 기업이 더 잘 협력하고 효율성을 높일 수 있는 원칙적이고 체계적인 방법입니다.

기술 회사 외에도 복잡한 마케팅 요구 사항과 글로벌 입지를 갖춘 대기업이 많이 있습니다. 하지만 많은 학술 문헌은 비즈니스 문제의 고립된 부분만 살펴보고 있습니다. 따라서 다양한 상품을 보유한 회사라면 강화 학습을 사용하여 비즈니스의 여러 부분을 모두 같은 방향으로 끌어들일 수 있다는 점이 흥미롭습니다.

세 명의 대학원생이 논문 논문을 작성하는 동안 시간을 내어 우리와 함께 이 논문을 작성했습니다. 그리고 세 곳 모두 아마존 오퍼를 받았습니다. 두 곳은 이미 시작되었고, 한 곳은 올해 초에 시작될 예정입니다.

정말 좋아하는 것 중 하나는 제 아이디어를 프로그램으로 발전시킬 수 있다는 것입니다. 종종 한 프로젝트를 진행하면서 다른 것이 비즈니스에 훨씬 더 중요하다는 것을 깨닫곤 합니다. 아마존에는 고객이 가상의 보도 자료를 작성하고 아마존이 향후 출시할 상품이나 프로그램에 대해 자주 묻는 질문(PR/FAQ)에 답변하는 프로세스가 있습니다.

이를 통해 해결하고 싶은 문제를 정립하고, 솔루션에 대해 생각하고, 글을 쓰고, 동료들에게 아이디어를 전달하고, 새로운 과학 기반 상품을 만들 수 있는 기회를 여러 번 가졌습니다. 현재 25명으로 구성된 팀이 있는 상품을 보고, 비즈니스 사례를 제시하고 초기 자금을 조달한 사람이 저라는 사실을 알게 되어 정말 재미있습니다.

저는 광고가 고객에게 미치는 영향을 측정하는 방법과 고객에게 더 나은 결과를 제공할 최적화 시스템을 운영하는 방법에 대한 질문의 균형을 맞출 수 있습니다. 다른 회사들과 이야기를 나누다 보면 마치 저를 틀에 박아 넣으려는 것 같은 느낌이 듭니다. 그들은 제가 무언가를 측정하거나 최적화 시스템을 관리할 것을 요구합니다. 아마존에서는 문제 영역 전체를 유연하게 운영할 수 있습니다. 최적화 시스템과 측정 시스템을 결합하여 고객을 위해 최상의 결과를 이끌어내는 방법에 대해 많이 고민하고 있습니다.

아마존 응용 과학자들의 또 다른 독특한 점은 단지 연구를 하는 것이 아니라 소프트웨어를 제공하는 데 초점을 맞추고 있다는 것입니다. 이들은 내구성이 뛰어나고 장기적인 비즈니스 요구 사항을 해결하는 데 도움이 되는 상품을 만들고 있습니다.

우리 팀은 매일 아마존의 자체 광고 요구 사항에 대해 생각하고 기존 광고 상품을 대규모로 테스트하고 더 나은 기회를 찾아냅니다. 아마존이 세계에서 가장 큰 광고주 중 하나이기 때문에 많은 것을 배웁니다. 기존 광고 상품을 판매하려는 것이 아니라 개선 방법을 찾고 있습니다. 최고의 솔루션을 설계할 수 있는 유연성과 함께 고객에 대한 집착은 업계에서 새로운 것입니다.