Kulisy publikacji: Kelly Paulson wykorzystuje algorytmy do wykrywania możliwości uczenia się w różnych jednostkach biznesowych

Kelly Paulson zaczęła pracować w firmie Amazon zaraz po ukończeniu studiów. Uzyskała doktorat z ekonomii na Uniwersytecie Kalifornijskim w San Diego i początkowo traktowała tę pracę jako „coś fajnego”, czym może się zająć, zanim przejdzie do czegoś innego. Ale praca ta spodobała jej się tak bardzo, że nie chciała odejść, i 11 lat później jest starszą kierowniczką w zespole ekonomistów i naukowców w Amazon Ads. Publikacja, której jest współautorką, Multi-task combinatorial bandits for budget allocation, zdobyła tytuł najlepszej publikacji na konferencji AdKDD w 2024 roku. Tutaj Kelly opowiada nam o tej publikacji i o swojej pracy w Amazon Ads.

Do zespołu Amazon Kindle dołączyłam w 2013 roku, tuż po obronie pracy doktorskiej. Był to pierwszy rok, w którym firma Amazon rekrutowała młodych ekonomistów zaraz po ukończeniu studiów. Zainteresowały mnie dane. Pracowałam nad technikami statystycznymi pozwalającymi zrozumieć, w jaki sposób ludzie dokonują wyborów. Oczywiście firma Amazon miał już wtedy jeden z największych na świecie zbiorów danych dotyczących ludzi dokonujących wyborów.

W tamtym czasie otrzymywałam oferty pracy w sektorze technologicznym, rządowym i akademickim i nie spodziewałam się, że zostanę w Seattle na dłużej. Chciałam jednak zdobyć praktyczne doświadczenie w pracy z rozbudowanym zestawem danych firmy Amazon, dlatego postanowiłam, że odłożę te oferty na później i przez rok będę robić coś fajnego. Zanim upłynął rok, bardzo polubiłam tę pracę i postanowiłam zostać. Chciałam przenieść się do takiego działu firmy Amazon, w którym było więcej osób zastanawiających się nad tym, jak wyodrębnić informacje z naprawdę dużych zbiorów danych. Przeniosłam się więc do Amazon Ads jako pierwszy naukowiec, który pracował nad pomiarami.

Skupiłam się na zrozumieniu, w jaki sposób reklamy wpływają na klientów, i na sposobie przekazywania tych informacji do systemów optymalizacji reklam. Unikalne sygnały Amazon mają kluczowe znaczenie dla naszej propozycji wartości. Kiedy osoba kupująca widzi reklamę butów, czy jest bardziej skłonna do zakupu tych butów? Gdybyśmy mieli okazję pokazać jutro tę samą reklamę podobnej osobie kupującej, czy powinniśmy to zrobić?

Jednak kluczowym elementem było to, w jaki sposób moglibyśmy podsumować statystyki w sposób przydatny dla reklamodawców. Czy możemy wykonać dla nich użyteczne obliczenia dotyczące zwrotu z inwestycji? Czego mogliby się dowiedzieć o swoich kampaniach związanych z powrotem do szkoły, co przydałoby się potem w kampaniach świątecznych?

To były początki rozważań nad tym, w jaki sposób firma Amazon mogłaby wprowadzać optymalizacje dotyczące klientów i reklamodawców, pomagając reklamodawcom dostarczać klientom bardziej przydatne treści we właściwym czasie.

Specjalizuję się w teorii ekonometrii, ze szczególnym uwzględnieniem modeli przyczynowych w marketingu ilościowym. W ciągu ostatnich kilku lat skupiłam się na sposobach opracowania sygnału przyczynowego i wprowadzenia go do szerszego zestawu systemów podejmujących decyzje marketingowe.

To połączenie pomiaru przyczynowego i uczenia przez wzmacnianie jest czymś, co wyróżnia firmę Amazon. Mamy tak dużą skalę, że musimy korzystać z wielu narzędzi, takich jak uczenie przez wzmacnianie, aby podejmować decyzje. Jesteśmy firmą, która działa na podstawie danych, i chcemy podejmować decyzje w oparciu o sygnały przyczynowe, a nie korelacyjne.

Inne firmy zazwyczaj koncentrują się na jednej lub drugiej stronie. To połączenie jest bardzo interesujące i w przyszłości będzie stosowane wszędzie. Firma Amazon jest liderem w tej dziedzinie.

Jak to często bywa w branży technologicznej, wykorzystujemy potrzeby firmy Amazon, aby testować nowe produkty, które być może w przyszłości będziemy sprzedawać na zewnątrz. Pracuję w dziale Ads, ale zajmuję się marketingiem dla różnych obszarów działalności firmy Amazon poza działem Ads. Możemy na przykład chcieć zwiększyć świadomość streamerów na temat nowego serialu Prime Video lub zwiększyć świadomość kupujących na temat ofert świątecznych.

Mój zespół wspiera wewnętrzną działalność firmy Amazon, wykorzystując produkty Amazon Ads do realizacji celów marketingowych. Zespół jest zróżnicowany — w jego skład wchodzą, oprócz naukowców i inżynierów, eksperci w dziedzinie marketingu, którzy utrzymują bliskie relacje z liderami biznesowymi. Wspólnie identyfikujemy możliwości wykorzystania algorytmów w systemach reklamowych i dostrzegamy wzorce, których inni nie dostrzegają.

Pomysł na tę publikację polegał na sprawdzeniu, czy możemy się czegoś dowiedzieć, analizując informacje dotyczące różnych produktów za pomocą algorytmu. Pokazujemy, że gdy stosujemy techniki uczenia przez wzmacnianie, możemy poprawić wyniki jednego produktu, wykorzystując to, czego nauczyliśmy się na podstawie innych produktów, i to w czasie rzeczywistym. Uruchamialiśmy ten algorytm codziennie.

Załóżmy, że mamy już kilka kampanii marketingowych dla różnych urządzeń i wprowadzamy na rynek nowe urządzenie na święta. Od czego zacząć? Ten algorytm pozwala nam wykorzystać wiedzę uzyskaną z innych działań marketingowych, które prowadziliśmy dla istniejących urządzeń, i rozpocząć nową kampanię ze zoptymalizowaną konfiguracją.

Przede wszystkim obserwujemy znaczną poprawę skuteczności. W wielu innych publikacjach przedstawionych na konferencji AdKDD poprawa współczynnika klikalności wynosiła 2% lub 3%. U nas średnia liczba kliknięć wzrosła o 18%. Wykazaliśmy również redukcję kosztu kliknięcia o 12,7%.

Pokazuje to, że nawet jeśli chcemy koordynować produkty, jest to po prostu bardzo trudne, i algorytmy takie jak ten, które umożliwiają systematyczne wzajemne uczenie się między produktami, zapewniają ogromne możliwości biznesowe. Eksperci ds. marketingu różnych produktów mogą wymieniać się wiedzą podczas wspólnych lunchów i szkoleń oraz opracowywać podręczniki sprawdzonych metod. Jednak współpraca między ludźmi jest kosztowna, a w szybko rozwijającej się branży trudno jest aktualizować niuanse w zakresie statystyk. Jest to oparty na zasadach i systemie sposób, dzięki któremu przedsiębiorstwa mogą lepiej koordynować swoje działania i zwiększać ich efektywność.

Nawet poza firmami technologicznymi istnieje wiele dużych przedsiębiorstw o

złożonych potrzebach marketingowych i globalnym zasięgu. Jednak duża część literatury naukowej skupia się wyłącznie na odosobnionych fragmentach problemów biznesowych. Dlatego to ekscytujące, że w firmie o zróżnicowanych produktach można sprawić, aby jej różne części szły w tym samym kierunku, wykorzystując uczenie przez wzmacnianie.

Trzy osoby podczas pisania prac doktorskich pracowały z nami jako stażyści nad tą publikacją. I wszystkie trzy otrzymały ofertę pracy od firmy Amazon. Dwie osoby już zaczęły, a jedna zacznie na początku tego roku.

Jedną z rzeczy, które naprawdę mi się podobają, jest możliwość rozwijania moich pomysłów w programy. Często pracuję nad jednym projektem, po czym zdaję sobie sprawę, że dla firmy o wiele ważniejsze jest coś innego. Mamy u nas taki proces, w którym piszesz hipotetyczny komunikat prasowy i odpowiadasz na kilka często zadawanych pytań — tak zwane PR/FAQ — na temat przyszłego produktu lub programu, który firma Amazon mogłaby wprowadzić na rynek.

Dzięki temu wielokrotnie miałam okazję sformułować problem, która chciałam rozwiązać, zastanowić się nad rozwiązaniem, zapisać je, przedstawić pomysł współpracownikom i stworzyć nowe produkty oparte na nauce. Miło jest widzieć produkty, nad którymi pracują teraz zespoły składające się z 25 osób, i wiedzieć, że to ja byłam tą osobą, która przedstawiła ich uzasadnienie biznesowe i zdobyła początkowe finansowanie.

Pracując na moim stanowisku, mogę znaleźć równowagę między pytaniami o to, w jaki sposób mierzymy wpływ reklam na klientów, a tym, w jaki sposób obsługujemy nasze systemy optymalizacji, aby przełożyło się to na lepsze wyniki dla naszych klientów. Kiedy rozmawiam z innymi firmami, mam wrażenie, że próbują mnie przypisać do jakiejś szuflady — oczekują, że będę albo coś mierzyć, albo zarządzać systemem optymalizacji. W firmie Amazon mam swobodę działania w obrębie całego obszaru problemowego i mogę zastanowić się nad tym, jak pomóc klientom osiągnąć najlepsze wyniki, łącząc systemy optymalizacji z systemami pomiarowymi.

Kolejną rzeczą, która wyróżnia pracujących tu naukowców jest to, że skupiają się na dostarczaniu oprogramowania, a nie tylko na prowadzeniu badań. Tworzą produkty, które są trwałe i pomagają zaspokajać długoterminowe potrzeby biznesowe.

Mój zespół każdego dnia myśli o potrzebach reklamowych firmy Amazon — testujemy istniejące produkty reklamowe na dużą skalę i identyfikujemy możliwości ich ulepszenia. Dzięki temu, że firma Amazon jest jednym z największych reklamodawców na świecie, uczymy się bardzo dużo. Nie próbujemy sprzedawać istniejących produktów reklamowych — szukamy sposobów na ich ulepszenie. Taka koncentracja na potrzebach klienta oraz możliwość elastycznego projektowania najlepszych rozwiązań są nowością w branży.