как математика позволяет зарабатывать деньги
Transcript of как математика позволяет зарабатывать деньги
![Page 1: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/1.jpg)
Михаил Левин Заместитель руководителя разработки рекламной системы Яндекса
Реклама на поиске
![Page 2: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/2.jpg)
2
Реклама над результатами поиска
![Page 3: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/3.jpg)
3
Справа
![Page 4: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/4.jpg)
4
И под результатами поиска
![Page 5: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/5.jpg)
5
• Показы? CPM (Cost-per-mille)
• Конверсии? CPA (Cost-per-action)
• Клики! PPC (Pay-per-click)
За что нам платят рекламодатели?
Показы Конверсии Клики
![Page 6: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/6.jpg)
6
• В соответствии с запросом пользователя • Пример: «пластиковые окна в ростове» • Ключевые фразы
– окна – пластиковое окно – пластиковые окна –ростов – окна –пластиковые – деревянные окна
• Формируем список кандидатов
Как отбирать рекламу?
![Page 7: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/7.jpg)
7
• Одно рекламное место
• Объявление №1: 1000 показов, 100 кликов • Объявление №2: 500 показов, 100 кликов • Объявление №3: 10000 показов, 300 кликов
• Вероятности клика: 10%, 20%, 3%
Что лучше показать?
![Page 8: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/8.jpg)
8
• В соответствии с запросом пользователя • Пример: «пластиковые окна в ростове» • Ключевые фразы
– окна – пластиковое окно – пластиковые окна –ростов – окна –пластиковые – деревянные окна
• Формируем список кандидатов • Ставки!
Как отбирать рекламу?
![Page 9: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/9.jpg)
9
• Одно рекламное место
• №1: 1000 показов, 100 кликов – Ставка $0.3
• №2: 500 показов, 100 кликов – Ставка $0.1
• №3: 10000 показов, 300 кликов – Ставка $2
• Вероятности клика: 10%, 20%, 3% • CPM = денег с 1000 показов: $30, $20, $60
Что лучше показать?
![Page 10: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/10.jpg)
10
• Аукцион: кто больше? • Аукцион 1-й цены: плати свою ставку • Плохо: все «врут», постоянная торговля • Аукцион 2-й цены: плати ставку следующего • Выгодно «говорить правду»
Сколько списать?
![Page 11: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/11.jpg)
11
• Ценность клика v (value-per-click) • Ставка b, наибольшая из остальных b’ • Цена клика c < b • Вероятность клика p • Прибыль с одного показа s = p(v – c) • Выгодно ставить b = v! • b < v - невыгодно
– b’ > v → p = 0, s = 0 в любом случае – b’ < b → с = b’, s = p(v – c) и при b = v – b < b’ < v → s = 0, но при b = v было бы s = p(v – b’)
• Аналогично, b > v - невыгодно
Аукцион второй цены
![Page 12: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/12.jpg)
12
• Что если рекламных мест несколько? • Чем выше, тем больше кликов • Списываемая цена = минимальная ставка, при которой остаемся на той же позиции
Обобщенный аукцион второй цены
![Page 13: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/13.jpg)
13
• Мировой рынок $25 000 000 000 в 2013
• Выручка Яндекса в 2013 > $1 000 000 000
• Типичное улучшение на 2% - $20M в год
Поисковая реклама
![Page 14: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/14.jpg)
14
• Теория игр, теория аукционов • Машинное обучение • Моделирование, симуляции • Эксперименты на пользователях • Статистика, эконометрика • Распределенные вычисления • Big Data – MapReduce и др.
Что используется
![Page 15: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/15.jpg)
15
• CTR (click-through rate) ≔ P(click) = ? • P(click) = Clicks / Shows • Зависит от запроса Q • P(click) = Clicks(Q, Ad) / Shows(Q, Ad) • Слишком много уникальных запросов L • Фраза P – почти то же, что запрос Q • Фраз ограниченное число • P(click) = Clicks(P, Ad) / Shows(P, Ad)
Вероятность клика или CTR
![Page 16: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/16.jpg)
16
«Жирные» слова в заголовке
![Page 17: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/17.jpg)
17
• P(click) = Clicks(P, Ad) / Shows(P, Ad) • За какой период брать статистику? • А если запрос все-таки влияет?
– Ключевая фраза iphone, продают последнюю модель – iphone 3GS, iphone 5, iphone 6, iphone наушники – разный CTR
• Объявление отвечает на запрос? • Есть доставка в регион пользователя? • Смотрит с компьютера или с телефона?
Вероятность клика
![Page 18: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/18.jpg)
18
• Как использовать всю информацию? • Сотни миллионов строк логов • В каждой строке сотни признаков • Машинное обучение
Вероятность клика
Clicks Shows Region Text Relevance … Click? P(click)
10 100 Москва 0.586 … 0 0.11
1 200 Ростов 0.253 … 0 0.003
… … … … … … …
0 1 СПб 0.85 1 0.12
![Page 19: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/19.jpg)
19
• Оценки асессоров • Общие слова запроса и объявления • Статистика по объявлению, домену • Можно убрать 20% лишних показов и не потерять кликов!
Релевантность
![Page 20: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/20.jpg)
20
• Пользователи читают сверху вниз • Первая позиция гораздо лучше второй • Прогнозируем CTR по статистике • Завышаем прогноз объявлению с 1-й позиции
• Можем вообще не показать лучшее объявление!
Позиционный эффект
![Page 21: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/21.jpg)
21
• Две рекламных позиции • Первая позиция на 30% более кликабельна • CPM1=$10, всегда на 1-й позиции • CPM2=$9, 50% на 1-й, 50% на второй • CPM3=$8, всегда на 2-й позиции • 3-е объявление лучше всех:
– CPM1(Pos1) = CPM1 = $10 – CPM2(Pos1) = 0.5 * CPM2 + 0.5 * CPM2 * 1.3 = $10.35 – CPM3(Pos1) = CPM2 * 1.3 = $10.4
• Но оно не покажется L
Позиционный эффект: пример
![Page 22: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/22.jpg)
22
• Разные веса событиям в «обучающем логе» • Клик на второй позиции важнее • Раздельная статистика по позициям • «Многорукий бандит» • Модели поведения пользователя
Позиционный эффект: лечим
![Page 23: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/23.jpg)
23
• Две формулы: старая и новая • Берем запросы из прошлого • Берем всю базу с объявлениями • Симулируем аукцион с обеими формулами • Смотрим, где больше кликов, денег • Откуда взять клики? • Генерируем клики новой формулой
Как узнать, стало ли лучше?
![Page 24: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/24.jpg)
24
• Запустим и посмотрим на клики, деньги • А что если погода плохая? • Эксперимент: на 2% пользователей новая формулу, на остальном - старая
• Сравним клики, деньги в среднем на 1% пользователей
• Как долго ждать? • Оценим статистическую значимость • A/B-тестирование
Как на деле узнать, стало ли лучше?
![Page 25: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/25.jpg)
25
• Не до всех фраз можно догадаться • Но мы-то все знаем! • Найдем похожие фразы у других и добавим • Сейчас все ищут фразы под запросы • А у нас найдется все • Проиндексируем объявления • Найдем все, релевантные запросу
Поможем рекламодателям
![Page 26: как математика позволяет зарабатывать деньги](https://reader030.fdocuments.net/reader030/viewer/2022020123/559730d21a28ab5e518b4781/html5/thumbnails/26.jpg)
26
Вопросы?