Иван Красников — K☆50 — ICBDA2016
-
Upload
rusbase -
Category
Data & Analytics
-
view
414 -
download
0
Transcript of Иван Красников — K☆50 — ICBDA2016
![Page 1: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/1.jpg)
Система аналитики контекстной рекламы своими руками
Иван Красников, CTO K☆50
1
![Page 2: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/2.jpg)
Зачем
Встроенного функционала Яндекс.Директ и Google Adwords недостаточно
Объединение данных от разных источников Сокрытие данных от рекламных систем
2
![Page 3: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/3.jpg)
Что делать
Использовать существующие системы автоматизации
Собрать свою Гибридный вариант
3
![Page 4: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/4.jpg)
Основные этапы
CRM
Системы рекламы
Системы аналитики
База данных
визуализация
автоматизация
Получение данных Хранение Обработка данных4
![Page 5: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/5.jpg)
САКР на базе BI систем
Плюсы:• Есть существующие коннекторы• Богатые возможности визуализацииМинусы:• Только отчетность• Нужны специфические знания• Нет встроенного Я.Д
5
![Page 6: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/6.jpg)
САКР своими руками
Плюсы:• полная кастомизация• все данные внутри компанииМинусы:• Нужны деньги и компетенции на разработку и
поддержку
6
![Page 7: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/7.jpg)
Гибридные варианты
BI системы + существующие системы автоматизацииПлюсы:• Не нужно разрабатывать и поддерживать с вои
коннекторы, решать вопросы с взаимодействием с системами рекламы
Минусы• не у всех систем есть api• нужно платить внешней системе
7
![Page 8: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/8.jpg)
Данные
1) CRM 2) Calltracking 3) Yandex.Direct 4) Google Adwords 5) Google Analytics 6) Yandex Metrika 7) …..
8
![Page 9: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/9.jpg)
CRM чаще всего
Пользователь Сайт CRMOrder Order
Order:Имя: Петров ОлегАдрес: Оконечный переулок 15Заказ: Iphone 7 Сумма: 6700руб.
![Page 10: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/10.jpg)
CRM вариант 1
Пользователь Сайт CRM
Pageview
PageviewOrder Order
Session
Session:Date: 2016-09-13 23:57Refferer: https://yandex.ru/search/?text=icbda%202016&lr=213Landing: http://rusbase.com/tag/icbda/
![Page 11: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/11.jpg)
CRM вариант 2
Пользователь
Сайт CRMPageviewPageviewOrder+UserID
Order+ UserID
UserID: eeef-abcd-0223
Google Analytics,YM\etc
PageviewPageviewUserID
![Page 12: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/12.jpg)
Системы анализа источников звонков (calltracking )
Разные API Данные примерно те-же как в CRMdate: 2016-09-14
number: 79231234567entryPoints: [ 0: [date: 2016-09-13referrer: https://yandex.ru/search/?text=icbda%202016&lr=213landing: http://rusbase.com/tag/icbda/
]
1:….]
12
![Page 13: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/13.jpg)
Yandex Direct 2 версии API ( API4 live , API5) Баллы и лимиты Выкачка отчетов через очереди Изменение статистики Сертификация приложений
13
![Page 14: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/14.jpg)
Выкачка отчета Яндекс.Директ
14
![Page 15: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/15.jpg)
Gearman
Выкачка отчета (общая схема)
Очередь клиент 1w1
w2
Redis
Очередь клиент 2
…
Supervisord
Яндекс.Директ
15
w200Очередь клиент …
![Page 16: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/16.jpg)
Выкачка отчета(воркер)
Есть место?
Удаляем отчеты,
висящие более 5 минут
Ставим в очередь
Отчет готов?
Скачиваем и удаляем
Ждём t+30 секунд
Ждём 30 секунд
![Page 17: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/17.jpg)
Google Adwords
RMF https://developers.google.com/adwords/api/docs/requirementsQuotasГотовые библиотекиБыстрое устаревание API (полгода)
17
![Page 18: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/18.jpg)
Google Analytics Ограничение – 50000 запросов (больше по
согласованию) Сэмплинг Готовые библиотеки Изменение статистики(в течении 24-48
часов)
18
![Page 19: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/19.jpg)
Yandex Metrika
3 API - Старый, Новый*, GA-совместимый
19
![Page 20: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/20.jpg)
Склейка данных
Внешний ID UTM-метки
( utm_source,utm_term,utm_content,utm_campaign,medium)
20
![Page 21: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/21.jpg)
UTM метки
21
![Page 22: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/22.jpg)
Очереди и процедуры
22
![Page 23: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/23.jpg)
Базы данных
У нас MySQL + VerticaПробуем MySQL + Clickhouse
Redshift , BigQuery – показалось дорого
23
![Page 24: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/24.jpg)
Импорт в базу данных
CRM
Системы рекламы
Системы аналитики
MySQL Vertica
24
очередь очередь
![Page 25: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/25.jpg)
Визуализация
d3.js ,highcharts PowerBI, TableAu , Qlick…
25
![Page 26: Иван Красников — K☆50 — ICBDA2016](https://reader033.fdocuments.net/reader033/viewer/2022052705/58700b571a28ab427f8b71df/html5/thumbnails/26.jpg)
Управление
26
Condition
Action
Паттерн Event-Condition-Action
Event: