Неправильная статистика: data-driven ошибки (Арсений...
-
Upload
pcamprussia -
Category
Software
-
view
664 -
download
8
description
Transcript of Неправильная статистика: data-driven ошибки (Арсений...
![Page 1: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/1.jpg)
«Неправильная» статистика
Арсений Кравченко Product Manager @ Wargaming
![Page 2: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/2.jpg)
Способы принятия решений
• «Я вообще-‐то 10 лет в индустрии» • «Так сказал большой начальник» • «N. утверждает, что так будет лучше» • «Все так делают, даже AppleSoft»
• «Мы провели анализ…»
![Page 3: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/3.jpg)
Спасут ли такие решения мир?
![Page 4: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/4.jpg)
Ведь всегда можно:
• Начать с неуместного вопроса; • Подготовить неправильные данные; • Сделать неуместное заключение и неверно трактовать его в контексте продукта;
• Забыть о целях и просто неплохо проводить время, закопавшись в цифры.
![Page 5: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/5.jpg)
Неуместные вопросы
• KPI не соответствуют уровню решения; • Вопрос не соответствует стадии продукта; • Ответ досрочно потеряет актуальность; • Ответ мотивирует оптимизировать неважное.
![Page 6: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/6.jpg)
KPI неправильного уровня
Влияние стиля кнопок на выручку Wargaming
2012 2013 2014
«Я начал рисовать кнопки со скругленными углами»
![Page 7: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/7.jpg)
Вопрос не соответствует стадии
« Мы запустили World of Trains уже два месяца назад. Какой у нас % насыщения рынка?»
![Page 8: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/8.jpg)
Вопрос потеряет актуальность
Какова выручка с пользователей, пришедших из Google Adwords в июле 2014? !
Nota bene: average LT = 24 months
![Page 9: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/9.jpg)
Вопрос не совсем соответствует цели
• Какой дизайн формы регистрации обеспечивает большую конверсию?
clicks regs CR click → reg
Registration A 11234 675 6.01%Registration B 10411 719 6.91%
![Page 10: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/10.jpg)
• Какой дизайн формы регистрации обеспечивает большую конверсию?
Вопрос не совсем соответствует цели
clicks regs CR click → reg
active users
total CR
Registration A 11234 675 6.01% 512 4.56%
Registration B 10411 719 6.91% 450 4.32%
![Page 11: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/11.jpg)
«Только взялся за яйца, как сразу молоко пропало.»
![Page 12: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/12.jpg)
Оптимизация неважного«Что мы можем сделать, чтобы увеличить кликабельность ссылки для скачивания руководства по игре?»
![Page 13: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/13.jpg)
Неправильные данные
• Технически безупречный код не означает, что все хорошо. !
• Ключевые точки должны проверяться на реальных данных людьми, которые понимают, о чем вообще речь.
![Page 14: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/14.jpg)
Некий отчет из production-‐окружения до и после рефакторинга.
QA пройден.
![Page 15: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/15.jpg)
Аттрибуция и нотация
Если два показателя одинаково называются, это не значит, что они одинаковые.
Installs: • iTunes: 47,397 • MAT: 45,260 • Flurry: 37,960 • Upsight: 30,517
![Page 16: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/16.jpg)
Любая модель атрибуции хороша, если она везде одинаковая.
![Page 17: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/17.jpg)
Convention matters! !• Даже если все стремятся к
одному и тому же (счастью человеческому!), это допускает взаимопротиворечивые метрики
• Особенно если у людей есть свои интересы по отношению к метрикам
• Жестко утвердите single point of truth.
![Page 18: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/18.jpg)
Неуместное заключение
• Ложная причинно-‐следственная связь; • Проверка гипотез; • Нюансы графического представления; • Когнитивные искажения
![Page 19: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/19.jpg)
Корреляция не описывает причину
«93.1% всех малолетних преступников происходят из семей, где огурцы ели постоянно.»
![Page 20: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/20.jpg)
Корреляция не описывает причину
«Если я работаю с набором из 200 случайных переменных, совершенно не зависящих друг от друга, почти невозможно не обнаружить высокую корреляцию на уровне, скажем, 30 процентов, однако эта корреляция будет абсолютно ложной.» !Нассим Талеб
![Page 21: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/21.jpg)
Lurking variable
!
A↗ —> B↗ or
X↗ —> A↗, B↗ !
![Page 22: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/22.jpg)
Доверительные интервалы
Главный инструмент проверки гипотез о конверсии
![Page 23: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/23.jpg)
Визуализация, порождающая хаос
“Looks like things didn’t change much in the final years of the 20th century — until you read the bar labels and see that the last three bars represent single years, while all the others are for pairs of years.“
![Page 24: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/24.jpg)
Визуализация, порождающая хаос
“Here’s a pie chart that displays data on the percentage of high school students who engage in specified dangerous behaviors as reported by the Centers for Disease Control.”
![Page 25: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/25.jpg)
Когнитивные искажения
«Принятие решений в неопределенности: Правила и предубеждения» Д. Канеман, П. Словик, А. Тверски !«(Нео)сознанное. Как бессознательный ум управляет нашим поведением.» Л.Млодинов.
![Page 26: Неправильная статистика: data-driven ошибки (Арсений Кравченко, Wargaming)](https://reader031.fdocuments.net/reader031/viewer/2022020207/55634605d8b42a90698b4a6b/html5/thumbnails/26.jpg)
Что делать?Проверять модели/инструменты на реальных данных Помнить, что человек по сути — не очень умный. Понимать, почему идея должна быть потенциально опровергаемой. !
Чего не делать?Не путать Agile и Code and Fix. Не верить бездумно красивым цифрам и графикам. Не впадать в аналитический паралич.