Как устроены сплит-тесты в поиске Рамблера
-
Upload
dmitry-zimin -
Category
Design
-
view
4.406 -
download
4
description
Transcript of Как устроены сплит-тесты в поиске Рамблера
![Page 1: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/1.jpg)
Сплит-тесты в поиске Рамблера
![Page 2: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/2.jpg)
Свыше 1 млн. хитов в сутки
![Page 3: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/3.jpg)
Я лучше XML посмотрю.
Арни, ты можешь это прочесть?
Кажется, что дизайн можно улучшить
![Page 4: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/4.jpg)
Понабрали по объявлениям!
«Все разбираются в дизайне» ™
font-size: 16px!
![Page 5: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/5.jpg)
Эй, эксперт! Любишь пѐсиков?
К экспертам есть недоверие…
![Page 6: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/6.jpg)
Куда же вы? Потяните
за звѐздочку!
…ибо эксперты тоже ошибаются
![Page 7: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/7.jpg)
На юзабилити-тестирование столько людей не найти
Респондентов вызывали?
![Page 8: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/8.jpg)
Можно «позаимствовать» решения у конкурентов, но делать это вслепую бессмысленно
Лѐха! CSS обфусцирован!
![Page 9: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/9.jpg)
Win! Cлит-тесты понятны всем!
Я знаю в чѐм измерять KPI!
![Page 10: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/10.jpg)
В новых условиях сперва непривычно…
Мы даже это тестируем? Надо больше
метрик…
!?
![Page 11: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/11.jpg)
Идея!
А=↑
B=↓
Важно! Метрики!
Записываем
Планируем
Запускаем
Анализируем
Выкатываем
![Page 12: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/12.jpg)
CTR результатов
Время до первого клика
Запросы без кликов
Средняя позиция кликов
Среднее время на результатах
… ещѐ 25 метрик
![Page 13: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/13.jpg)
Ожидаем:
Изменение средней позиции кликов
Возможен рост сессий (основная метрика)
Вытянули мета-данные в одну строку:
![Page 14: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/14.jpg)
Стали больше кликать на «нижние» результаты
![Page 15: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/15.jpg)
Средняя позиция кликов тоже изменилась
![Page 16: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/16.jpg)
Роста сессий не заметили (возможно, очень малое влияние)
![Page 17: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/17.jpg)
Ожидаем:
Рост выручки от рекламы
Остальные показатели не должны упасть
Оформление рекламных блоков
Было
Стало
![Page 18: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/18.jpg)
Сессии на пользователя остались прежними
![Page 19: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/19.jpg)
CTR объявлений «Бегуна» вырос Выручка повысилась на {NDA}%
![Page 20: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/20.jpg)
![Page 21: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/21.jpg)
![Page 22: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/22.jpg)
1. Меряем только то, что знаем
2. Тестируем только то, где видим проблему
3. Иногда результаты не дают ответа
![Page 23: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/23.jpg)
1. Тестируйте!
2. Продумайте метрики
3. Слабые отличия слабо заметны
![Page 24: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/24.jpg)
Мечтаем, планируем
Вот сделаем перпендикулярные
сплиты…
…и машинные гипотезы
![Page 25: Как устроены сплит-тесты в поиске Рамблера](https://reader034.fdocuments.net/reader034/viewer/2022051411/546eba43af79599a798b5f0b/html5/thumbnails/25.jpg)
#404fest #rambler @dzimin
Задайте Диме вопрос!
Привет от команды
поиска!