А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics &...
Transcript of А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics &...
![Page 1: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/1.jpg)
А/Б Тестове: иновациии управление на рискаКРАТКО ВЪВЕДЕНИЕ В БИЗНЕС ЕКСПЕРИМЕНТИТЕ . CASE STUDIES.
© Уеб Фокус ЕООД
![Page 2: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/2.jpg)
За Георги Георгиев➢ Интернет маркетинг и уеб проекти от 2004г.
➢ Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing
➢ Автор на книгата "Statistical Methods in Online A/B Testing“ (2019)
➢ Автор на курса "Statistics for A/B testing" @ CXL Institute
➢ @ Analytics-Toolkit.com
© Уеб Фокус ЕООД
![Page 3: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/3.jpg)
Темите днес1. За рисковете при промени в бизнеса
2. Онлайн А/Б тестовете като начин за измерване и управление на риск
3. Базови положения при А/Б тестовете
4. Примери от практиката
© Уеб Фокус ЕООД
![Page 4: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/4.jpg)
Обичаен процес на бизнес иновация
© Уеб Фокус ЕООД
ИдеяДобра, ако имаме добри процеси и доза късмет.
Реализация
Качествена, ако имаме добри процеси и инструменти, кадърни специалисти и доза късмет.
Контрол на качеството
Вътрешни тестове. Външни тестове(?)
Структуриран процес на системен контрол на качеството.
ПусканеНека всички се насладят на творението ни!
Последващ контрол
Следене на различни показатели за качество и успеваемост
![Page 5: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/5.jpg)
А рисковете?• Ами ако идеята ни е лоша или недомислена?
• А ако реализацията ни има съществени недостатъци?
• Тестовете не са върху реални клиенти в реална среда.
• Сложни промени - невъзможно да се тестват изцяло
• Следенето на показатели във времето – само корелация
• Някои промени е изключително скъпо да се върнат назад
© Уеб Фокус ЕООД
![Page 6: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/6.jpg)
Корелация =/= причинна връзкаКорелация: две събития (А и Б), случващи се по едно и също време
Сменихме рекламните карета във Facebook –> имаме увеличение на продажбите на годишна база
Сменихме начина на показване на снимките -> степента на отпадане падна от 40% на 10%
Махнахме бутона „Добави в запазени“ -> степента на отпадане скочи от 10% на 40%
Добавихме плащане през PayPal -> поръчките ни паднаха/се повишиха
Времето е лошо -> поръчките ни се повишиха
Президентът върна назначението на Гешев -> поръчките ни спаднаха
и т.н.
© Уеб Фокус ЕООД
![Page 7: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/7.jpg)
Възможни причини за корелацияКорелация между две събития (А и Б), може да се дължи на:
© Уеб Фокус ЕООД
А Б
Б А
А В Б
А Б
В
БА
![Page 8: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/8.jpg)
Какво се случва тук?
© Уеб Фокус ЕООД
![Page 9: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/9.jpg)
Хиляда малкиубождания?
© Уеб Фокус ЕООД
![Page 10: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/10.jpg)
Не можем да измерим всички факториКакво се случва, ако:
• Едновременно с пускането на нови Google Ads реклами (без да знаете) се правят промени по таргетирането на кампаниите
• Промените в ремаркетинг аудиториите и Facebook рекламите се случват (без да знаете)заедно с пускането на нова вътрешна търсачка
• Пускането на нов процес на поръчка съвпада с масивна промоция на голям конкурент
• Пускането на нов дизайн на страницата за продукти съвпада с проблем с проследяването в 2 от 3-те топ браузъра (Enhanced Tracking Protection (ETP) / Intelligent Tracking Prevention (ITP))
• Сменяме темплейта за имейлите когато се пуска нов анти-спам алгоритъм в Gmail
© Уеб Фокус ЕООД
![Page 11: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/11.jpg)
Как да растем с контролиран риск• Как да пробваме дадена промяна преди да я въведем за всички клиенти?
• Как да измерим ефекта от конкретна промяна (изолирайки безбройните други фактори)?
• Как да контролираме риска от взимане на грешно решение?
© Уеб Фокус ЕООД
1 3 5 7 9 11
Год
иш
ни
пр
ихо
ди
Година
Два типа управление
Управляван риск Неуправляван риск
![Page 12: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/12.jpg)
Решението: А/Б тест
© Уеб Фокус ЕООД
Бизнес експеримент с реални потребители на нашия сайт:
1. Контролен вариант и (един или повече) тестови варианти
2. Произволно разпределение на потребителите по варианти
3. Качествено проследяване на поведението и важните действия
4. Солиден статистически дизайн и статистическа оценка на резултатите
5. Придържане към изхода от експеримента при взимане на решения
![Page 13: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/13.jpg)
Какво можем (и трябва) да тестваме?
© Уеб Фокус ЕООД
Потребителски интерфейс / преживяване
• Текстове, дизайн, какво има (или няма) на страницата, CTAs, персонализация
• Целеви страници, процес на поръчка и плащане, процес на регистрация, уеб чат…
• Изображения, снимки и видео клипове (и начин на заснемане)…
Бекенд
• Алгоритми за търсене, сортиране, сродни продукти…
• Алгоритми за upselling/cross-selling, насочване на имейли, персонализация…
• Бази данни, система за управление на съдържанието, HTML/CSS код…
Реклами, поддръжка, имейли…
• Тестване на системи за наддаване, реклами, послания, аудитории…
• Имейл шаблони, системи за комуникация с клиенти, бизнес процеси…
![Page 14: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/14.jpg)
Защо е важна статистиката?
© Уеб Фокус ЕООД
Във всички данни е наличен елемент на „произволна“ грешка.
В данните от добър експеримент можем да я измерим със статистически методи -> Контрол на риска.
![Page 15: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/15.jpg)
Два типа риск
© Уеб Фокус ЕООД
Риск от неверен положителен резултат Риск от неверен отрицателен резултат
„Кървният тест показва, че сте бременен!“ „Кървният тест показва, че не сте бремененна!“
![Page 16: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/16.jpg)
Case Study:SaaS, добавяне на мнения от клиенти под формата за регистрация
Резултат: вариант Б подобрява конверсиите (регистрации) с 9%
© Уеб Фокус ЕООД
![Page 17: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/17.jpg)
Case Study:SaaS, отличаване на най-популярния пакет в страницата с цените (А/Б/В тест)
Резултат: вариант В подобрява конверсиите (покупки) с 20%
© Уеб Фокус ЕООД
![Page 18: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/18.jpg)
Case Study:SaaS, текст на бутона за покупка: “Purchase” vs “Buy Now!”
Резултат: вариант Б не подобрява и вероятно влошава конверсиите (наблюдаван ефект -12% конверсия към покупка, значително влошаване на trial регистрациите и приходите)
© Уеб Фокус ЕООД
![Page 19: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/19.jpg)
Case Study: тестът, който не направихмеКазус: добавяне на 3DSecure v2 функционалност. Пуск след стандартен контрол на качеството, без А/Б тест.
Симптом: потребители се оплакват, че не могат да платят, изглежда заради 3DS2 елемента. Други плащат без проблем.
Предполагаеми причини: ad-blocker-и или pop-up blocker-и, които блокират функционалността при отделни потребители. Други специфични за потребителите причини.
© Уеб Фокус ЕООД
![Page 20: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/20.jpg)
Case Study: резултатРеална причина: технически бъг в системата за проследяване на грешки при плащане.
Резултат: неизвестен брой загубени клиенти поради невъзможност за плащане.
Алтернатива: тестване с нашата собствена система, или с която и да е платформа за фронт-енд тестове, поддържаща тестване с пренасочване към алтернативен URL адрес.
© Уеб Фокус ЕООД
Извод: винаги тествайте промени в критични компоненти и с реални потребители.
![Page 21: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/21.jpg)
Идея за тест, с който да започнете
© Уеб Фокус ЕООД
![Page 22: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/22.jpg)
Един тест, който да направите веднагаХипотеза: премахването на полето за въвеждане на купон за отстъпка ще доведе до повишаване на процента продажби на брой потребители, и/или на повишаване на средния приход от потребител.
Реализация: може да стане с фронт-енд софтуер при DOM Ready, но по-добре с промяна в CSS в <head> или директно от бек-енд. Купон за отстъпка може да се приложи само със специално въведен URL адрес.
Статистически анализ: семпъл дизайн с фиксирана дата за анализ на резултатите (има и безплатни варианти като https://bit.ly/2pZ8GxE ) или по-ефикасен, но и по-сложен дизайн (платени опции като Analytics-Toolkit.com ). Ще трябва да изчислите необходимия размер на извадката според вашите собствени параметри.
Публично споделени тестове на подобна промяна тук: https://bit.ly/2OuMOnb
© Уеб Фокус ЕООД
![Page 23: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/23.jpg)
Още идеи за тестовеШаблоните, събрани от Jakub Linowski в GoodUI.org са добра начална точка:
https://goodui.org/patterns/list/
Също и https://guessthetest.com/ на Deborah O'Malley (преди whichtestwon.com)
© Уеб Фокус ЕООД
![Page 24: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/24.jpg)
Обобщение1. Без тестове рискуваме да действаме на база на несъществуващи връзки между нашите
действия и положителни или отрицателни движения в ключовите ни метрики
2. Без добре направени тестове няма реална измеримост на рисковете
3. Можете да тествате почти всяко решение или идея за промяна
© Уеб Фокус ЕООД
![Page 25: А/Б Тестове иновации · Web Dev, SEO, SEM, Digital Analytics, UX/CRO, Statistics & A/B Testing Автор на книгата"Statistical Methods in Online A/B Testing](https://reader034.fdocuments.net/reader034/viewer/2022050519/5fa2cac53c0b4a777b0bcd32/html5/thumbnails/25.jpg)
Въпроси?
Можете да се свържете с мен на:
https://www.linkedin.com/in/geoprofi/
https://www.facebook.com/geoprofi
© Уеб Фокус ЕООД