Sutter din split-test?

Web Analytics Wednesday

Ole Gregersen

1

2

3

Kan du stole du på

resultatet

af din split-test?

4

”Jaja, der er 99,9%

statistisk signifikans

masser af trafik og

konverteringer!”

5

Ja, men hvad var

det du målte?

Optimeringsproces

6

AA

Læser blog

Drømmer

Om +145%Tester

nogetGør som

i bloggen

Optimeringsproces

7

AA

Analyse

Hypotese

Design

Test

Analyse

• Kvalitativ dataindsamling

– Fx brugertest, interview, fokusgrupper

• Kvantitativ dataindsamling

– Fx web analytics

8

Fællesnævner?

SEGMENTERI

NG9

Problem?

Dårligt styr på segmenterne

Når vi når frem til split-testen

10

Din trafik handler forskelligt

11

Bare et aspekt

MOTIVATION

12

Motivation

13

Simplicity factors:- Time- Money- Effort- Brain cycles- Social-deviance- Non-routine

Simpsons Paradox

14Wikipedia: Simpson’s paradox

Variation Besøgende Konverteringer Konverteringsra

te

Kontrol 4974 611 12.2%

Variation 5026 511 10.1%

Segment Variation Besøgende Konverteringer Konverteringsrate

Facebook Kontrol 1991 64 3.2%

Organisk Kontrol 2983 547 18.3%

Facebook Variation 2977 129 4.3%

Organisk Variation 2049 382 18.6%

vudlab.com/simpsons/

15

Flip?

16

17

ERGO

18

Kend dine segmenter

Segmentér

dine test

og dine resultater

TAK

Især til segmentet

”Aktivt lyttende”

19

Ole Gregersen

20

www.oleg.dk

@OlegUsability