営業向け ABテストの統計学データアーティスト

データアーティスト株式会社

営業向け LPO統計講義第一回

ABテスト

Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page2Page2Page2Page2

A/Bテスト

テストの設計、結果の理解が容易


アジェンダ

1•CVRの真値の推定

2•二つのクリエイティブの比較

3•日毎のばらつきの計算

4•期間の計算

1 CVRの真値の測定


お客さまからの質問

1000UUでCVRを測定したら3%だったんですがどれくらい信じれますか？？


答え

CVRの本当の値は80%の確率で2.3～3.7%90%の確率で2.1～3.9%95%の確率で1.9～4.1%の間に入っています。


CVRの真値を実測値から区間推定する

CVRの真値:UUを無限に増やしたときのCVR

UUを増やすほどCVRの測定値と真値は近づいていく。

UU

CVRCVR )1(


Excelのツールを使って計算しましょう！

DA_ABテスト統計ツール.xlsx

https://drive.google.com/file/d/0B3tXL03tgwNmSWlvRmZ1SGlRUm8/edit?usp=sharing

URLを開いて、ここからダウンロードしてください


Excelのツールを用いる

CVRの真値の分布を求めています。約99.9が入る範囲までが描画されて

います。


Excelのツールを用いる

測定値±0.9%に真値が有る確率は90%です。

2 二つのクリエイティブの比較



二つのクリエイティブ1,2のCVRを1000UUで測定したら5%と3%だったんですが1は2に勝ってると言えますか？


答え

99%の確率で1が2に勝っているといえます。また88%の確率で1は2より1%以上勝っているといえます。


ツールを用いる

CVR1に勝っている数値を入れてください。



99%で1が2に勝っているといえます。

88%で1が2に1%以上勝っているといえます。

3 日毎のばらつきの計算



CVR3.0%だったページを1000UUで測定し直したらCVRが2.8%にさがってます！！どういうことですか！！？


答え

CVRの真値が3.0%だったとしても測定されるCVRはばらつきを持っています。3.0%で1000UUの場合、CVRが2.8%より大きくずれる可能性は70%以上ありますので今回の差は充分起こりうることです。


真値と実測値の関係

1000UU用いた測定でCVRの実測値が3.0%の時真値が存在する範囲

CVRの真値が3.0%の時1000UUで実測させるCVRの範囲

≒



3±0.2%に収まる確率は30%しかないため、それよりばらつくことは

十分にあり得る。

4 期間の計算



一日のUUが10000、20クリエイティブをテストします。今のCVRが5.0%で、今度の施策で6.0%位には上がると思うんですが、何日テストをすれば良いですか？


答え

信頼度を90%にした場合、有意にチャンピオンが勝っていることを検証するのに4日、チャンプが0.5%以上勝っていることを検証するのに14日かかります。


まとめ

1

•CVRの真値の推定•真値が存在する範囲を求められるようになった。

2

•二つのクリエイティブの比較•有意なCVRの差を求められるようになった。

3

•日毎のばらつきの計算•CVRのばらつきが確率的なものか他の要因かの判断が出来るようになった。

4

•期間の計算•条件にあったテストを行うのに必要なテスト期間を求められるようになった。

営業向け ABテストの統計学データアーティスト

Marketing

Transcript of 営業向け ABテストの統計学データアーティスト

営業向け ABテストの統計学 データアーティスト

Marketing

Transcript of 営業向け ABテストの統計学 データアーティスト

営業向け ABテストの統計学データアーティスト

Transcript of 営業向け ABテストの統計学データアーティスト