営業向け abテストの統計学 データアーティスト
DESCRIPTION
『ABテストの結果にどれほど統計的な信頼性があるか?』を簡単に計算するExcelツールのご紹介 ↓Excelのダウンロードはこちらから https://drive.google.com/file/d/0B3tXL03tgwNmSWlvRmZ1SGlRUm8/edit?usp=sharing 会社サイト: http://www.data-artist.com/TRANSCRIPT
![Page 1: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/1.jpg)
データアーティスト株式会社
営業向け LPO統計講義 第一回
ABテスト
![Page 2: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/2.jpg)
Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page2Page2Page2Page2
A/Bテスト
テストの設計、結果の理解が容易
![Page 3: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/3.jpg)
Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page3Page3Page3Page3
アジェンダ
1•CVRの真値の推定
2•二つのクリエイティブの比較
3•日毎のばらつきの計算
4•期間の計算
![Page 4: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/4.jpg)
1 CVRの真値の測定
![Page 5: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/5.jpg)
Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page5Page5Page5Page5
お客さまからの質問
1000UUでCVRを測定したら3%だったんですがどれくらい信じれますか??
![Page 6: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/6.jpg)
Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page6Page6Page6Page6
答え
CVRの本当の値は80%の確率で2.3~3.7%90%の確率で2.1~3.9%95%の確率で1.9~4.1%の間に入っています。
![Page 7: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/7.jpg)
Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page7Page7Page7Page7
CVRの真値を実測値から区間推定する
CVRの真値:UUを無限に増やしたときのCVR
UUを増やすほどCVRの測定値と真値は近づいていく。
UU
CVRCVR )1(
![Page 8: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/8.jpg)
Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page8Page8Page8Page8
Excelのツールを使って計算しましょう!
DA_ABテスト統計ツール.xlsx
https://drive.google.com/file/d/0B3tXL03tgwNmSWlvRmZ1SGlRUm8/edit?usp=sharing
URLを開いて、ここからダウンロードしてください
![Page 9: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/9.jpg)
Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page9Page9Page9Page9
Excelのツールを用いる
CVRの真値の分布を求めています。約99.9が入る範囲までが描画されて
います。
![Page 10: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/10.jpg)
Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page10Page10Page10Page10
Excelのツールを用いる
測定値±0.9%に真値が有る確率は90%です。
![Page 11: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/11.jpg)
2 二つのクリエイティブの比較
![Page 12: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/12.jpg)
Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page12Page12Page12Page12
お客さまからの質問
二つのクリエイティブ1,2のCVRを1000UUで測定したら5%と3%だったんですが1は2に勝ってると言えますか?
![Page 13: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/13.jpg)
Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page13Page13Page13Page13
答え
99%の確率で1が2に勝っているといえます。また88%の確率で1は2より1%以上勝っているといえます。
![Page 14: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/14.jpg)
Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page14Page14Page14Page14
ツールを用いる
CVR1に勝っている数値を入れてください。
![Page 15: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/15.jpg)
Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page15Page15Page15Page15
ツールを用いる
99%で1が2に勝っているといえます。
88%で1が2に1%以上勝っているといえます。
![Page 16: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/16.jpg)
3 日毎のばらつきの計算
![Page 17: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/17.jpg)
Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page17Page17Page17Page17
お客さまからの質問
CVR3.0%だったページを1000UUで測定し直したらCVRが2.8%にさがってます!!どういうことですか!!?
![Page 18: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/18.jpg)
Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page18Page18Page18Page18
答え
CVRの真値が3.0%だったとしても測定されるCVRはばらつきを持っています。3.0%で1000UUの場合、CVRが2.8%より大きくずれる可能性は70%以上ありますので今回の差は充分起こりうることです。
![Page 19: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/19.jpg)
Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page19Page19Page19Page19
真値と実測値の関係
1000UU用いた測定でCVRの実測値が3.0%の時真値が存在する範囲
CVRの真値が3.0%の時1000UUで実測させるCVRの範囲
≒
![Page 20: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/20.jpg)
Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page20Page20Page20Page20
ツールを用いる
3±0.2%に収まる確率は30%しかないため、それよりばらつくことは
十分にあり得る。
![Page 21: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/21.jpg)
4 期間の計算
![Page 22: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/22.jpg)
Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page22Page22Page22Page22
お客さまからの質問
一日のUUが10000、20クリエイティブをテストします。今のCVRが5.0%で、今度の施策で6.0%位には上がると思うんですが、何日テストをすれば良いですか?
![Page 23: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/23.jpg)
Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page23Page23Page23Page23
答え
信頼度を90%にした場合、有意にチャンピオンが勝っていることを検証するのに4日、チャンプが0.5%以上勝っていることを検証するのに14日かかります。
![Page 24: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/24.jpg)
Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page24Page24Page24Page24
ツールを用いる
![Page 25: 営業向け ABテストの統計学 データアーティスト](https://reader034.vdocuments.mx/reader034/viewer/2022042623/548b3f5bb47959af428b46a2/html5/thumbnails/25.jpg)
Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page25Page25Page25Page25
まとめ
1
•CVRの真値の推定•真値が存在する範囲を求められるようになった。
2
•二つのクリエイティブの比較•有意なCVRの差を求められるようになった。
3
•日毎のばらつきの計算•CVRのばらつきが確率的なものか他の要因かの判断が出来るようになった。
4
•期間の計算•条件にあったテストを行うのに必要なテスト期間を求められるようになった。