Уроки тестирования
TRANSCRIPT
![Page 1: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/1.jpg)
Уроки тестирования
Артём Овсянников, почтальон activizm.ruМосква, RIW2014
![Page 2: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/2.jpg)
Статистически надёжное значение находится за пределами доверительного интервала
![Page 3: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/3.jpg)
Статистически надёжное значение находится за пределами доверительного интервала
P – конверсия (uCTR и т.д.) варианта АN – число наблюдений (доставлено)Z – секретный ингредиент
если нужна надёжность95%, z=299%, z=3
![Page 4: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/4.jpg)
Вариант А
![Page 5: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/5.jpg)
Для любознательныхhttp://www.slideshare.net/evgenyq/ss-32611485
![Page 6: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/6.jpg)
Для ленивых — калькуляторhttp://www.zettasphere.com/abcalculator/
![Page 7: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/7.jpg)
А как у вас со статистической достоверностью?
Отлично!
А доверительный интервал какой?
…
[profit!]
—
—
—
—
![Page 8: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/8.jpg)
Тема 1Время отправки
![Page 9: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/9.jpg)
Когда лучше слать?
9:00
13:00
15:00
17:00
19:00
![Page 10: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/10.jpg)
![Page 11: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/11.jpg)
09:00 … 8,4%
13:00 … 9,2%
15:00 … 9,3%
17:00 … 8,9%
19:00 … 9,0%
![Page 12: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/12.jpg)
А как со статзначимостью?
09:00 … 8,4%
13:00 … 9,2%
15:00 … 9,3%
17:00 … 8,9%
19:00 … 9,0%
![Page 13: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/13.jpg)
А всё равно, только не в 9:00!
09:00 … 8,4%13:00 … 9,2%
15:00 … 9,3%
17:00 … 8,9%
19:00 … 9,0%
![Page 14: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/14.jpg)
Может с кликами картина яснее?
09:00 … 1,04%
13:00 … 1,28%
15:00 … 1,31%
17:00 … 1,31%
19:00 … 1,21%
![Page 15: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/15.jpg)
Нет, вообще всё равно!
09:00 … 1,04%
13:00 … 1,28%
15:00 … 1,31%
17:00 … 1,31%
19:00 … 1,21%
![Page 16: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/16.jpg)
Добро!
![Page 17: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/17.jpg)
Добро!Хотя немного жаль
![Page 18: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/18.jpg)
Тема 2Тема
![Page 19: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/19.jpg)
7 безоговорочных упражнений, неизвестный Конан-Дойл
и другие темы
Сегодня никакой рекламы
![Page 20: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/20.jpg)
uOR uCR7 безоговорочных
упражнений, неизвестный
Конан-Дойл и другие темы
15,1% 1,8%
Сегодня никакой рекламы 15,3% 1,2%
![Page 21: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/21.jpg)
Там упражнения что ли? Ага, точно!
uOR uCR7 безоговорочных
упражнений, неизвестный
Конан-Дойл и другие темы
15,1% 1,8%
Сегодня никакой рекламы 15,3% 1,2%
![Page 22: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/22.jpg)
Тема 3Адаптивный шаблон
![Page 23: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/23.jpg)
Неадаптивный Адаптивный
![Page 24: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/24.jpg)
9,7% 13,1%uCTR
![Page 25: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/25.jpg)
+ 35% uCTR статистическая значимость 99%
![Page 26: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/26.jpg)
YES!
![Page 27: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/27.jpg)
Повторим?
![Page 28: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/28.jpg)
![Page 29: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/29.jpg)
16% 16,4%
![Page 30: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/30.jpg)
Но на этот раз статистической разницы нет!
![Page 31: Уроки тестирования](https://reader031.vdocuments.mx/reader031/viewer/2022032218/55abe2dd1a28abcc1f8b461e/html5/thumbnails/31.jpg)
Уроки тестирования
● Уважать статистическую достоверность
● В теме искать баланс между простотой, точностью и интригой. Точность важнее.
● Перепроверять результаты, особенно положительные
● Не верить на слово