АБ-тестирование средствами Google Analytics

Казаченко Наталья, аналитик Crossss, 2015 г.

#Я!

Аналитик в сервисе персональных рекомендаций Crossss: веб-аналитика в Google Analytics, Яндекс Метрике, других системах

Enterprise, анализ данных, Big Data, АБ-тестирование

Прошлые места работы:

АБ-тесты это весело!

● Простой научный метод, пришедший из медицинских лабораторий

● Принятие решений, опирающихся на данные, а не на интуицию

● Математический аппарат, однозначно выбирающий выигрышный вариант

АБ-тесты это весело!

Этапы проведения

1) Дизайн АБ-теста: разработка экспериментальной гипотезы, расчет времени проведения теста, выбор целевой метрики

2) Имплементация теста

3) Сбор данных

4) Анализ результатов

5) Следующий АБ-тест

Этапы проведения

1) Дизайн АБ-теста: разработка экспериментальной гипотезы, расчет времени проведения теста, выбор целевой метрики

2) Имплементация теста

3) Сбор данных

4) Анализ результатов

5) Следующий АБ-тест

Выбор целевой метрики

Сколько людей на самом деле пользуются вашим продуктом?

SaaS: время выполнения работы, доля подписчиков,

доля активных пользователей

Коллаборативный: доля ценного контента, доля

активных создателей контента

Транзакционный: конверсии, средний чек, брошенные

корзины

Медиа: время на странице, страниц за визит, CTR

Единственная важная метрика

● Twitter: пользователи, зашедшие хотя бы 7 раз за последний месяц

● LinkedIn: просмотры профилей (поиски профилей и доля просмотренных пользователей)

● Crossss: пользователи, кликнувшие на рекомендацию и купившие рекомендованный товар

Единственная важная метрика

Всегда помните об остальных KPI, оптимизируя одну метрику

Большинство результатов АБ-тестов в IT — надуманы

И это нормально.

Как врать с помощью статистикиОрел Решка

Правая рука 5 11

Левая рука 11 5

Как врать с помощью статистики

Сценарий 1 Сценарий 2 Сценарий 3 Сценарий 4

200 сессий Незначимый Незначимый Значимый! Значимый!

500 сессий Незначимый Значимый! Незначимый Значимый!

Результат Незначимый Значимый! Незначимый Значимый!

Сценарий 1 Сценарий 2 Сценарий 3 Сценарий 4

200 сессий Незначимый Незначимый Значимый! Значимый!

500 сессий Незначимый Значимый! Остановка теста

Остановка теста

Результат Незначимый Значимый! Значимый! Значимый!

Если мы останавливаем тест сразу после получения значимого результата:

Как не врать с помощью статистики

● Выберите минимальное удовлетворяющее вас улучшение (например, +10% к конверсии)

● Рассчитывайте длительность теста заранее● Не подглядывайте в результаты до конца

теста● Учитесь проигрывать

Как обычно реализуют тесты в GA

1) Самостоятельно делят аудиторию

2) Отправляют метку пользователя в GA (event, custom dimension)

3) Создают сегменты пользователей в GA

4) Самостоятельно анализируют результаты

GA берет на себя большинство математики

● Делит аудиторию в нужной пропорции ● Заботится о том, чтобы каждый

пользователь на протяжении всего теста видел только один вариант

● Трекает группы теста ● Создает отчет и интерпретирует результаты

Создаем эксперимент с помощью GA

Создаем эксперимент с помощью GA

Многорукий бандит

Создаем эксперимент с помощью GA

Создаем эксперимент с помощью GA

Как выглядят результаты

Кейс Crossss

Эксперименты GA

+ Простота настройки

+ Автоматическое вычисление результатов

+ Оптимизация за счет многорукого бандита

- Недостаточная детализация отчетов

- Невозможность выгрузки сырых данных по API

- Непрозрачная схема многорукого бандита

Полезные инструменты

Для работы с GA:● GA debugger ● GA Tag assistant

Для расчета тестов:● Калькулятор статистической значимости и продолжительности теста

Источники и ссылки

1) Most winning A/B test results are illusory

2) How not to run an A/B test

3) Эксперименты с многоруким бандитом

4) Experiments at AirBnb

5) The only metric that matters

Приятных вам экспериментов!