Внедрение автоматизации тестирования в highload проекте с...

Тестирование на 50 миллионов

Никита Гавриш

Руководитель QA

topface.com1

2

С высоты птичьего полета

3

Topface• Более 50 миллионов пользователей

• Более 60 000 уникумов

• Сложная клиентская логика.

• Непрерывная выкладка

• Непрерывная доступность

4

Проблемы• Отсутствие документации

• Большое количество платформ и языков

• Частые изменения функционала

• Таргетирование. Разный функционал для разных пользователей

• Тестовая среда

• Зачем писать тесты – потеря времени.

5

Первый вариант решения:

Кофеин!!!

6

Процессы и приоритеты

7

Процесс

• Прозрачный воркфлоу. • Новые статусы задач• Очередь задач на тестирование

• Требования к ТЗ

• Чек-листы для каждой задачи - наглядный результат

• Эстимейт на тестирование в задаче

В разработке Отдана на тестирование

Тестируется Готово Выложена

8

Приоритеты

• Больше приоритетов

• Контроль высоких приоритетов

• Сведение давления к минимуму

• Прозрачные сроки начала выполнения

• Прозрачный порядок выполнения

9

Появление автоматизации

10

Свой фреймворк

JSON-Репорты

команды

данные

11

Сбор репортов

Starter

…

…

Report HandlerSettings

TestSuite

TestSuite

TestCase

TestCase

12

Запуск> python automation.py parallel=1 target_url=http://topface.com browser=firefox > testsuite=login_test,marks_test,messages_test

13

Непрерывная выливка

14

• Требования к скорости выполнения

• Наглядность результатов

• Быстрое принятие решения (выливать\не выливать)

• Постоянная 100% актуальность тестов

Особенности

15

Знать где искать

16

• Баги не распределены равномерно

• Любят возвращаться

• Любят пересечение функционала

• Opera, IE

• Не ходят по одиночке

Где живут баги

17

Не тратьтесь на мелочи

18

• Никак

• 1/3 функционала всегда новая

• Автоматизировать только критичное и постоянное

• Быть в курсе.

• Nightly builds по всему функционалу

• Smoke-тесты быстро и по верхам перед выливкой

Как все покрыть

19

Расслабьтесь

20

• Процессы налажены

• Приоритеты расставлены

• Автоматизация работает

• Не все покрыто, но мы не расстраиваемся по мелочам

• Постоянно поддерживаем тесты

• Повышаем наглядность репортов и скорость smoke-ов

• Планируем API- и Security- тесты

Жизнь удалась

21

Спасибо за внимание

Никита Гавриш

http://vk.com/mafia239

http://www.facebook.com/ngavris

nikikikita@gmail.com

Skype: shirvag