1 | © 2016 RingCentral, Inc. All rights reserved.

Управление хаосом, или как жить когда число тестов перевалило за десятки тысяч.Акмаев Дмитрий. Санкт-Петербург. DINS

2 | © 2016 RingCentral, Inc. All rights reserved.

О себе

► Акмаев Дмитрий► Lead QA Automation в DINS

• до этого Quest Software (DELL), I-FREE► 12 лет в тестировании► Управляю проектом Global CI

3 | © 2016 RingCentral, Inc. All rights reserved.

Предыстория

4 | © 2016 RingCentral, Inc. All rights reserved.

Global continuous integration

► Интеграционный CI► Тестовое окружение максимально близкое к PRO► Полное собрание автотестов

5 | © 2016 RingCentral, Inc. All rights reserved.

Проблемы

6 | © 2016 RingCentral, Inc. All rights reserved.

Проблемы

► Перевернутая пирамида► Десятки тысяч тестов► Нестабильность► Зоопарк фреймворков

7 | © 2016 RingCentral, Inc. All rights reserved.

А все ли тесты нужны?

8 | © 2016 RingCentral, Inc. All rights reserved.

А все ли тесты нужны?

► Не могут работать паралельно► Есть аналоги не на UI► Меняют окружение► Долго бегущие

9 | © 2016 RingCentral, Inc. All rights reserved.

Что делать?

10 | © 2016 RingCentral, Inc. All rights reserved.

Унификация

ВОЕНКОМАТ► Меньше фреймворков► Единый репортинг► Кодеревью

11 | © 2016 RingCentral, Inc. All rights reserved.

Модульная система

► Используйте только то, что нужно► Создавайте свои модули

12 | © 2016 RingCentral, Inc. All rights reserved.

Предварительная приемка

► Не должны мешать другим► Соответствуют соглашениям► Не используются таймауты

13 | © 2016 RingCentral, Inc. All rights reserved.

Приоритезация / Группировка

► Быстро получить результат► Проверять то, что менялось

14 | © 2016 RingCentral, Inc. All rights reserved.

Запись результатов в базу

► Группировка результатов► Быстрое сравнение► Расширенная отчетность

15 | © 2016 RingCentral, Inc. All rights reserved.

Выделение впервые упавших тестов

► Отдавать только разницу► Делить на зоны ответственности

16 | © 2016 RingCentral, Inc. All rights reserved.

Выделение впервые упавших тестов

Tests Day 1 Day 2 Day 3

Test 1 Passed Failed Failed

Test 2 Passed Passed Failed

Test 3 Passed Passed Passed

Test 4 Passed Failed Passed

Test 5 Passed Passed Failed

17 | © 2016 RingCentral, Inc. All rights reserved.

Пометка известных падений

► Не отвлекаться на известное► Выделение максимально

проблемных баг

18 | © 2016 RingCentral, Inc. All rights reserved.

Автоматический перезапуск

► Сокращение ложных срабатываний• Сетевые проблемы• Редко улавимые сбои

19 | © 2016 RingCentral, Inc. All rights reserved.

Контроль вносимых изменений

► Знать, кто мог сломать► Не менять одновременно одно и то

же разными людьми

20 | © 2016 RingCentral, Inc. All rights reserved.

Спасибо

21 | © 2016 RingCentral, Inc. All rights reserved.

Контакты

► dakmaev@gmail.com► https://vk.com/akmaev► https://www.facebook.com/dmitry.akmaev