РИФ 2016, Внедрение контроля качества в большом...

Внедрение контроля качества в большом web-проекте

на примере Badoo

Badoo - сайт знакомств с новыми людьми, крупнейшая интернет-компания Западной Европы.

• 300 000 000+ пользователей

• 190 стран

• 46 языков

Badoo в наши дни

С технической точки зрения это

• 150+ разработчиков и 50+ QA инженеров

• 3 000 000+ строк кода

• 60000+ юнит-тестам

• 600+ selenium-тестам

• 2 ежедневных релиза

Badoo в наши дни

Как это было?

Feature1Feature2

Feature3Bugfix1

Bugfix2

Разработка

trunk

commits

release releasesvn

Переводы, тестирование и выкладка

svn

Staging

QA + Translation Production

Deploy


Devel

Преимущества



• Скорость обсуждения задачи




• Скорость разработки





• Проверенные инструменты





• Проверенные инструменты

• Тесное общение


Недостатки



• Незавершенные задачи в выкладке




• Тяжело отслеживать состояние кода





• Невозможно откатить задачу





• Невозможно откатить задачу

• Работа отделов волнообразно зависит от выкладки


Еще недостатки

• Выкладка задач тормозится




• Выкладка 1-2 раза в неделю





• Тяжелый процесс выкладки





• Тяжелый процесс выкладки

• С ростом команды растут проблемы с качеством


Глобальные требования

• Формализовать процесс разработки



• Внедрить контроль качества на всех этапах




• Внедрить автоматизированное тестирование




• Внедрить автоматизированное тестирование

• Не потерять в скорости разработки

Этап первый: упрощаем разработку

Задача: спроектировать удобный процесс параллельной разработки?


Задача: спроектировать удобный процесс параллельной разработки

Решение: заменить svn на git, который позволяет удобно осуществлять разработку в собственной версии кода каждому разработчику

?

!

master

build_2016_03_21_11am

SRV-10637_add_sf_support

build_2016_03_21_4pm

BD-1786_spp_in_spain B0-435_cs_improvements

release release


git

Проектируем и пробуем


+


• Используем оба хранилища - и svn, и git


+



• Синхронизация кода при помощи git svn


+



• Синхронизация кода при помощи git svn

Переводим на новую схему одну из команд


+

Анализируем и дополняем


+


• Базовая инструкция дополнена четкими шагами


+



• Разработан прототип системы сборки релиза


+



• Разработан прототип системы сборки релиза

Начинаем перевод остальных отделов


+

Переходим полностью


+


• Презентация об основах работы с git


+



• Помощь в переходный период


+




• Специальная страничка в Confluence


+




• Специальная страничка в Confluence

Торжественное закрытие svn


+

Этап второй: unit-тесты

Задача: дать разработчику быстрый ответ о качестве кода на ранних этапах разработки?


Задача: дать разработчику быстрый ответ о качестве кода на ранних этапах разработки

Решение: unit-тесты, написанные самим разработчиком + регрессионные тесты, написанные коллегами ранее

?

!

Внедрение культуры написания юнит-тестов


+


• Написание нескольких примеров


+



• Организация семинаров


+




• Показательная демонстрация полезности


+




• Показательная демонстрация полезности

• Поощрение первопроходцев


+

Стимулируем процесс


+


• Добавление инструментов


+



• Добавление обязательного прогона unit-тестов


+



• Добавление обязательного прогона unit-тестов

Как результат - резкий рост количества юнит-тестов: с пары десятков до более 3000.


+

Этап третий: code review

Задача: повысить читаемость кода, добавив процесс ревью кода и удобный интрумент для него

?


Задача: повысить читаемость кода, добавив процесс ревью кода и удобный интрумент для него

Решение: gitphp с надстройками для ревью и интеграцией с Jira

?

!

Процесс - обязательный. Способ - вольный:


+


• code review осуществляется руководителем отдела


+



• code review - внутри группы


+




• задачи попадают в общую очередь на review


+




• задачи попадают в общую очередь на review

• review проводят от каждого отдела


+

Этап четвертый: автоматизация процессов

Задача: ускорить выкладку новых фич, не потеряв в качестве?


Задача: ускорить выкладку новых фич, не потеряв в качестве

Решение: специальная команда release-инженеров для автоматизации сборки и выкладки билда

?

!

Внедрение автоматизации

Автовыкладка на стейджинг

Code freeze

git hooks

AIDA

CI + CDSelenium

Шоты


Подзадача: автоматизировать часть code review


?

Подзадача: автоматизировать часть code review

Решение: добавляются новые git-хуки, использующие в том числе анализаторы кода


?

!

Что начинаем проверять+


Что начинаем проверять

• Каждая ветка начинается с номера задачи

+




• Наличие сопровождающего для кода

+





• Состояние задачи

+





• Состояние задачи

• Соответствие кода принятым стандартам

+


Подзадача: разумно организовать сборку билда


?

Подзадача: разумно организовать сборку билда

Решение: уменьшаем человеческий фактор в процессе сборки


?

!

Разгружаем релиз-инженеров+


Разгружаем релиз-инженеров

• В помощь написана AIDA

+




• Автомерж каждые 5 минут

+





• Вводится code freeze перед выкладками

+





• Вводится code freeze перед выкладками

Два релиза в день!

+


Подзадача: ускорить unit-тесты (написано уже более 25000!)


?

Подзадача: ускорить unit-тесты (написано уже более 25000!)

Решение: разделение unit-тестов на группы для асинхронного прогона на нескольких серверах


?

!


Common suite

+

suite 1

suite 3

suite 2

suite 4suite 5

suite 6


Common suite

+

suite 1

suite 3

suite 2

suite 4suite 5

suite 6

Cloud computing


Common suite

+

Подзадача: упростить повторные проверки сложных сценариев


?

Подзадача: упростить повторные проверки сложных сценариев

Решение: подключить к написанию selenium-тестов всех QA-инженеров


?

!

Реализуем


+

Реализуем

• Команда автоматизаторов тестов


+

Реализуем


• Цикл cеминаров


+

Реализуем



• Когда можно и нужно писать selenium-тесты


+

Реализуем



• Когда можно и нужно писать selenium-тесты

Участвует каждый QA-инженер!


+

Подзадача: уметь проверять задачу на боевых данных до выкладки.


?

Подзадача: уметь проверять задачу на боевых данных до выкладки.

Решение: шоты - создание “стейджинга” для отдельной ветки (бонус - генерация шаблонов).


?

!

Подзадача: дополнить автоматизированные проверки составных задач


?

Подзадача: дополнить автоматизированные проверки составных задач

Решение: AIDA приобретает дополнительные возможности


?

!

Дополнительные возможности


+


• Проверка дополнительных маркеров


+



• Запуск smoke-тестов


+




• Пересборка билда при откате проблемной задачи


+




• Пересборка билда при откате проблемной задачи

• Нотификации разработчику и QA-инженеру


+

Подзадача: уметь быстро определять и решать проблемы при выкладке


?

Подзадача: уметь быстро определять и решать проблемы при выкладке

Решение: расширение мониторинга и карантин на завершение выкладки


?

!

Контроль выкладки


+


• Асинхронная выкладка, атомарное переключение


+



• Мониторинг ключевых показателей


+



• Мониторинг ключевых показателей

• Быстрый “откат” при проблемах


+

• Набирать высококлассных QA-инженеров

• Подобные задачи требуют времени

• Искать пути оптимизации

Что же ещё?

Александр Свинцов [email protected]

Badoo Development

tech.badoo.com habrahabr.ru/company/badoo/

Спасибо за внимание!

?

mailto:[email protected]?subject=

http://tech.badoo.com

РИФ 2016, Внедрение контроля качества в большом...

Business