selenium camp 2013

56
Наш путь от 90 до 6500 тестов. За кулисами Иван Медведев

Upload: ivan816

Post on 11-Jul-2015

779 views

Category:

Documents


1 download

TRANSCRIPT

Page 1: Selenium camp 2013

Наш путь от 90 до 6500 тестов.

За кулисамиИван Медведев

Page 2: Selenium camp 2013

Что нужно малому бизнесу?

Page 3: Selenium camp 2013

Деньги!

Что нужно государству?

Page 4: Selenium camp 2013

Как не заплатить больше?

Деньги!

Page 5: Selenium camp 2013

Нельзя сделать всю бухгалтерию

Page 6: Selenium camp 2013

Как мы собираемся ее делать?

MVP (minimum viable product)

Постепенно усложняем, выпуская новые фичи

Много релизов

Page 7: Selenium camp 2013

Хорошо, когда релиз первый

Page 8: Selenium camp 2013

Не ведаем, что творим

Page 9: Selenium camp 2013

Иногда, ведаем, но творим

Page 10: Selenium camp 2013

Каждый раз тестировать руками долго

Page 11: Selenium camp 2013

А оно это надо

Page 12: Selenium camp 2013

Нужны автоматические тесты

Page 13: Selenium camp 2013

Типичный бухгалтер

Page 14: Selenium camp 2013

Типичный предприниматель

Page 15: Selenium camp 2013

Настоящий предприниматель

Page 16: Selenium camp 2013

Что нужно хипстеру?

Page 17: Selenium camp 2013

Хипстеру нужен iPhone

Page 18: Selenium camp 2013

Нужны хорошие интерфейсы

Нужны функциональные тесты

Сложно реализовывать

Много ошибок

Page 19: Selenium camp 2013

Итого

Нужно часто релизиться

Функциональные тесты проходят медленно

Continuous Integration

Page 20: Selenium camp 2013

А что советует google?

Page 21: Selenium camp 2013

Развернули 3 конфигурации

Page 22: Selenium camp 2013

Больше

функций

интерфейсов

нюансов

тестов

Page 23: Selenium camp 2013

1 ч

2 ч

5 ч

Все медленно

Page 24: Selenium camp 2013

1 ч

2 ч

5 ч

Отказались от медленных конфигураций

Page 25: Selenium camp 2013

Chrome ведет себя не как Chrome

Page 26: Selenium camp 2013

Периодически пристреливаем Chrome

Page 27: Selenium camp 2013

Вынуждены ждать вечно

Page 28: Selenium camp 2013

Как можно ускорять?

Page 29: Selenium camp 2013

Можно писать в базу

Page 30: Selenium camp 2013

Можно запускать не все

Page 31: Selenium camp 2013

Можно параллелить

Page 32: Selenium camp 2013

Это файл проекта (.csproj) — xml

Его можно модифицировать перед запуском на агентах

Page 33: Selenium camp 2013

10 10 10

Параллелить научились

Page 34: Selenium camp 2013

Можно купить или арендовать сервер

Page 35: Selenium camp 2013

Можно купить через дорогу

Page 36: Selenium camp 2013

Хотим прогонять две ветки

Page 37: Selenium camp 2013

Не всегда тесты зеленые

Page 38: Selenium camp 2013

Кто нсрл на паровоз?

Page 39: Selenium camp 2013

Continuous Integration все время должна быть перед

глазами

Page 40: Selenium camp 2013

Телевизор должен быть большим

Page 41: Selenium camp 2013

Что показывают?

Page 42: Selenium camp 2013

Поднять глаза вверх — это непросто

Page 43: Selenium camp 2013

Continuous Integration разговаривает с нами в

прямом смысле этого слова

Page 46: Selenium camp 2013

В одной комнате с QA

Page 47: Selenium camp 2013

могут проходить, могут не проходить, а могут ни то, ни другое

Page 48: Selenium camp 2013

Нужно разогревать

Page 49: Selenium camp 2013

Перегрузка

Page 50: Selenium camp 2013

Неправильное время

Page 51: Selenium camp 2013

Связанные тесты

Page 52: Selenium camp 2013

Больше терпения

Page 53: Selenium camp 2013
Page 54: Selenium camp 2013

Дежурный инженер

Page 55: Selenium camp 2013

Итого

6500 тысяч тестов

Общее время прогона — 40 минут

Требует усилий только одного разработчика

Результаты представлены максимально доступно

Релиз минимум раз в месяц

Page 56: Selenium camp 2013