О тестировании в edi
TRANSCRIPT
![Page 1: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/1.jpg)
Команда
• 12 разработчиков• 3 тестировщика
![Page 2: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/2.jpg)
Что такое EDI• Быстро принять, преобразовать, переслать и отобразить в морде
много сообщений (400 000 в день)
![Page 3: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/3.jpg)
Терминология unit, системные, браузерные, на интеграцию
код EDI
Часть кода EDI, в которой сосредоточена бизнес-логика
Функциональный макет на реакте
EDI
Тесты
EDI для девочек
Макет
![Page 4: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/4.jpg)
Цепочки производства: 1. Нефункциональные задачи
Программист Бой (и с ближайшим релизом)
Код Тесты
![Page 5: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/5.jpg)
Цепочки производства: 2. Код конвертеров, всякие мелочи
Аналитик Тестировщик Бой
Тесты Еще тестыEDI для девочек
![Page 6: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/6.jpg)
Цепочки производства: 3. Обычные задачи (попроще)
Программист Тестировщик Бой
EDI Тесты Еще тесты
![Page 7: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/7.jpg)
Цепочки производства: 3. Обычные задачи (посложнее)
Программист Проектировщик Фронтендер Тестировщик Бой
Тесты Еще тестыEDI Макет Морда
![Page 8: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/8.jpg)
Цепочки производства: 3. Большие задачи
Проектировщик Программист Бой
Фронтендер Тестировщик
Тесты
EDIМакет
Морда
![Page 9: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/9.jpg)
Цепочки производстваАналитик Проектировщик Фронтендер Программист Ревью Тестировщик Ревью Бой
EDI для девочек
Фуллстек таск
Задача на производительность мимо тестирования
Обычная задачка
![Page 10: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/10.jpg)
![Page 11: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/11.jpg)
Релизы• 1-2 релиза в неделю• Еще столько же нагрузочных релизов мимо тестеров• Не релизим после 13:00, и по пятницам• С 2-4 фичами каждый релиз
• Есть блог релизов в вики
![Page 12: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/12.jpg)
![Page 13: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/13.jpg)
![Page 14: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/14.jpg)
Презентация архитектурных решений• Несколько за год, по большим задачам• Собираются программисты, но слушать можно всем
![Page 15: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/15.jpg)
Что тестируем
• Новые фичи, новые интерфейсы• Регрессии нет, верим тестам
![Page 16: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/16.jpg)
Где тестируем• 1й тестинг с боевыми интеграциями• 2й тестинг начали создавать
• Основная работа - локально
![Page 17: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/17.jpg)
Тестинг• 45 сервисов• 7 баз• 10+ виртуалок• 3 больших железки• 18 000$
![Page 18: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/18.jpg)
Когда тестируемРазработчик:• Код – тесты – полный прогон тестов – Ревью
Тестировщик:• Еще тесты – полный прогон тестов• Выкатываем на тестинг и гоняем на старых данных• Заливаем в мастер – полный прогон тестов
• Прогон основного кейса на тестинге (5 минут)• Релиз
![Page 19: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/19.jpg)
После тестирования
Разборы полетов:• Не написал тест = не проверял
Передача знаний:• Ревью кода
![Page 20: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/20.jpg)
Числа по тестам• 6496 тестов всех уровней (на 4 марта 2016)
Юнит
Системные
Браузерные
0 500 1000 1500 2000 2500 3000
![Page 21: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/21.jpg)
Числа по тестам• Время прохождения тестов (без очереди) 9 часов =(
• Параллелим в 24 потока, но по типам тестов: 11+10+5+42+14+9+250+2+2+1+13+7+11+55+31+15+230+77+54+37+528+20+40 (минут)
• Полное время прогона в 1 поток: 25 часов• 14 агентов
![Page 22: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/22.jpg)
Поток задач (прочеканы 30+ штук)
Параметр Минимум, дни
Максимум, дни
Среднее, дни 90% за, дни
Время ожидания задачи в очереди 0 10 2 4
Время в тестировании 0 42 6 13
Время ожидания релиза 0 6 3 5
От готовности к тесту до релиза 0 44 11 16
От создания до релиза 3 47 13 16
![Page 23: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/23.jpg)
Практики• Код приложения читают все (я понимаю не всё, но всё равно
читаю)• Код тестов пишут и читают все
• Стараемся писать контракты в вики• Демо задач проводилось, но умерло
• Частая ситуация: разработчик чинит код с машины тестера. Этакая парная разработка
![Page 24: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/24.jpg)
ПланыВ основном связаны с тестирующей системой и исполнением контрактов:
• Ревью кода• Регламент релиза• Оптимизация времени прохождения тестов• Понижение уровня тестов (browser system, systemunit)• Повышение стабильности тестов
![Page 25: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/25.jpg)
![Page 26: О тестировании в EDI](https://reader036.vdocuments.mx/reader036/viewer/2022062503/5874a82d1a28abfc5f8b9d51/html5/thumbnails/26.jpg)