Тестирование в mail.ru (Дмитрий Зенович)
DESCRIPTION
TRANSCRIPT
![Page 2: Тестирование в mail.ru (Дмитрий Зенович)](https://reader033.vdocuments.mx/reader033/viewer/2022061210/5490133bb47959ea328b4588/html5/thumbnails/2.jpg)
Дмитрий Зенович
руководитель тестирования
Руководство, разработка, тестирование
![Page 3: Тестирование в mail.ru (Дмитрий Зенович)](https://reader033.vdocuments.mx/reader033/viewer/2022061210/5490133bb47959ea328b4588/html5/thumbnails/3.jpg)
Тестирование
• Процесс• Информация• Качество
![Page 4: Тестирование в mail.ru (Дмитрий Зенович)](https://reader033.vdocuments.mx/reader033/viewer/2022061210/5490133bb47959ea328b4588/html5/thumbnails/4.jpg)
Как протестировать?
![Page 5: Тестирование в mail.ru (Дмитрий Зенович)](https://reader033.vdocuments.mx/reader033/viewer/2022061210/5490133bb47959ea328b4588/html5/thumbnails/5.jpg)
Затраты ресурсов при ручном регрессионном тестировании
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
Тестирование версииИнтересная задача
![Page 6: Тестирование в mail.ru (Дмитрий Зенович)](https://reader033.vdocuments.mx/reader033/viewer/2022061210/5490133bb47959ea328b4588/html5/thumbnails/6.jpg)
Ручное тестирование
Настройка конфигурации
Выполнение теста
Анализ результатов
Отчет
![Page 7: Тестирование в mail.ru (Дмитрий Зенович)](https://reader033.vdocuments.mx/reader033/viewer/2022061210/5490133bb47959ea328b4588/html5/thumbnails/7.jpg)
Настройка конфигурации
Эталонные образы Редактирование образов
![Page 8: Тестирование в mail.ru (Дмитрий Зенович)](https://reader033.vdocuments.mx/reader033/viewer/2022061210/5490133bb47959ea328b4588/html5/thumbnails/8.jpg)
Opscode Chef
![Page 9: Тестирование в mail.ru (Дмитрий Зенович)](https://reader033.vdocuments.mx/reader033/viewer/2022061210/5490133bb47959ea328b4588/html5/thumbnails/9.jpg)
Быстрое создание стенда
![Page 10: Тестирование в mail.ru (Дмитрий Зенович)](https://reader033.vdocuments.mx/reader033/viewer/2022061210/5490133bb47959ea328b4588/html5/thumbnails/10.jpg)
Автоматизация тестов
• Полностью автоматизированные тесты
• Python UnitTest• Собственные
библиотеки
![Page 11: Тестирование в mail.ru (Дмитрий Зенович)](https://reader033.vdocuments.mx/reader033/viewer/2022061210/5490133bb47959ea328b4588/html5/thumbnails/11.jpg)
Автоматический запуск тестов
Git / RPM
Ручное тестирование версииИнтересная задачаАвтоматизированное тестирование
![Page 12: Тестирование в mail.ru (Дмитрий Зенович)](https://reader033.vdocuments.mx/reader033/viewer/2022061210/5490133bb47959ea328b4588/html5/thumbnails/12.jpg)
Тестирование
Настройка конфигурации
Выполнение теста
Анализ результатов
Отчет
![Page 13: Тестирование в mail.ru (Дмитрий Зенович)](https://reader033.vdocuments.mx/reader033/viewer/2022061210/5490133bb47959ea328b4588/html5/thumbnails/13.jpg)
Параллельный Selenium
• IE• Opera• Java/C++• Блокировки
![Page 14: Тестирование в mail.ru (Дмитрий Зенович)](https://reader033.vdocuments.mx/reader033/viewer/2022061210/5490133bb47959ea328b4588/html5/thumbnails/14.jpg)
Триггеры непредвиденных ситуаций
ltrace + подмена результата + Python
![Page 15: Тестирование в mail.ru (Дмитрий Зенович)](https://reader033.vdocuments.mx/reader033/viewer/2022061210/5490133bb47959ea328b4588/html5/thumbnails/15.jpg)
Машина времени
ltrace + подмена результата time, gettimeofdate, clock_gettime
![Page 16: Тестирование в mail.ru (Дмитрий Зенович)](https://reader033.vdocuments.mx/reader033/viewer/2022061210/5490133bb47959ea328b4588/html5/thumbnails/16.jpg)
Проверка фильтра Блума
![Page 17: Тестирование в mail.ru (Дмитрий Зенович)](https://reader033.vdocuments.mx/reader033/viewer/2022061210/5490133bb47959ea328b4588/html5/thumbnails/17.jpg)
Проверка случайной выдачи
Критерий
![Page 18: Тестирование в mail.ru (Дмитрий Зенович)](https://reader033.vdocuments.mx/reader033/viewer/2022061210/5490133bb47959ea328b4588/html5/thumbnails/18.jpg)
Проверка случайной выдачи
![Page 19: Тестирование в mail.ru (Дмитрий Зенович)](https://reader033.vdocuments.mx/reader033/viewer/2022061210/5490133bb47959ea328b4588/html5/thumbnails/19.jpg)
Проверка случайной выдачи
Простой пример:
chi_square, p_value = scipy.stats.chisquare(counted)0,05 > p_value > 0,95
![Page 20: Тестирование в mail.ru (Дмитрий Зенович)](https://reader033.vdocuments.mx/reader033/viewer/2022061210/5490133bb47959ea328b4588/html5/thumbnails/20.jpg)
Тестирование
![Page 21: Тестирование в mail.ru (Дмитрий Зенович)](https://reader033.vdocuments.mx/reader033/viewer/2022061210/5490133bb47959ea328b4588/html5/thumbnails/21.jpg)
Итоги
• Настройка конфигурации
• Выполнение регрессионных тестов
• Анализ результатов• Публикация отчета
• Новые тесты• Автоматизация• Инструменты
автоматизации