Разработка методики тестирования производительности...
DESCRIPTION
Егор Еремеев - доклад на SQA Days, 2-3 декабря 2011, МоскваTRANSCRIPT
![Page 1: Разработка методики тестирования производительности комплекса систем](https://reader033.vdocuments.mx/reader033/viewer/2022061618/557f1be2d8b42ad03e8b4af2/html5/thumbnails/1.jpg)
Егор Еремеев, Universal KUBE, 2011
Производительность комплекса систем
Простой подход к разработке методики тестирования
![Page 2: Разработка методики тестирования производительности комплекса систем](https://reader033.vdocuments.mx/reader033/viewer/2022061618/557f1be2d8b42ad03e8b4af2/html5/thumbnails/2.jpg)
О докладчике
• Компания Universal Kube– Разработка, внедрение и эксплуатация систем в
в сфере финансов, банковской деятельности– Партнер TCS в России
• Егор Еремеев– Руководитель отдела тестирования– Опыт в отрасли более 5 лет
![Page 3: Разработка методики тестирования производительности комплекса систем](https://reader033.vdocuments.mx/reader033/viewer/2022061618/557f1be2d8b42ad03e8b4af2/html5/thumbnails/3.jpg)
Что стоит за этими краткими фразами?
Протестировать производительность
Провести нагрузочное тестирование
![Page 4: Разработка методики тестирования производительности комплекса систем](https://reader033.vdocuments.mx/reader033/viewer/2022061618/557f1be2d8b42ad03e8b4af2/html5/thumbnails/4.jpg)
Простые случаи
• Виртуальные пользователи
• Запросы-ответы• Профиль нагрузки• Время отклика
![Page 5: Разработка методики тестирования производительности комплекса систем](https://reader033.vdocuments.mx/reader033/viewer/2022061618/557f1be2d8b42ad03e8b4af2/html5/thumbnails/5.jpg)
«А за окном капитализм»
![Page 6: Разработка методики тестирования производительности комплекса систем](https://reader033.vdocuments.mx/reader033/viewer/2022061618/557f1be2d8b42ad03e8b4af2/html5/thumbnails/6.jpg)
Ход обсуждения
• Сравним простые ситуации и случай комплекса систем
• Выделим главные разделы методики тестирования производительности
• Получим список шагов для тест-дизайнера
![Page 7: Разработка методики тестирования производительности комплекса систем](https://reader033.vdocuments.mx/reader033/viewer/2022061618/557f1be2d8b42ad03e8b4af2/html5/thumbnails/7.jpg)
Источники и объекты нагрузки
• В системе есть некоторые процессы, производительность которых нужно тестировать
• Система = Объект нагрузки• Процессы в этой системе кто-то или
что-то инициирует.
• Кто-то или что-то = Источник нагрузки
![Page 8: Разработка методики тестирования производительности комплекса систем](https://reader033.vdocuments.mx/reader033/viewer/2022061618/557f1be2d8b42ad03e8b4af2/html5/thumbnails/8.jpg)
Источники и объекты нагрузки• И объектов, и
источников нагрузки несколько
• Объект и источник совпадают
• Несколько источников для одного объекта
![Page 9: Разработка методики тестирования производительности комплекса систем](https://reader033.vdocuments.mx/reader033/viewer/2022061618/557f1be2d8b42ad03e8b4af2/html5/thumbnails/9.jpg)
Источники и объекты нагрузки
• Выделяем источники нагрузки, чтобы подумать как будем при тестировании создавать нагрузку от них
• Выделяем объекты нагрузки, чтобы подумать, что же будем тестировать
![Page 10: Разработка методики тестирования производительности комплекса систем](https://reader033.vdocuments.mx/reader033/viewer/2022061618/557f1be2d8b42ad03e8b4af2/html5/thumbnails/10.jpg)
Характеристики производительности
Почему время отклика? Почему не скорость передачи данных сервером пользователю?Выбираем то, что в заданном процессе воспринимается пользователем непосредственно
![Page 11: Разработка методики тестирования производительности комплекса систем](https://reader033.vdocuments.mx/reader033/viewer/2022061618/557f1be2d8b42ad03e8b4af2/html5/thumbnails/11.jpg)
Характеристики производительности
• Временные и объемные характеристики
• ХП3: Максимальное число пользователей одновременно работающих во Вспомогательной системе 1
• ХП4: Время отклика АБС на вызовы транзакций ИР
• ХП5: Время выполнения АБС не online операций (Secondary Update и batches End of Day и Start of Day)
![Page 12: Разработка методики тестирования производительности комплекса систем](https://reader033.vdocuments.mx/reader033/viewer/2022061618/557f1be2d8b42ad03e8b4af2/html5/thumbnails/12.jpg)
Характеристики производительности
• Скоростные характеристики для инфопотоков
• ХП2 и ХП3: Скорость обработки данных. Текущая скорость и Общая скорость.
![Page 13: Разработка методики тестирования производительности комплекса систем](https://reader033.vdocuments.mx/reader033/viewer/2022061618/557f1be2d8b42ad03e8b4af2/html5/thumbnails/13.jpg)
Характеристики производительностиНужные
ХП1: Правильность обработки данных.
ХП7: Использование аппаратных ресурсов.
Сложные
ХП: Задержка между проведением операции и отображения данных в отчетах
ХП: Задержка между проведением операции и изменении статусов документов в системе интернет-банкинга
![Page 14: Разработка методики тестирования производительности комплекса систем](https://reader033.vdocuments.mx/reader033/viewer/2022061618/557f1be2d8b42ad03e8b4af2/html5/thumbnails/14.jpg)
Характеристики производительности
• Определяем характеристики производительности, чтобы ясно понять цели тестирования
![Page 15: Разработка методики тестирования производительности комплекса систем](https://reader033.vdocuments.mx/reader033/viewer/2022061618/557f1be2d8b42ad03e8b4af2/html5/thumbnails/15.jpg)
Процесс нагрузкиПрофиль нагрузки \ Карта запуска• Набор бизнес-операций• Операции во времени• Объемы данных во
времени
Система интеграции
![Page 16: Разработка методики тестирования производительности комплекса систем](https://reader033.vdocuments.mx/reader033/viewer/2022061618/557f1be2d8b42ad03e8b4af2/html5/thumbnails/16.jpg)
Процесс нагрузки
Режим нагрузки = Профиль нагрузки + параметры среды• П1: Готовность кода систем.• П7: Объем и содержимое БД АБС.• П8: Сетевые конфигурации АБС и
Вспомогательной системы – 1.• П4: Участие реальных систем или заглушек.
![Page 17: Разработка методики тестирования производительности комплекса систем](https://reader033.vdocuments.mx/reader033/viewer/2022061618/557f1be2d8b42ad03e8b4af2/html5/thumbnails/17.jpg)
Процесс нагрузки
• Определяем режим нагрузки, чтобы зафиксировать условия, в которых будет измеряться производительность
![Page 18: Разработка методики тестирования производительности комплекса систем](https://reader033.vdocuments.mx/reader033/viewer/2022061618/557f1be2d8b42ad03e8b4af2/html5/thumbnails/18.jpg)
Модель нагрузки
1
12
3
![Page 19: Разработка методики тестирования производительности комплекса систем](https://reader033.vdocuments.mx/reader033/viewer/2022061618/557f1be2d8b42ad03e8b4af2/html5/thumbnails/19.jpg)
Дополнительные разделы методики
![Page 20: Разработка методики тестирования производительности комплекса систем](https://reader033.vdocuments.mx/reader033/viewer/2022061618/557f1be2d8b42ad03e8b4af2/html5/thumbnails/20.jpg)
Список шагов тест-дизайнера
1. Определить объекты и источники нагрузки
2. Определить характеристики производительности
3. Определить режимы нагрузки4. Описать структуру скриптов5. Сформировать раунды тестирования6. Определить способы измерения
характеристик производительности