Особенности тестирования облачных сервисов
DESCRIPTION
Доклад Очира Абушинова на конференции SQADays-15, 18.04.2014, г.МоскваTRANSCRIPT
![Page 1: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/1.jpg)
Особенности тестирования облачных сервисов
Очир Абушинов. WWPass Corporation
![Page 2: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/2.jpg)
Обо мне
• Более 8 лет в тестировании и QA
• Прошел путь от тестирования ПО авионики до руководства отделом QA
• Специализации:
✓ Стратегия тестирования
✓ Автоматизация на Python,Ruby
✓ Тестирование безопасности
• Глава департамента QA
![Page 3: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/3.jpg)
!
• Основана в 2008, головной офис в Нью-Гемпшире,
США
• Удобная и безопасная замена логинам и паролям
• Облачная аутентификация с расширенной
приватностью для конечных пользователей
![Page 4: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/4.jpg)
Что такое «Облако»
!• Доступно с любого устройства с
доступом в Интернет
• Автоматически масштабируется в
зависимости от потребности
заказчика
• Самые распространенные модели
обслуживания - SaaS, PaaS, IaaS
• Модель обслуживания WWPass -
IDaaS (Identity as a Service)
![Page 5: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/5.jpg)
Архитектура
![Page 6: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/6.jpg)
Что тестируем в «облаке»
!
• Бэкенды
• Клиентский софт
• Библиотеки
• API
![Page 7: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/7.jpg)
Особенность нашего «облака»
!
• Распределенность
![Page 8: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/8.jpg)
Особенность нашего «облака»
!
• Распределенность
• Сложная оценка производительности
![Page 9: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/9.jpg)
Особенность нашего «облака»
!
• Распределенность
• Сложная оценка
производительности
• Деплоймент
![Page 10: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/10.jpg)
Особенность нашего «облака»
!
• Распределенность
• Сложная оценка
производительности
• Деплоймент
• Масштабируемость
![Page 11: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/11.jpg)
Особенность нашего «облака»
!
• Распределенность
• Сложно оценивать
производительность
• Деплоймент
• Масштабируемость
• Безопасность
![Page 12: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/12.jpg)
Особенности автоматизации
!• Необходима для тестирования бекендов и API
![Page 13: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/13.jpg)
Особенности автоматизации
!• Необходима для тестирования бекендов и API
• Начинается с создания API разработчиками
![Page 14: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/14.jpg)
Особенности автоматизации
!• Необходима для
тестирования бекендов и API
• Начинается с создания API
разработчиками
• Активное использование эмуляторов и заглушек
![Page 15: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/15.jpg)
Особенности автоматизации
!• Необходима для тестирования бекендов и API
• Начинается с создания API разработчиками
• Активное использование эмуляторов и заглушек
• Привязка к тестовой инфраструктуре при прогоне тестов
![Page 16: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/16.jpg)
Особенности автоматизации
!• Необходима для тестирования бекендов и API
• Начинается с создания API разработчиками
• Активное использование эмуляторов и заглушек
• Привязка к тестовой инфраструктуре при прогоне
тестов
• Самописный фреймворк
![Page 17: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/17.jpg)
Особенности тестирования
производительности!
• Результаты тестирования в тестовой сети и продакшен могут отличаться
![Page 18: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/18.jpg)
Особенности тестирования
производительности!
• Результаты тестирования
в тестовой сети и
продакшен могут
отличаться
• Измерение «цепочки» результатов
![Page 19: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/19.jpg)
Особенности тестирования
производительности!
• Результаты тестирования в тестовой сети и продакшен могут отличаться
• Измерение «цепочки» результатов
• Тестирование может занимать много времени (пример - заполнение базы данных)
![Page 20: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/20.jpg)
Особенности тестирования
производительности!
• Результаты тестирования в тестовой сети и продакшен
могут отличаться
• Измерение «цепочки» результатов
• Тестирование может занимать много времени (пример
- заполнение базы данных)
• Самописный фреймворк (кроме веба)
![Page 21: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/21.jpg)
Особенности QA инженеров
!
• Требуются навыки системного администрирования
![Page 22: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/22.jpg)
Особенности QA инженеров
!
• Навыки системного
администрирования
• Коммуникативные навыки для общения с админами, менеджерами, разработчиками
![Page 23: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/23.jpg)
Особенности виртуализации
!
• Виртуализация необходима для экономии ресурсов
![Page 24: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/24.jpg)
Особенности виртуализации
!
• Виртуализация необходима для экономии ресурсов
• Не все можно и нужно виртуализировать
![Page 25: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/25.jpg)
Мониторинг
• Для проверки доступности сервисов нужны «smoke» тесты
![Page 26: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/26.jpg)
Мониторинг
• Для проверки доступности сервисов нужны «smoke»
тесты
• Необходимо мониторить загрузку CPU, RAM, etc.
![Page 27: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/27.jpg)
Мониторинг
• Для проверки
доступности сервисов
нужны «smoke» тесты
• Необходимо мониторить
загрузку CPU, RAM, etc.
• Можно использовать Munin или Op5
![Page 28: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/28.jpg)
Тестирование безопасности
!
• Необходим внешний аудит
![Page 29: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/29.jpg)
Тестирование безопасности
!
• Необходим внешний
аудит
• Быть в курсе последних уязвимостей
![Page 30: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/30.jpg)
Стресс тестирование
• Главный источник «негативных» сценариев
![Page 31: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/31.jpg)
Стресс тестирование
• Главный источник «негативных» сценариев
• Тестовые кейсы иногда приходят из продакшена
![Page 32: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/32.jpg)
Распределенность
!
• Сложность диагностирования ошибки
![Page 33: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/33.jpg)
Распределенность
!
• Сложность диагностирования ошибки
• Помогает система поиска ошибок по логам
![Page 34: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/34.jpg)
Распределенность
!
• Сложность диагностирования ошибки
• Система поиска ошибок по логам
• Необходимость в распределенных серверах в тестовой инфраструктуре
![Page 35: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/35.jpg)
Распределенность
!• Сложность диагностирования ошибки
• Система поиска ошибок по логам
• Необходимость в распределенных серверах в тестовой инфраструктуре
• Нужна развитая система деплоймента
![Page 36: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/36.jpg)
Урок 1
• Разумная «виртуализация»
![Page 37: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/37.jpg)
Урок 2
• Разумная «виртуализация»
• Отдельная тестовая инфраструктура
![Page 38: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/38.jpg)
Урок 3
• Разумная
«виртуализация»
• Отдельная тестовая
инфраструктура
• Автоматизация рутинных операций
![Page 39: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/39.jpg)
Урок 4
• Разумная «виртуализация»
• Отдельная тестовая инфраструктура
• Автоматизация рутинных операций
• Использование эмуляторов, заглушек, моков
![Page 40: Особенности тестирования облачных сервисов](https://reader033.vdocuments.mx/reader033/viewer/2022051012/546618f5af7959496f8b5737/html5/thumbnails/40.jpg)
Урок 5
• Разумная «виртуализация»
• Отдельная тестовая инфраструктура
• Автоматизация рутинных операций
• Использование эмуляторов, заглушек, моков
• Важность «негативных» сценарий