Как оптимизировать тестирование мобильных приложений
DESCRIPTION
Доклад Таисии Рыбак на SQA Days-15. 18-19 апреля, 2014, Москва. www.sqadays.comTRANSCRIPT
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
HP UFT MobileКак оптимизировать тестирование мобильных приложений[email protected]
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.2
Чего хотят разработчики мобильных приложений
Интерфейс (UX) РейтингМонетизация
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.3
Что хотят пользователи мобильных приложений?
Простота Скорость Контекст
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.4
Мобильный рынок растёт
http://thenextweb.com/insider/2013/11/12/idc-android-hit-81-0-smartphone-share-q3-2013-ios-fell-12-9-windows-phone-took-3-6-blackberry-1-7/
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.5
Тренд: Одно приложение, два пути
Время
Качествоv 1.0
v 2.0ЖИТЬили
УМЕРЕТЬНовая ОСНовые устройстваНовые APIs…
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Мобильное тестирование бросает вызов. Особенности разработки.
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.7
1 телефон – куча проблемФункциональное• Проверка
функциональности• Smoke / Регрессионное• Оффлайновый доступ• Негативное тестирование
Нефункциональное• Сила сигнала/Отказ/
Восстановление• Разные виды сетей• Тестирование
периферии• Сервисы
Совместимость (IOP)• Прерывания голос/ СМС• Уведомления• Отключение
кабеля/батареи
Утечки памяти• Использование памяти• Утечки памяти• Сбор мусора
Нагрузочное• Использование ЦПУ• Использовние сети• Рендеринг страницы
Удобство использования• Интерфейс• Конкурентный анализ• Экспертная оценка
Тестирование установки• Установка приложения• Деинсталляция и
переустановка• Обновление
Безопасность• OWASP • Динамическое
тестирование• Статический анализ
кода• Шифрование
Языковое• Проверка локалей• Изображения и текст• Валюты, временные
зоны и т.п.
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.8
Мобильная лаборатория
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.9
Сколько стоит лаборатория ?
20
Устройств для разработки
20
Устройств для тестирования
30 000 $
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.10
ИТОГИ ГОДА
40% 30 %
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.11
Мобильные приложения бросают вызов
Операционный
кошмар
Специфичные
требования
мобильных
решений
Производительно
сть
Частота релизов
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.12
Правда хотите ★★★★★?
1 260
Тесткейсы
4
Релиза в год
0,75h
На тест
20
Устройств
15 600Часов ручного тестированияНа приложение в год
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.13
Факторы успеха?
Качество
Работа Автоматизац
ияПростота
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Автоматизация тестирования мобильных устройств
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.15
HP UFT plug-inНативная интеграция с
HP ALM
Реальные устройства
Без привязки к устройству
OCR (распознавание образов и
изображений)
Управление профилями
Профили, полномочия, журналирование
ГлобальностьДоступ повсюду
БезопасностьПолный аудиторский следВозможность стиранияУдалённый доступ
Continuous integration
Корпоративное решениеКонкурентные прогоны
Нативные функцииGPS, Голосовое управление,…
Тестируем на реальных устройствах
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Демонстрация решения
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.17
Выберите устройство из списка
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.18
Библиотека виджетов
Видео с экрана
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.19
Полный список встроенных функций
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.20
Выберите файл приложения для установки минуя магазин приложений
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.21
Управляйте устройством удалённо с компьютера
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.22
Используйте OCR для взаимодействия с устройством
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.23
Используйте распознавание изображений для взаимодействия с устройством
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Демонстрация
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Архитектура решения
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.28
Архитектура. 2 режима работы
Cloud(выделенный)
nati
ve
On-premise
UFT Mobile
Cloud(разделяемый)
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
ОБЛАКО UFT MOBILE
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.31
“Экспресс облако”
2 конкурентных лицензии
ПК с HP UFT
Intranet
●●
HP 8300 Ultra slim
ПК с HP UFT
Mini DDM x2
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.32
“Облако”. За сценой
Реальные устройст
ваHD-камера
• 1частное облако на 4 конкурентных соединения
• Телефоны и SIM-карты предоставляются
• Выделенный безопасный доступ• Доступность 24/7
USB-порты
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.33
“Экспресс облако”
Mini DDM (сзади)
Mini DDM (Спереди)Внешний вид
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Нагрузочное тестирование MOBILE
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.35
Зачем нам это нужно
• Возможность найти узкие места раньше пользователей
• Оценка влияние мобильных компонент на всю систему
• Эмулируем реальные сетевые условия
Реалистичное мобильное нагрузочное тестирование
PC L
RПротокол для мрбльных приложений
Сети
Мониторинг
Где взять столько устройств?
HP Network Virtualization
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.36
Зачем помнить о сетях?Не учитывая реальные условия в сети, тестировщики попадают в западню
VS.Ёмкость > 500 пользователей
Без учёта реальных условий
Ложное чувство защищённости
Ёмкость < 200 пользователей
С учётом реальных условий
Реальные ожидания
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Спасибо