sqadays 2010 burmistrov_fomin_20101120(2)
DESCRIPTION
final versionTRANSCRIPT
Используем GUI-автоматизацию вместе с бизнес-пользователями
Бурмистров Валерий, Фомин Илья
Align Technology, Inc
Содержание
• Цель доклада
• О компании Align Technology
• Постановка проблемы
• Описание системы• Среда выполнения – Web-портал• Проблемы скриптов и их решения• Дополнительные возможности
• Результаты использования
• Заключение
• Q&A
2
Цель доклада
• Цель доклада• Поделиться опытом создания инфраструктуры
автоматизации тестирования, ориентированной на использование внешними по отношению к “автоматизаторам” пользователями
• Пользователи нашей GUI-автоматизации Тестировщики, разработчики Администраторы приложений Представители производства Финансисты
3
О компании Align Technology
• Align Technology, Inc – лидер в области “невидимой ортодонтии”.
• альтернатива брекетам• на рынке с 1999г.
• Мы помогаем людям улыбаться больше и таким образом делаем людей счастливее
• Размер R&D: ~200 человек
• Сайт компании - www.aligntech.com
4
Постановка проблемы
5
Постановка проблемы – зачем
6
Мы хотим:
• Чтобы наши коллеги самостоятельно использовали автоматизацию тестирования для своих нужд
Зачем??
• Уменьшение накладных расходов на коммуникации с автоматизаторами
• Недоступность целевой системы (ОС, WAN, Security)
• Уменьшение требований к экспертизе сотрудников
• Ускорение часто выполняемых операций
• Другие преимущества автоматизации в целом
• Дополнительное использование уже существующих скриптов
Постановка проблемы – сложности?
7
«Пирамида проблем»:
?Желание
Скорость
Надежность
Доверие
Информированность
Функциональность/гибкость
Доступность/простота использования
1: Среда выполнения 2: Скрипты
3: Доп. функционал
Описание системы
8
Среда выполнения (ROCS) – workflow
• Схема использования• Пользователь с помощью web-интерфейса запускает
задачу на запуск автоматизации• Задача поступает в очередь. Из очереди задачи поступают
на свободные машины в кластере и выполняются• После выполнения скрипта пользователь получает e-mail с
результатами запуска автоматизации 9
Среда выполнения (ROCS) - компоненты
10
• Сервер
• Хост для web-интерфейса системы
• Файловое хранилище для отчетов
• Кластер виртуальных машин
• Каждый клиент способен выполнить любую задачу
• Сервер БД
• Сервер лицензий (HP QTP)
Среда выполнения (ROCS) – web-портал (1/4)
Интерфейс портала:
11
Среда выполнения (ROCS) – web-портал (2/4)
Последовательность запуска:
12
1
2
3
4
5
6
7
Среда выполнения (ROCS) – web-портал (3/4)
13
Редактор параметров:
• Отслеживание:• Состояние
кластера в реальном времени на Web-портале:
• Интерфейс к БД
• VNC
14
Среда выполнения (ROCS) – web-портал (4/4)
Среда выполнения (ROCS) – отчеты (1/2)
• Результат – на e-mail• Пользователь получает детальное описание результатов
прохождение автоматизации и описание ошибок (+скриншот), если что-то пошло не так
15
Среда выполнения (ROCS) – отчеты (2/2)
• Фильтры
16
Среда выполнения (ROCS) – кластер
Кластерные клиенты:
• Виртуальные машины
• Самоорганизующиеся
• Идентичны
• Универсальны
• Обновление скриптов: Subversion
• Регулярные перезагрузки и другие методы обхода известных проблем QTP
17
VNC
SVN
Server
DB
Среда выполнения (ROCS) – БД
СУБД:
• Вспомогательная информации веб-портала и кластера
• Обмен информацией между QTP-скриптами
• Статистическая информация
• Регулярные автоматизированные отчеты
18
Среда выполнения (ROCS) – Преимущества
• “Заточенность” под компанию
• Простота использования
• Дополнительная функциональность
• Бесконечная кастомизация
• Возможность совмещения нескольких тулов
• Кросс-платформенность
• Бесплатность -> масштабируемость
• Наличие экспертов по системе
19
Проблемы скриптов и методы решения
20
Проблемы скриптов и методы решения (1/2)
•Функциональность- Постоянный сбор запросов- Выдвижение предложений- Максимальная гибкость- Up-front design
•Юзабилити- Справка и документация- Введение обработки параметров по умолчанию- “Читабельные” и понятные отчеты
21
Проблемы скриптов и методы решения (2/2)
•Доверие- Видео, показательные забеги- Хорошие логи, побольше скриншотов- Прозрачное отображение на тест-сценарии
•Надежность- Обработка исключительных ситуаций- Подробное описание ошибок
•Скорость- Возможность выключения ненужных шагов- Распараллеливание, если возможно- Внимание к мелочам при разработке скриптов
22
Дополнительные возможности системы
• Возможность поиска уже созданных данных для немедленного использования
23
Дополнительные возможности системы
• Проверка работоспособности тестовых сред• Регулярные запуски на 6 тестовых средах (+ по запросу)• Результаты на портале в реальном времени:
24
Результаты использования
25
Результаты использования (1/2)
• Используется в 4 географических зонах:• США (Калифорния), • Коста-Рика, • Мексика, • Россия (Москва)
• Используется в различных департаментах: Тестировщики, разработчики Администраторы приложений (для Smoke Tests) Представители производства (для UAT) Финансисты (для UAT финансовой части)
26
Результаты использования (2/2)
• 30-40 внешних пользователей в неделю• Несколько сот запусков скриптов в неделю• С начала 2010 года автоматизацией создано более 54 000
пациентов (что эквивалентно трудоемкости порядка 15-20 человеко-лет):
27
Jan Feb Mar April May June July Aug Sep Oct0
1000
2000
3000
4000
5000
6000
7000
8000
Bots Automation Msk INTL Total
Заключение
• Создана инфраструктура автоматизации, которая используется “неавтоматизаторами”
• Общение с системой через Web-интерфейс • Систему часто используют люди, далекие от R&D(бизнес-пользователи, администраторы, менеджмент)
• Система имеет ряд полезных свойств, в частности:• Удобство и простота использования• Оптимизация использования лицензий• Расширяемость (за счет виртуализации)• Наличие дополнительного функционала
Надеемся, что этот опыт будет Вам полезен!
28
Спасибо!
Вопросы?
29
Контактная информация (backup slide)
• Бурмистров Валерий – Senior SQA Manager• E-mail – [email protected]• Profile - http://valeriyburmistrov.moikrug.ru/
• Фомин Илья – SQA Automation Team Lead• E-mail – [email protected]• Profile - http://i-fomin.moikrug.ru/
30