![Page 1: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/1.jpg)
Framework для автоматизации тестирования и функционального мониторинга в Яндексе
или
Автостопом по Акве
![Page 3: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/3.jpg)
AQuA
![Page 4: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/4.jpg)
50*
* Серверов в последней версии AQuA
![Page 5: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/5.jpg)
50 000*
Давайте померяемся
* Тестовых классов в день
![Page 6: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/6.jpg)
![Page 7: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/7.jpg)
Почему?
Рост команды
Рост числа тестов
Частота запуска тестов
Потребность в единообразии
Требования к надежности системы
Требования к функционалу системы
![Page 8: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/8.jpg)
![Page 9: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/9.jpg)
История!
![Page 10: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/10.jpg)
Ppsha
+ Monitoring
Alpha
Beta
… Bonus!
Katiusha
Gamma
![Page 11: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/11.jpg)
Ppsha
+ Monitoring
Alpha
BetaKatiusha
Gamma
![Page 12: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/12.jpg)
Ppsha
Начало
• Ручное тестирование
• Тесты на Perl
• Selenium RC 0.9b
![Page 13: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/13.jpg)
Доставка и хранилище
• Заливаем код в SVN
• Собираем все тесты в один JAR
• Парсим структуру тестов в XML
Ppsha
![Page 14: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/14.jpg)
• Создаем профили
• Задаем частоту запуска
• Задаем получателей
• Просматриваем отчеты
Ppsha
Интерфейсы
![Page 15: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/15.jpg)
![Page 16: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/16.jpg)
Исполнение тестов
• Ручной запуск, HTTP, Cron
• 20 selenium servers v0.9b
• Firefox 2.0
• Подготовка HTML отчета
Ppsha
![Page 17: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/17.jpg)
Единообразная обработка ошибок и генерация отчетов
Сервисы
Запуск селениума Различные
виды запуска тестов
Снятие скриншотовСохранениеhtml
Прозрачная работа с параметрами для тестов
![Page 18: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/18.jpg)
Ppsha
+ Monitoring
Alpha
BetaKatiusha
Gamma
![Page 19: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/19.jpg)
Katiusha
Две машины
![Page 20: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/20.jpg)
Katiusha
Monitoring
![Page 21: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/21.jpg)
Куча тестов
Monitoring
*
* Оценка сверху
![Page 22: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/22.jpg)
![Page 23: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/23.jpg)
Солдат спит, робот идет
Monitoring
Cron
![Page 24: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/24.jpg)
Надо ли запускать тесты в продакшене??!!?
Monitoring
![Page 25: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/25.jpg)
Функциональный мониторинг
Убеждаться что жив функционал,а не сервера
Ловить плавающие ошибки
Monitoring
![Page 26: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/26.jpg)
Быстро уведомлять, но когда точно сломалось!
SMS или Email
Выставлять веса ошибкам
Уведомлять после нескольких поломок подряд
Monitoring
![Page 27: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/27.jpg)
Ppsha
+ Monitoring
Alpha
BetaKatiusha
Gamma
![Page 28: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/28.jpg)
ИнтерфейсРепорты
Дерево тестовXML
Java агент
SeleniumsFirefox 2.0
Cron
PPSHA и KatiushaAlpha
SeleniumsFirefox
IE
Дерево тестовMySQL
Альфа архитектуры
![Page 29: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/29.jpg)
Надо ли запускать «версточные» тесты кроссбраузерно?
Alpha
![Page 30: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/30.jpg)
Ppsha
+ Monitoring
Alpha
BetaKatiusha
Gamma
![Page 31: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/31.jpg)
СтруктураТестов
Очередьтестов
Интерфейс Cron
Репорты
MySQL
Beta
JAR
JAR
JAR
/opt
2
2
15
10
![Page 32: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/32.jpg)
Структуратестов
Очередьтестов
Интерфейс Cron
Репорты
MySQL
Beta
Структуратестов
Очередьтестов
Интерфейс Cron
Репорты
MySQL
КластерМониторинга
КластерТестирования
![Page 33: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/33.jpg)
![Page 34: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/34.jpg)
Ppsha
+ Monitoring
Alpha
BetaKatiusha
Gamma
![Page 35: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/35.jpg)
СтруктураТестов
Очередьтестов
Интерфейс Cron
Репорты
MySQL
Gamma
/optЧто будем улучшать?
![Page 36: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/36.jpg)
GammaХотим побеждать
Очередь
Старый селениум 1.03
Файловое хранилище
![Page 37: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/37.jpg)
Bonus!
![Page 38: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/38.jpg)
А зачем нам
selenium???
![Page 39: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/39.jpg)
У селениума своя область применения
GUITests
Acceptance Tests(API Layer)
Unit Tests / Component Tests
Manualtests
![Page 40: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/40.jpg)
HTTP requests
![Page 41: CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе](https://reader038.vdocuments.mx/reader038/viewer/2022110121/558c9482d8b42af0248b459f/html5/thumbnails/41.jpg)
Михаил Левин