Тестирование в cctv: частные случаи и глобальные...

Тестирование в CCTV:частные случаи и глобальные проблемы

Александр Васильев, ITV | AxxonSoft

Обо мне

• В 2006 году закончил химфак МГУ• 5 лет в химико-технологическом НИИ• В 2011 году ВНЕЗАПНО стал тестировщиком

Сейчас:

Ведущий инженер по качеству, тимлид

План доклада

• Актуальность темы• Видеонаблюдение для самых маленьких• Особенности ПО и разработки• Проблемы, их причины и решения• Выводы и мораль

Актуальность темы

Много докладов про:• Менеджмент (test / team / time)• Мобилки и web / облака• Автоматизацию

Мало докладов про:

• Desktop приложения

• Ручное тестирование

Совсем нет докладов про:• CCTV – Closed-Circuit TeleVision – Видеонаблюдение

Система видеонаблюдения

Аналоговые камеры => аналоговый сигнал

Коаксиал


DVR (Digital Video Recorder) – видеорегистратор

Коаксиал LAN

DVR


IP-камеры => цифровой сигнал по LAN


DVR


NVR (Network Video Recorder) – цифровой DVR, видео по LAN


NVRDVR

NVR


Современная система CCTV

LAN

VPN

Облако

СХД

Мобилки

Камера винтернете

Домашнийкомпьютер

Инструментарий ручного тестирования

Особенности ПО и разработкиОсобенности ПО• Пререквизиты и сложная архитектура• Распределённая система и сети• Спец.оборудование и ресурсоёмкость

Особенности разработки• Разработкой руководит гендир• Мы почти не проектная компания

Пререквизиты и сложная архитектура

Сторонний софт, «пререквизиты»:

Сторонние решения внутри Axxon Next:


Наш софт (с отдельным инсталлятором):• Driver Pack – интеграция устройств• Detector Pack – видео- и аудиоаналитика

Наши технологии:• NGP – ядро сервера (Next Generation Platform)• Business Layer – прокладка между сервером и клиентом.

Главная головная боль.

~180 вендоров~ 1500 устройств


Сложная архитектура приложения:

GUINGP

BusinessLayer

DriverPack

Клиент, C# Сервер, C++

Mercurial

OpenGL

.NET TAO

PostgreSQL

DetectorPack

VC++ Redist

Распределённая система и работа в сети

Самый простой случай:

Сервер + Клиент

Более распространённая ситуация:


Клиент

Домен Клиенты

Сервер

Более распространённая ситуация:


Домен КлиентыМультидомен


Работа в сети:

• Широкий канал:

1 камера 720p / 25 fps / h264 => 8 Mbit/s

• Подсети, NAT, VPN

• Конфликты IP-адресов, потеря пакетов

• Broadcast / Multicast / Unicast

Спец.оборудование и ресурсоёмкость

Камеры – это не только видео

Датчики

Реле

Микрофон

Динамик

PTZ

Прошивка


Экспорт из архива Аудиоаналитика

Отображение

Работа с БД Запись в архив

Видеоаналитика

Декодирование

Особенности ПО и разработкиОсобенности ПО• Пререквизиты и сложная архитектура• Распределённая система и сети• Спец.оборудование и ресурсоёмкость

Особенности разработки• Разработкой руководит гендир• Мы почти не проектная компания

Разработкой руководит гендир

Спецификация есть:

PM Спека



Спека

Тест-план

Софт Баг

Тест-дизайнер

Разработчик

Тестировщик

Главный


Спецификации нет:

Письмо/Skype/…



СофтРазработчик

Тестировщик

Письмо/Skype/…

Мы – не проектная компания

Для крупного заказчика мы – проектная компания

Индивидуальный подход к разработке• Персональные версии• Новые фичи в релиз-кандидате• Объём новых фич не фиксирован

Индивидуальный подход к сопровождению• Починка багов на объекте, кастомные модули• Направляем тестеров на объекты по всему миру

Мы почти не проектная компания

Сложности тестирования

1. Нет автоматизации2. Непредсказуемый срок стабилизации3. Нет удалённого тестирования4. Нехватка ресурсов5. Нет спец.оборудования6. Нет спецификаций7. Неравномерная загрузка

Сложности тестирования

Неравномерная загрузка

Нет спецификаций

Нет спец.оборудования

Нехватка ресурсов

Нет удалённого тестирования

Непредсказуемый срок стабилизации

Нет автоматизацииПререквизиты и

сложная архитекура

Распределённая система и сети



Мы почти не проектная компания

Сложности: причины и решения

Нет автоматизации• Кадровая политика• Нет времени• Технические причины


Зато есть автоматизация рутинных операций:

• Публикация сборок

• Сбор метрик по отделу


Нет автоматизации

Пререквизиты и сложная архитектура (ещё раз)

GUINGP

BusinessLayer

DriverPack

Клиент, C# Сервер, C++

Mercurial

OpenGL

.NET TAO

PostgreSQL

DetectorPack

VC++ Redist



Причины:

• Пререквизиты и сложная архитектура Ресурсы на создание и поддержку автотетстов

• Спец.оборудование и ресурсоёмкость Сложная автоматизация механических действий

• Разработкой руководит гендир Непредсказуемые изменения ПО



Решения:

• Автоматизация – не панацея и не самоцель

• Отлаженное ручное тестирование

• Обучение автотестеров в отделе



Причины:

• Пререквизиты и сложная архитектура Ошибки в архитектуре: легко наводятся баги

• Мы почти не проектная компания Новые фичи в релиз-кандидате

Нечёткие сроки всего



1 2 3 4 5 6 7 8

Блокеры по итерациям

Итерации



Решения:

• Перераспределение ресурсов отдела

• Нет чётких сроков стабилизации



Причины:

• Распределённая система и сети Требуется широкий канал

• Спец.оборудование и ресурсоёмкость Сложности с механическими действиями



Решения:

• Работа в дружном коллективе

• Гибкий график, лояльное начальство



Причины:

• Спец.оборудование и ресурсоёмкость Нехватка мощностей для адекватной нагрузки

• Распределённая система и сети Не можем повторить сложный баг у клиента



SaaS / Web-приложения

Производитель софта Потребитель софта



Desktop / CCTV

Производитель софта Потребитель софта

Как это тестировать?!


Конфигурация

15 камер: 720p / 25 fpsАрхив: 2 недели

ТребуетсяСеть: 120 Mbit/sCore i7 4790: 40 – 50%HDD: 18 Tb

Примеры (число камер)Bank Melia Iran (Иран) 722YPF (Аргентина) 800

Emperors Palace Casino (ЮАР) 500

Mudo Chain (Турция) 1920




Решения:

• Использование виртуализации

• Оптимистичный взгляд на мир



Причины:

• Спец.оборудование и ресурсоёмкость Штатное тестирование спец.устройств



Решения:

• Эмуляция устройств и сетей

• Если дают – отлаживаемся на объекте


Отсутствие спецификаций

• Затруднено написание тест-планов

• Баги закрываются как «by design»

• Нет планирования фич по версиям



Причины:• Разработкой руководит гендир

Спецификации отменены

• Мы почти не проектная компания



Причины:• Разработкой руководит гендир

Спецификации отменены

• Мы почти не проектная компания Фича интегрируется по договорённости



Решения:• Взаимодействие с разработкой, запросы в Jira

• Свободное общение, неформальная атмосфера


Неравномерная загрузка группы

Причины:• Разработкой руководит гендир• Мы почти не проектная компания

«Гибкое управление разработкой» Внеплановые проверки фич


Неравномерная загрузка группы

Решения:• Распределение задач в Департаменте

• «Гибкое планирование» работы QA

ВыводыПроблемы вне QA: Проблемы внутри QA:Непредсказуемый срок стабилизацииНет спецификацийНеравномерная загрузка

Нет автоматизацииНет удалённого тестированияНет ресурсов и спец.оборудования

РешенияАдаптироваться к текущей бизнес-моделиУлучшать взаимодействие с разработкойНадеяться на нормализацию ситуации

Автоматизация и удалёнка – не самоцельПодготовка кадров в отделеВиртуализация / эмуляция и т.п.

Контакты

alexx.chem

[email protected]

Спасибо за внимание!

Тестирование в cctv: частные случаи и глобальные...

Education