![Page 1: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/1.jpg)
Тестирование IP видео на примере библиотеки Skype
2012 © Skype Internal Data.
SQA days 2012
![Page 2: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/2.jpg)
Оксана Деменцова
• Software development engineer in test, Skype division. Microsoft. Tallinn office
• Почти 5 лет в тестировании
• Все проекты связаны с видео
oksana.dementsova
Slide 22012 © Skype Internal Data.
![Page 3: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/3.jpg)
Сегодня
Видео библиотека Skype
Качество видео
Объективные оценки
Субъективные оценки
Выводы
2012 © Skype Internal Data.
![Page 4: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/4.jpg)
Видео библиотека Skype
2012 © Skype Internal Data.
![Page 5: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/5.jpg)
Slide 5
Видео – в массы!
200 млн онлайн пользователей в месяц
40 млн одновременно онлайн
Более 40% звонков – видео звонки
300 млн минут видео в день
2012 © Skype Internal Data.
![Page 6: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/6.jpg)
Видео библиотека Skype
Независимый компонент
Slide 62012 © Skype Internal Data.
![Page 7: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/7.jpg)
Обеспечения качества
Как и любой другой програмный продукт, Skype тестируется разными способами
• Unit testing, code coverage, и всякие другие инструменты
Однако, видео довольно уникальная часть
• И это то, о чем мы поговори
А начнем с одного большого вопроса…
Slide 72012 © Skype Internal Data.
![Page 8: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/8.jpg)
На сколько хорошо выглядит
наше видео?
2012 © Skype Internal Data.
![Page 9: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/9.jpg)
А если детальнее…
2012 © Skype Internal Data. Slide 9
Оно вообще
работает?
А со старыми
версиями?
Между
платформами
работает?
Предыдущие
версии хуже?
Видео и аудио
синхронны?
Какой компромис
между аудио, видео и
жизнью батареи?
![Page 10: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/10.jpg)
Все непростоИзмерение качества видео – сложная задача, так как включает в себя:
1. понимание того, как работает воспрятие человека (глаза + мозг)
2. преобразование этих знаний в алгоритмы и эксперименты
2012 © Skype Internal Data. Slide 10
![Page 11: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/11.jpg)
Субъективное vs. объективное
Объективное: измеримые характеристики видео
Субъективное: то, что имеет значение для конечного пользователя
2012 © Skype Internal Data. Slide 11
![Page 12: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/12.jpg)
Спектр метрик
2012 © Skype Internal Data. Slide 12
Полностью
объективные Объективные Смешанные
Скорее
субъективные
Полностью
субъективные
Частота кадров Цвет Артефакты ЧеткостьМнение
пользователей
Разрешение Замирания Скрытия ГладкостьОбщее
впечатление
Соотношение
сторон
СинхронностьПодергивание
Задержка Мерцание
![Page 13: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/13.jpg)
Объективные метрики
Расрешение: 160x120, 720p, full HD…
Частота кадров: 30 fps
• Базовые метрики. Но, не дают полного представления о качестве
Другие метрики: точность кадра, размытость, блоковость, резкость
• Сложнее определить и измерить
2012 © Skype Internal Data. Slide 13
![Page 14: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/14.jpg)
Кодек
2012 © Skype Internal Data. Slide 14
VC-1 H264 VP6
![Page 15: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/15.jpg)
Цвет
Slide 152012 © Skype Internal Data.
![Page 16: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/16.jpg)
Артефакты
Slide 162012 © Skype Internal Data.
![Page 17: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/17.jpg)
Порядок кадров
Slide 172012 © Skype Internal Data.
![Page 18: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/18.jpg)
Объективное
тестирование
2012 © Skype Internal Data.
![Page 19: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/19.jpg)
e2e тестирование
UI уровень тестирования видео библиотеки + интеграция
Используем Automatic Calling System для распределения тестов
ACS включает:
• Агент, который контролирует UI либо браузер
• Логирование
• Опционально: лог парсеры, отчеты
2012 © Skype Internal Data.
![Page 20: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/20.jpg)
Релиз тестирование
Тысячи звонков для проверки стабильности
• Тестирование новых версий видео библиотеки
• Тестирование новых функций: кодек, ключи настройки
Информация про производительность билдов:
• Логи
• Bugsense, Watson, HockeyApp
Slide 202012 © Skype Internal Data.
![Page 21: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/21.jpg)
Карта ACS клиентов
Slide 212012 © Skype Internal Data.
![Page 22: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/22.jpg)
Local loopback тестированиеТестовые приложения
2012 © Skype Internal Data.
![Page 23: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/23.jpg)
CI система
Что это значит?
• каждые 10 минут, скрипт проверяет наличие новых коммитов.
• запускаются короткие тесты (в среднем тест – 30 сек).
• отчет генерируется в базе и отображается на веб странице
Ночью запускаются длинные тесты.
2012 © Skype Internal Data. Slide 23
Build
Deploy
RunAnalyze
Report
![Page 24: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/24.jpg)
CI систама
2012 © Skype Internal Data. Slide 24
Наглядно
![Page 25: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/25.jpg)
CI длительные тесты
Slide 25
8ми часовой звонок!
2012 © Skype Internal Data.
![Page 26: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/26.jpg)
Ежедневное тестирование регрессии
Slide 26
Быстрые проверки Функционал Качество
Видео старт/стоп HD видеоРазрешение, частота
кадров
Совместимость
платформРасшаривание экрана
Реакция на изменения
качества сети
Переключение
устройствГруповой звонок
Реакция на
загруженость
процессора
2012 © Skype Internal Data.
![Page 27: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/27.jpg)
Проверим сами?
2012 © Skype Internal Data. Slide 27
![Page 28: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/28.jpg)
Нефункциональные требования
Функциональные vs. Нефункциональные
видео работает = мы что-то видим
vs.
качество видео хорошее = нам нравится наш видео звонок
2012 © Skype Internal Data. Slide 28
![Page 29: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/29.jpg)
NFR – Pass/Failed vs баллы
Slide 29
Индикатор Функциональное
Pass / Fail
Нефункциональное
0% → 100%
разрешение ≠ 0x0 max = VGA
частота кадров ≠ 0 max = 15fps
битрейт 350kpbs ± 10%
качество кадра кадр существует PSNR илиSSIM значение
2012 © Skype Internal Data.
![Page 30: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/30.jpg)
Баллы
2012 © Skype Internal Data. Slide 30
![Page 31: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/31.jpg)
Субъективное
тестирование
2012 © Skype Internal Data.
![Page 32: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/32.jpg)
Эксперименты в видео лаборатории
Для разработки нового функционала
Пример: стоит ли применять скрытие ошибок?
Для настройки функций
Пример: какой компромисс между качеством видео и аудио на мобильных
устройствах?
2012 © Skype Internal Data. Slide 32
![Page 33: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/33.jpg)
SAMVIQ методологияSAMVIQ (subjective assessment methodology for video quality ITU-R BT.700).
2012 © Skype Internal Data. Slide 33
![Page 34: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/34.jpg)
Разделение для анализа результатов
Содержание:
• Сцены: статический бэкграунд, голова и плечи, динамичные сцены.
• Источник: веб камера в помещении, камера мобильного устройства.
Опыт испытателя:
• Не эксперт, аудио эксперт, видео эксперт, эксперт в аудио и видео
2012 © Skype Internal Data. Slide 34
![Page 35: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/35.jpg)
Результаты?
2012 © Skype Internal Data. Slide 35
![Page 36: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/36.jpg)
Обратная связь «реального мира»
2012 © Skype Internal Data. Slide 36
• Mean Opinion Score (MOS):
оценка обычного пользователя
(шкала от 1 до 5)
• Статистика звонка,
тип сети, логи звонка
![Page 37: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/37.jpg)
Что мы с этим делаем?
Аудио – широкополосный аудио кодек SILK дает звонки длиннее и с лучшими баллами
2012 © Skype Internal Data. Slide 37
![Page 38: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/38.jpg)
Сравнение субъективных тестов
Тестирование в лаборатории Обратная связь пользователей
Контролируемая среда Неконтролируемая среда
Функции в разработке Только выпущеный клиент
Быстрый оборотМедленное развертывание новых
конфигураций
Изолируемые функции Оценивается весь звонок
Абстрактная среда Оценка от конечного пользователя
Ограниченое количество тестов Миллионы испытателей
2012 © Skype Internal Data. Slide 38
![Page 39: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/39.jpg)
Выводы
2012 © Skype Internal Data.
![Page 40: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/40.jpg)
Измерение качества видео
Метрики видео програмного обеспечения сложны и разнообразны
• Баланса параметров сложно достичь
• Тестирование происходит на многих уровнях
Объктивные оценки: автоматизируем
• e2e уровень интеграции: сценарии конечного пользователя
• Низшие уровни интеграции: более абстрактны, но дешевле и изолировано от других компонентов
Slide 402012 © Skype Internal Data.
![Page 41: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/41.jpg)
Применение качества видео
Субъективные оценки: что действительно важно для пользователей
• Лабораторные экспериметны: настройки функций, контролируемые условия
• Обратная связь: живое впечатление, масштабно
Видео тестировщик ответственен за
• внедрение, интерпретацию результатов, их обобщение с результатами других команд
• … помощь в обеспечении качества видеозвонка завтрашнего дня
Slide 412012 © Skype Internal Data.
![Page 42: Тестирование IP видео на примере библиотеки Skype](https://reader034.vdocuments.mx/reader034/viewer/2022042614/559990d31a28ab3f418b4686/html5/thumbnails/42.jpg)
Q&A
2012 © Skype Internal Data.