Тестовый оракул: что, где, когда

Тестовый оракул: что, где, когдаSoftware Testing 101

Марат Ахин

Санкт-Петербургский государственный политехнический университет

2014

Марат Ахин (СПбГПУ) TO 2014 205 / 328

Quiz


Recap


Проблемы тестирования Проблемы тестирования

Проблемы тестирования

What’s up, Doc? (с)

Проблема тестовых входных данныхПроблема наблюдаемостиПроблема «останова»Проблема тестового оракула


Проблема тестового оракула

Содержание

1 Проблема тестового оракулаТестовый оракулВиды тестовых оракуловГенерация оракулов


Проблема тестового оракула Тестовый оракул

Тестовый оракул

Magic 8-ball тестирования




В чем заключается проблема тестового оракула?

Его нет!




Вид тестового оракула очень сильно зависит от того, какуюэталонную модель мы используем

kd-treestoimd5sumPDF reader


Проблема тестового оракула Виды тестовых оракулов

Виды тестовых оракулов

Точность

vs

Полнота



Точность

Способность оракула избегать ложных обнаружений

Ложные обнаружения при тестировании – лишние затраты на ихобнаружение и игнорированиеЕсли их будет слишком много, оракул никто не будетиспользовать из-за зашумления результатов



Полнота

Способность оракула находить все ошибки

Пропущенные ошибки при тестировании – дополнительныезатраты на их исправление позднееЕсли оракул пропускает много ошибок, его необходимо усиливатьдругими способами



Виды тестовых оракулов

Варьируя используемые подходы, можно получить те или иные видытестовых оракулов

СлабыеСредниеСильные



Слабые оракулы

ПадениеSegmentation faultCore dump

Работают всегдаПрактически ничего не говорят о причине ошибки




Сбой при работе в обычном окруженииNullPointerExceptionOutOfMemoryExceptionClassNotFoundException

Работают при поддержке стандартной среды выполненияСодержат определенную информацию о месте ошибки




Сбой при работе в специальном тестовом окруженииValgrind

Предоставляют специальную среду выполненияПозволяют весьма точно определить причину ошибок



Valgrind

Фреймворк для построения средств динамического анализапрограммВключает встроенные реализации для

MemcheckCachegrindCallgrindHelgrindDRDMassifDHAT...




Хорошая точностьПлохая полнота



Средние оракулы

AssertionsТесты

Требуют определенных усилий со стороны разработчиковВ зависимости от степени усилий, будут более или менее точноуказывать на место возникновения ошибки



Средние оракулы

Хорошая точностьСредняя полнота



Сильные оракулы

Эталонная реализация

Предыдущая версия программыФормально верифицированная реализацияАвтоматически сгенерированная версия




«Обратная функция»

Прямое/обратное преобразование ФурьеАрхиватор/деархиваторКодер/декодер видео




Средняя точностьХорошая полнота


Проблема тестового оракула Генерация оракулов

Генерация оракулов

Можно ли генерировать оракула автоматически?

Да!Слабые оракулыСредние оракулы



Генерация слабых оракулов

Все уже естьСлабый оракул предоставляется средой выполненияЕсли что-то упало, мы всегда об этом узнаем



Генерация слабых оракулов

В явном виде используются весьма редкоСлучайное тестирование...

Сложно понять, где произошла ошибкаНе всегда очевидно, в чем именно заключается ошибка



Генерация средних оракулов

AssertionsТесты




Все уже естьСредние оракулы разрабатываются параллельно с разработкой ПОПри возникновении проблемы мы сразу узнаем о ней

Зачем их генерировать автоматически?



Генерация assertions

Assertions проверяют корректность внутреннего состоянияКак автоматически сгенерировать assertions?

Machine learning




Собираем информацию о выполнении программыВыводим определенные закономерности в работе программыГенерируем assertion, проверяющий ненарушение закономерностей...PROFIT!

Хорошо работает для FSM-подобных программПлохо работает для всех остальных




Собираем информацию о выполнении программыВ случае падения определяем его причинуГенерируем защитный assertion...PROFIT!

Способ усиления слабых оракулов до среднихНе работает, если ничего не падает



Генерация тестов

Тесты – один из видов эталонной модели поведенияКак автоматически сгенерировать эталонную модель?

Мутационное тестирование




Вспомним, что:Идеальный тест работает только на тестируемой программе

Если тест проходит на мутанте, это плохо

Собираем информацию о выполнении оригинальной программы имутантаАнализируем разницу...PROFIT!



Генерация тестов для GUI

А если у нас есть GUI???

Что такое разница в работе GUI?Как можно автоматически ее обнаружить?




Нужна модель самого GUIНужна модель изменений GUIИзвлечение моделей должно выполняться автоматически




GUITAR

GUI – иерархия отдельных компонентовСобытия – переводят иерархию из одного состояния в другое

Как сгенерировать тестового оракула?




Capture/replayФормальная спецификацияТрассировка выполнения

Каждому событию соответствует свой переход




Оракул – набор (частичных) состояний, соответствующихпереходам по событиям GUI

Как проверять корректность?Активный компонентАктивное окноВидимые окнаВсе окна

В конце тестаПосле каждого N событияПосле каждого события




Можно ли придумать что-то еще?

Случайное тестирование


W.I.L.T. What I Learned Today?

W.I.L.T.


Тестовый оракул: что, где, когда

Education