test automation canvas - не наступайте на глабли автоматизации

Test  Automa+on  Canvas  

Андрей  Ребров  ScrumTrek  

О  себе  любимом  

COOL  STORY  

ПРО  БОББИ,  КОТОРЫЙ  ОЧЕНЬ  ЛЮБИЛ  ДЕНЬГИ  РАССКАЖУТ  НА  СЕКЦИИ  

КОММЕРЦИИ  

А  у  нас…  

•  IT  подразделение  банка  •  Система  из  7  проектов  •  Релизы  каждые  2-­‐3  месяца  •  Ручная  регрессия  

Внезапно...  

Давайте использовать Jameleon и полностью автоматизируем регресс!

Прошло  2  месяца  

Простенький  скрипт  на  Jameleon  

Итог  

•  5  команд  отказались  от  автоматизации  •  1  команда  с  болью  сделала  автотесты  •  1  команда  сделала  автотесты  и  ей  понравился  Jameleon  

Итак,  для  кого  этот этот  доклад  

Попробуем  разобраться!  

Начните  с  выявления  проблем  

В  данном  случае  

•  Очень  долгая  регрессия  •  Баги  при  настройке  тестовых  данных  •  Фикс  одного  бага  порождает  другой  •  ...  

Нам  нужны  измерения  

При  этом  нужно  обозначить,  что  значит,  что  мы  закончили  

Даешь  Метрики  и    Defini+on  of  Done  •  Регрессия  должна  проходить  за  4  часа  •  Количество  открытых  багов  не  больше  5  •  Количество  багов  связанных  с  настройкой  данных  равно  0  

Он  подскажет  за  метрики  

Meaningful Metrics http://bit.ly/VtENby

Как  тестируем?  

В  нашем  случае  

•  Unit  -­‐  тестирование  •  Интеграционное  тестирование  (by  Dev)  •  Automated  Func+onal  Tes+ng  (UI  and  WebService)  

Ничего  нового  

StarMap,  чтобы  понять,  кто  в  чем  помогает  

Как  начать  что-­‐то  новое?  

Coding  Dojo!  

Coding Dojo - http://bit.ly/VK4p8E

Testing Dojo - http://bit.ly/RFjpnU

Automated Testing Dojo - http://bit.ly/XjiBV3

Quick  win!  

Например  

•  Запись  сценариев  с  помощью  recording  tools  

•  Сделать  дамп  баз  данных  и  накатывать  их  скриптом  

Откуда  появляются  идеи  

Брейнсторм Ретроспектива

Ideation Игротехники

3  -­‐  12  -­‐  3  

3  минуты:  каждый  пишет  идеи  по  решению  проблемы  на  стикерах  

12  минут:  работа  в  паре  над  3  случайными  листочками  из  всей  кучи  

3  минуты:  презентация  наработок  группе  

Инфраструктура  и  инструменты  

Для  нас  

•  Selenium  2  WebDriver  •  SoapUI  •  Linux  -­‐  сервера    •  Jenkins  и  пачка  плагинов  •  Суммарные  dashboard  в  JIRA  

Как  все  не  забыть?  

Test  Automa+on  Canvas  

Problems Metrics & DoD Quick wins Tools & Infrastructure

Testing types

Так  откуда  берутся  проблемы?  

Из-­‐за  нарушения  связей!  

В  нашем  случае  

•  Jameleon  не  давал  quick  win:  нарушена  связь  Quick  wins  -­‐  Tools&Infrastructure  

•  Были  метрики  но  не  было  DoD  •  AFT  не  помогал  решить  проблемы  с  появлением  новых  багов  после  фикса  старых:  нарушена  связь  Problems  -­‐  Tes+ng  types    

Итоги  

Вопросы?  

Где  меня  искать  

•  arebrov@scrumtrek.ru  •  rebrov.andrey  •  @andrebrov  •  h�p://andrebrov.net  •  h�p://codecra�ing.pro