testmanagement mit visual studio 2013
DESCRIPTION
Talk abTRANSCRIPT
Nico Orschel | AIT
Marc Müller | 4tecture
Testmanagement mit
Visual Studio 2013
Herausforderungen
• Continous Delivery
• Parallele Releases
• Agile Prozesse
• Zusammenarbeit mit Kunden und Zulieferern
• Multi Plattform (Tablets, Smartphones, andere)
• Cloud
• Testumgebungen, Testautomatisierung
Testen mit VS und TFS
Microsoft Testmanager (MTM)
• Testmanagement
• Man. Testausführung (Formal+Agile)
• Testumgebungsmanagement
Visual Studio (Testautomatisierung)
• Code
• Autom. Testausführung (DefaultLabTemplate.XAML)*
Lab Management (Testumgebungen)
• SCVMM
• Standard
Agenda
4
Intro
Testing Begriffe
Konzepte
Manage
Test Management
Explorativ /
Formal
Best Practices
Execute
Test Execution
Recording,
Exploratives &
Formales Testen
Other
Reporting
(Agile) Testing Quadrants
Business Facing
Support
ing T
eam
Functional Tests
Examples
Story Test
Prototypes
Simulations
Explorative
Testing
Scenarios
Usability Testing
UAT (User
Acceptance
Testing)
Alpha / Beta
Critiq
ue P
roduct
Unit Tests
Component Tests
Performance and
Load Testing
Security Testing
“Ility Testing”
Technology-Facing Source: Brian Marrick
(Agile) Testing Quadrants
Business Facing
Support
ing T
eam
Feedback
Client
Storyboards
Visual Studio
Premium
MTM
Visual Studio
PremiumC
ritique P
roductVisual Studio
Professional
Visual Studio
Ultimate
Technology-Facing
Testpyramide
UI
Service
Unit / Component
Quelle: Mike Cohn
Unit Testing
Framework +
Isolation
Framework
Unit Testing +
Isolation
Framework
UI Test Frameworks
Priorisierung der Tests
UI
Testing
Component
Testing
Unit
Testing
10%
20%
70%
Abnahmetests
Systemintegrationstests
Systemtests
Komponenten-
integrationstests
Komponententests
Die Realität
70%
20%
10%
Abnahmetests
Systemintegrationstests
Systemtests
Komponenten-
integrationstests
Komponententests
UI
Testing
Component
Testing
Unit
Testing
Microsoft Test Manager
• Orientiert an Testeraufgaben– Testplanung
– Testdurchführung
– Testnachverfolgung
– Umgebungsmanagement
• „Testautomatisierung“
für Oberflächen
• Test und Entwicklung
enger zusammenbringen– „Rich Bugs“
– Testvirtualisierung
Die Qual der Wahl: MTM vs. Test
Hub
MTM – Hierarchischer Aufbau
Team Projekt
Test Plan
Release 1Test Plan Release 2 …
Test Suite 1Test Suite
2…
Test
Daten
Test
Steps
Shared
Steps /
Parameters
Test 1
Test
DatenTest
Steps
Test 2
Konfigurationen
Fragestellungen im täglichen
Geschäft
• Verwaltung von untersch. Testfall-
Versionen
• Planung und Reporting auf „Sprint“ Ebene
• Umstieg von Manuellen Tests zu automat.
Tests
• Granularität der Testschritte
• Langsame Testausführung
• Optimierung der Anwendungen
Testplanung für
Sprints
1
4
Ein oder mehre Testpläne?
• Release-Ebene:<Produktname>_<Version>_Repository
• Sprint Ebene:<Produktname>_<Version>_<SprintName1>
<Ort>_<Produktname>_<Version>_<SprintName1>
Testsuite Struktur
Testplan-Name
– Automated Tests
• UI
• Backend
• Services
– Manual Tests
• UI
• Backend
• Services
Planung Gesamt
MyEvent_1.0
UI
Test Case 1
Test Case 2
Test Case 3
Services
DB
Rest
Planung Sprint 1
MyEvent_1.0 UI Test Case 1
Planung Sprint 2
MyEvent_1.0 UI
Test Case 1
Test Case 3
Planung Sprint 3
MyEvent_1.0 UI
Test Case 2
Test Case 3
Planung Gesamt
MyEvent_1.0
UI
Test Case 1
Test Case 2
Test Case 3
Test Case 4
Services
DB
Rest
Planung Sprint 4
MyEvent_1.0 UI
Test Case 3
Test Case 4
TCM Sprintplanung
Sprint 1 Sprint 2 Sprint 3 Sprint 4
Repository v 1.0CopyCopyCopy Copy
TCM Baselining bei mehren
Releases
Repository v 1.0
Repository v 2.0
Clone
Demo MTM / Testhub
Testmanagement
Testdurchführung (formell)
• Einfaches Werkzeug
• Schrittweises Vorgehen
• Manuell or „teilautomatisiert“
Exploratives Testen
Demo MTM
Testdurchführung
Demo MTM
Testdurchführung
Reporting
Diagnose Adapter
Intro
3 Profile pro Testart
Performance
Impact
Automatisches
Sammeln
Low
System
Information
Eventlog
Medium
Low Adapter
Video Recording
Test Impact*
Code Coverage*
High
Medium plus
IntelliTrace*
Anwendungsoptimierung
UI Technology
Optimierung der
Anwendung für gute
Test- automatisierung
notwendig
MSAA
Winforms / MFC
AccessibleDescription
Accessible Name
UIA
WPF
AutomationProperties.
Name und
AutomationId
Wir unterstützen Sie
+49 151 55052624
AIT GmbH & Co. KGLeitzstr. 45, 70469 Stuttgart
www.aitgmbh.de
BERATUNGAgile ALM und TFS
.NET und Architektur
ENTWICKLUNGDienstleister für individuelle
Lösungen mit .NET und Azure
© AIT GmbH & Co. KG – Alle genannten und gezeigten Marken oder Warenzeichen sind eingetragene Marken oder eingetragene Warenzeichen ihrer jeweiligen Eigentümer
und ggf. nicht gesondert gekennzeichnet. Aus dem Fehlen der Kennzeichnung kann nicht geschlossen werden, daß es sich bei einem Begriff oder einem Bild nicht um eine
eingetragene Marke oder ein eingetragenes Warenzeichen handelt.
4tecture GmbHThurgauerstrasse 40CH-8050 Zürichwww.4tecture.ch
Marc MüllerPrincipal [email protected]@muellermarc