technik.mensch.leidenschaft
DIN EN ISO 9001
Embedded & Software Engineering
ISO 29119:
Die neue Normenreihe zum Softwaretest
Dr. Richard Kölbl, März 2017
© 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de 2017 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de - Folie 2 technik.mensch.leidenschaft
Agenda
Agenda
l Was ist die Normenreihe ISO/IEC/IEEE 29119?
l Braucht Softwaretesten eine Norm?
l Inhalte der Norm 29119-1 bis 4
l Positive Effekte beim Einsatz der Norm
l Wo und warum sich Agil und Norm nicht beißen sollten
© 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de 2017 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de - Folie 3 technik.mensch.leidenschaft
Was ist die Norm 29119?
Was ist die Norm ISO / IEC / IEEE 29119 Software Testing?
l Es ist eine Normenreihe zum Thema Softwaretest.
l Norm / Standard: Systematisch konsolidierte Sammlung von Erfahrung /
Good Practices.
l Normen zielen auf Rationalisierung, Kostensenkung, Verständigung -
allgemeine Vorteile der Industriegesellschaft.
l Normen werden fortlaufend aktualisiert.
© 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de 2017 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de - Folie 4 technik.mensch.leidenschaft
Was ist eine Norm und was ein Standard?
Standard und Norm
l Norm: Industriestandard
nach festgelegtem Normierungsverfahren
im Konsens erarbeitet und verabschiedet.
l Alles andere ist ein De-facto-Standard, z.B. ISTQB.
ISTQB
Testbegriffe
Testverfahren
Testprozesse
Qualität
Unittest
© 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de 2017 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de - Folie 5 technik.mensch.leidenschaft
Der juristische Aspekt
Zu bedenken ist:
l Systementwicklung hat immer (latenten) juristischen Aspekt.
l Entwicklung: Zulieferungen -> Systemintegration
l Verteilte Systeme
Normen haben das Potential der Rechtsverbindlichkeit.
Normen werden im internationalen Konsens erarbeitet.
© 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de 2017 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de - Folie 6 technik.mensch.leidenschaft
Bestandteile der Norm 29119
Bestandteile der Norm 29119
l IEEE 29119-1-2013: Software and systems engineering
Software testing Part 1: Concepts and definitions.
l IEEE 29119-2-2013: Software and systems engineering
Software testing Part 2: Test processes.
l IEEE 29119-3-2013: Software and systems engineering
Software testing Part 3: Test documentation.
l IEEE 29119-4-2015: ISO/IEC/IEEE International Standard for
Software and systems engineering--Software
testing--Part 4: Test techniques.
© 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de 2017 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de - Folie 7 technik.mensch.leidenschaft
Basisnormen der ISO/IEC/IEEE 29119
Die ISO 29119 referenziert:
l Basisnorm IEC 61508-3 (SIL):
Functional safety of ... safety related systems.
ISO 29119 - 2 schlägt das "Wie" vor.
l Norm ISO 26262-6 (ASIL):
Functional safety - Product development at the software level
ISO 29119 - 4 zu "Code Coverage".
l Norm ISO/IEC 25000:
SW engineering – SW Product Quality Requirements and
Evaluation
ISO 29119 zu Qualitätsmerkmalen.
© 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de 2017 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de - Folie 8 technik.mensch.leidenschaft
Das große ...
ABER?
l Gesetzliche Vorgaben in sicherheitsrelevanten Bereichen.
l Software besteht immer mehr aus Fremdmodulen.
l Es passiert genug.
l Ärgerliche Produkte.
l Es wird viel Richtiges gemacht, aber
z.B. in der falschen Reihenfolge,
z.B. nicht in ausreichender Tiefe.
© 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de 2017 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de - Folie 9 technik.mensch.leidenschaft
Das testerische Denken
Denken in:
l Testebenen: Zur rechten Zeit am rechten Objekt
l Testobjekt ↔ Testmittel
l Testeffizienz und -sensitivität
l Testansätzen, -methodiken, -überdeckungen
l TESTERFOLG
© 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de 2017 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de - Folie 10 technik.mensch.leidenschaft
Inhalte der Norm
ISO 29119 - 1:
l Begriffe und Definitionen
l Software-Testkonzepte:
Einführung in den Softwaretest
SWTest im Kontext von Organisation und Projekt
Generische Testprozesse im SWLebenszyklus
Risikobasierter Test
Testpraktiken
Testautomatisierung
Fehlermanagement
© 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de 2017 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de - Folie 11 technik.mensch.leidenschaft
Inhalte der Norm
ISO 29119 - 1: Beispiele für Stichwörter
l actual results (EXAMPLE)
l test coverage item
l equivalence partition coverage
l organizational test policy
l organizational test strategy
l retesting
l regression testing
l test case (!)
© 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de 2017 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de - Folie 12 technik.mensch.leidenschaft
Inhalte der Norm
ISO 29119 - 2:
l Begriffe und Definitionen
l Prozesse
auf organisatorischer Ebene
Testspezifikation
des Testmanagements
Testkonzepte
Teststrategien
des dynamischen Tests
© 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de 2017 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de - Folie 13 technik.mensch.leidenschaft
Inhalte der Norm
ISO 29119 - 3:
l Begriffe und Definitionen
l Dokumentation der Prozesse
auf organisatorischer Ebene
Teststrategien
Testrichtlinie
des Testmanagements
Testkonzepte
des dynamischen Tests
© 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de 2017 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de - Folie 14 technik.mensch.leidenschaft
Inhalte der Norm
ISO 29119 - 3:
l Begriffe und Definitionen
l Dokumentation der Prozesse
des dynamischen Tests
Testentwurfsverfahren
Testspezifikation
Anforderungen an Testinfrastruktur
Testberichte / -protokolle
Fehlerbericht
© 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de 2017 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de - Folie 15 technik.mensch.leidenschaft
Inhalte der Norm
ISO 29119 - 4: Testverfahren
l Grundsätzliches zu Testverfahren
l Von Testbedingungen zum Testfall
l Testverfahren und Prozesse / Dokumente
l Detaillierte Darstellung von Testverfahren
© 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de 2017 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de - Folie 16 technik.mensch.leidenschaft
Inhalte der Norm
ISO 29119 - 4: Testverfahren
© 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de 2017 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de - Folie 17 technik.mensch.leidenschaft
Zum Einsatz der ISO 29119
Investitionsbedarf beim Einsatz der ISO 29119
l Gewisse finanzielle sowie zeitliche Investition.
l Gewisses Hinein- und Umdenken
z.B. Testmerkmal -> Testbedingung -> Testüberdeckung -> Testfall
l Aufwand für gezielten Test erhöht sich u.U.
l Norm ersetzt weder Schulung noch Erfahrung noch Denken.
© 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de 2017 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de - Folie 18 technik.mensch.leidenschaft
Zum Einsatz der ISO 29119 (1)
Positive Effekte durch den Einsatz der ISO 29119
l Aufwand verschiebt sich auf gezieltere Fehlersuche
l Konsistente Anleitung (Begriffe, Verfahren, Anleitungen...)
l Effizienter Einsatz dieser Testmethoden und -ansätze
l Weniger Fehler in Integration, Feldtest, Rollout
l Verbleibende "weiße Fehler" besser eingrenzbar
© 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de 2017 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de - Folie 19 technik.mensch.leidenschaft
Zum Einsatz der ISO 29119 (2)
Positive Effekte durch den Einsatz der ISO 29119
l Testen bekommt professionelle Qualität
l Ggf. juristische Absicherung
l Kompatibilität zu anderen Produkten, Verfahren, Abteilungen ...
l Höhere Aussagesicherheit über Qualität / Produktreife
l
© 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de 2017 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de - Folie 20 technik.mensch.leidenschaft
ISO 29119 und agile Prinzipien
Warum sich die ISO 29119 mit agilen Prinzipien nicht beißen sollte
l Agiles Manifest bzw. Scrum Guide absichtlich schmal gehalten.
ISO 29119 bietet sich für den Bereich Softwaretest an.
l Techniken zur Umsetzung sollen hinzukommen.
l T-shaped professionals: Testerwissen verteilen.
l Tester müssen аnders denken.
© 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group 2011 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de 2017 Mixed Mode GmbH - Ein Unternehmen der PIXEL Group - www.mixed-mode.de - Folie 21 technik.mensch.leidenschaft
Eine Art Fazit
Voraussetzung zur Umsetzung der ISO 29119
l Bewusstsein dafür, dass Testen
eigenständige
erfahrungsbasierte
theoretisch untermauerte
Technik ("Testologie") oder Kunst ("ars probandi") ist,
l in der sich Laien durchaus von Professionellen unterscheiden.
Mixed Mode GmbH
Lochhamer Schlag 17
D-82166 Gräfelfing
Tel.: +49/89/8 98 68-200
Fax: +49/89/8 98 68-222
www.mixed-mode.de
© 2017 Mixed Mode GmbH
Ein Unternehmen der PIXEL Group