data quality management praxistage...qualität ist kein ziel, sondern ein prozess, der nie zu ende...
TRANSCRIPT
© 2019 | humanIT Software GmbH
Data Quality Management PraxistageKeine Eintagsfliege – DQM als Teil Ihrer Unternehmensstrategie
Agiles Data Quality Management – nachhaltig und hochflexibel: So sorgen Sie für Stabilität
Andreas Brüggenthies 20.11.2019
Ingo Lenzen
2
3
4
5
1
6
Datenverständnis schaffen
Beispiel explorative Datendarstellung
Aufbau einer DQM-Strategie
Regeln, Jobs und Monitoring
Definition DQM/TQM
Beispiel DQM-Prozess
2
3
4
5
6
1
Datenverständnis schaffen
Beispiel explorative Datendarstellung
Aufbau einer DQM-Strategie
Regeln, Jobs und Monitoring
Beispiel DQM-Prozess
Definition DQM/TQM
© 2019 | humanIT Software GmbH
Definition Total Quality Management
Total-Quality-Management (TQM), bisweilen auch umfassendes Qualitätsmanagement, bezeichnet die durchgängige, fortwährende und alle Bereiche einer Organisation (Unternehmen, Institution etc.) erfassende, aufzeichnende, sichtende, organisierende und kontrollierende Tätigkeit, die dazu dient, Qualität als Systemziel einzuführen und dauerhaft zu garantieren. TQM wurde in der japanischen Automobilindustrie weiterentwickelt und schließlich zum Erfolgsmodell gemacht. TQM benötigt die volle Unterstützung aller Mitarbeiter, um zum Erfolg zu führen.
https://de.wikipedia.org/wiki/Total-Quality-Management
© 2019 | humanIT Software GmbH
Prinzipien der TQM-Philosophie
Qualität orientiert sich am Kunden,
Qualität wird durch Mitarbeiter aller Bereiche und Ebenen erzielt,
Qualität umfasst viele Dimensionen, die durch Kriterien operationalisiert werden müssen,
Qualität ist kein Ziel, sondern ein Prozess, der nie zu Ende geht,
Qualität bezieht sich auf Produkte und Dienstleistungen, vor allem aber auf die Prozesse zur Erzeugung derselben.
Qualität setzt aktives Handeln voraus und muss erarbeitet werden.
https://de.wikipedia.org/wiki/Total-Quality-Management
© 2019 | humanIT Software GmbH
Herkömmliche Herangehensweisen an DQM
0
20
40
60
80
100
Projekt 1 Projekt 2 Projekt 3
ProjektmäßigeBearbeitung
© 2019 | humanIT Software GmbH
Datenqualitätsmanagement (DQM)
Datenqualitätsmanagement bezeichnet alle qualitätsorientierten organisatorischen, methodischen, konzeptionellen und technischen Maßnahmen, um Daten im Sinne eines Vermögenswertes für Unternehmen zu steuern und zu verwalten. Dies lässt sich als Regelkreis auffassen, der aus den Phasen definieren, messen, analysieren, verbessern und steuern besteht. Unter genauer Betrachtungsweise ist Datenqualitätsmanagement ein wichtiger Bestandteil von Total Quality Management (TQM).
https://www.business-information-excellence.de/datenqualitaet/8-kapitel-3-datenqualitaet-ein-kritischer-erfolgsfaktor
© 2019 | humanIT Software GmbH
Schritte zum Aufbau eines DQM
Aufbau einer nachhaltigen Data Governance Struktur (Data Ownership)
Etablierung eines einheitlichen Verständnisses von Daten im Unternehmen
Ist Situation - aktuelle Datenlage
Soll Situation – Zieldefinition
Etablierung Data Quality Monitoring für Steuerung der Datenqualität
Implementierung von Quality Gates zur Verhinderung von Datenproblemen
Dr. Christian Fürber, Information Quality Institute GmbH
© 2019 | humanIT Software GmbH
Einzelschritte im DQM
Datenqualität sichten, prüfen und korrigieren.
Regelwerke definieren
Automatische Prüfung der Daten
Prüfungsberichte organisieren (Informationsverteilung)
Monitoring der Datenqualitätsmaßnahmen und Dateninhalte(Dashboards, Kommunikation)
Datenqualität als Prozess etablieren
2
3
4
5
6
1
Datenverständnis schaffen
Beispiel explorative Datendarstellung
Aufbau einer DQM-Strategie
Regeln, Jobs und Monitoring
Beispiel DQM-Prozess
Definition DQM/TQM
© 2019 | humanIT Software GmbH
DQ eine Frage der Perspektive ?
© 2019 | humanIT Software GmbH
Solide ?
© 2019 | humanIT Software GmbH
Doch wackelig ?
© 2019 | humanIT Software GmbH
Evtl. Handlungsbedarf ?!
© 2019 | humanIT Software GmbH
Manchmal kann schnelle Transparenz …
© 2019 | humanIT Software GmbH
…. hilfreich sein !!!
© 2019 | humanIT Software GmbH
Konsens bilden – Daten gemeinsam verstehen
© 2019 | humanIT Software GmbH
Definition Datenqualität
Unter Datenqualität versteht man die Relevanz und Korrektheit von Informationen. Sie beschreibt, wie gut eine Information geeignet ist, die Realität zu beschreiben. Insbesondere besagt sie, wie verlässlich eine Information ist und inwieweit man sie als Handlungsgrundlage verwenden kann.[omikron.net/datenqualitaet.html]
La trahison des images (wörtlich: „Der Verrat der Bilder“) ist eines der bekanntesten Bilder von René Magritte. Es entstand 1929, ist ein 59 x 65 cm großes Ölbild und befindet sich heute im County Museum von Los Angeles. Abgebildet ist eine Pfeife, darunter ist der Schriftzug „Ceci n'est pas une pipe.“ (französisch für „Dies ist keine Pfeife.“) zu lesen.http://de.wikipedia.org
© 2019 | humanIT Software GmbH
Grundlagen SDM - Übung: Datenqualität
Wie beurteilen Sie die Vollständigkeit der folgenden Daten(-sätze)?
Name Straße PLZ Ort Geburtsdatum
Kunde A Peter Müller
Rotweg 53218 Bonn 01.01.1900
Kunde B H. Schulze Hauptstr. 22 53119 Bonn
Kunde C Schmitz Gartenweg 4
Bonn 03.06.1973
Kunde DSpedition
Postfach 4711
49360Vech
ta01.10.2001
© 2019 | humanIT Software GmbH
Konsens
Der Konsens bedeutet die übereinstimmende Meinung von Personen zu einer bestimmten Frage ohne verdeckten oder offenen Widerspruch.
Wikipedia https://de.wikipedia.org/wiki/Konsens
2
3
4
5
6
1
Datenverständnis schaffen
Beispiel explorative Datendarstellung
Aufbau einer DQM-Strategie
Regeln, Jobs und Monitoring
Beispiel DQM-Prozess
Definition DQM/TQM
© 2019 | humanIT Software GmbH
Anforderungen an das Data-Exploring
ÜbersichtDaten einfach anschauen und beurteilen können –plakative Darstellung der Datenlage
KommunikationDateninhalte einfach besprechen können
KonsensEinvernehmliches Verständnis für Dateninhalte herstellen
BrainstormingEinfach und flexibel Teilbereiche des Datenpools selektieren können
© 2019 | humanIT Software GmbH
Explorative Datenauswertung
Anforderung an Tools:
Eine effiziente Ergänzung, um Prüfungsaspekte, Kontrolle, Kommunikation, Überwachung, Transparenz, Nachhaltigkeit und Zeit eine wesentliche Rolle für die Auswertung von Daten zu ermöglichen.
Ergänzend zu regelbasierten Systemen zu sein(§ 25c KWG Fraud, BCBS 239, Datenkontrolle, etc.)
© 2019 | humanIT Software GmbH
LIVE-Beispiel
Explorative Datenanalyse
2
3
4
5
6
1
Datenverständnis schaffen
Beispiel explorative Datendarstellung
Aufbau einer DQM-Strategie
Regeln, Jobs und Monitoring
Beispiel DQM-Prozess
Definition DQM/TQM
© 2019 | humanIT Software GmbH
Definition Strategie
Strategie wird definiert als die grundsätzliche, langfristige Verhaltensweise (Maßnahmenkombination) der Unternehmung und relevanter Teilbereiche gegenüber ihrer Umwelt zur Verwirklichung der langfristigen Ziele.[Gabler Verlag (Herausgeber), Gabler Wirtschaftslexikon, http://wirtschaftslexikon.gabler.de/Definition/strategie.html]
© 2019 | humanIT Software GmbH
„Richtiges“ Stammdatenprojekt
Stammdatenmanagement muss als langfristiges Programm verstanden werden
Das langfristige Ziel muss definiert und kommuniziert sein (blauer Punkt)
Die einzelnen Schritte werden als Projekte abgewickelt
Für die Projekte klar einen Fokus bestimmen und die Begleitthemen identifizieren
Fun
ktio
nal
ität
Zeit
IST
• Technik• Prozesse• Organisation• Reifegrad
SOLL
Alle Aktivitäten fokussierenauf das gemeinsame Ziel
© 2019 | humanIT Software GmbH
Warum Monitoring?
0
20
40
60
80
100
Projekt 1 Projekt 2 Projekt 3
Programmmäßige,kontinuierlicheBearbeitung
ProjektmäßigeBearbeitung
© 2019 | humanIT Software GmbH
Organisation eines Stammdaten-Programms
Kleines, schlagfertiges Kernteam (3-4 Personen) mit guter KnowHow-Mischung
Mindestens 1 Sponsor in der Unternehmensführung
Externe Unterstützung in Methodik und Vorgehen
Erweitertes Projektteam aus den Fachbereichen
Team muss Kompetenzen haben, um in die Prozesse einzugreifen
Zentrale Erreichbarkeit installieren (ggfs. über Email o.ä.)
© 2019 | humanIT Software GmbH
Programm als kontinuierlicher Prozess
Explorieren
Definieren
MessenAnalysieren
Verbessern
Monitoren/Steuern
Aufspüren neuer Problemfälle
Ganzheitliche Betrachtung der Daten
Definition von Kennzahlen
Erstellung von IndexenAnalyse der Indexe
Feststellung des Gesamtindex
Bearbeitung der Regelverstöße
Historisiertes Controlling
Auswirkung von Maßnahmen
Definition eines Regelwerks
2
3
4
5
6
1
Datenverständnis schaffen
Beispiel explorative Datendarstellung
Aufbau einer DQM-Strategie
Regeln, Jobs und Monitoring
Beispiel DQM-Prozess
Definition DQM/TQM
© 2019 | humanIT Software GmbH
Datenqualitätsmetriken
Datenqualität
Domänen
Qualitäts-Metrik
Qualitäts-Metrik
Domänen
Qualitäts-Metrik
Qualitäts-Metrik
• Gesamtheit unterschiedlicher Qualitätsmerkmale
• Einzelaspekt der Datenqualität
• Objektive, messbare Größe, die in Bezug auf unterschiedliche Ausprägungen eines Qualitäts-merkmals sensitiv reagiert
© 2019 | humanIT Software GmbH
Merkmale und Metriken
Vollständigkeit Formatkonsistenz Zulässigkeit Plausibilität (inhaltlich / zeitlich) Exaktheit
Format nicht ok
Format ok
Nicht-Definitions-
Bereich
Definitions-bereich
Unschar-fer Bereich
Feld nicht leer
Feldnicht leer
Feld leer
Feld leer
Feld nicht leer
Feld leer
QM
QM
QM
Wert im Wertebereich
Wert nicht im Wertebereich
QM
Wert im Wertebereich
Wert nicht im Wertebereich
QM
Plausibilität greift nicht
Plausibilität greift und ist ok
Plausibilität greift und ist nicht ok
Plausibilität greift nicht
Plausibilität greift und ist ok
Plausibilität greift und ist nicht ok
IM
IM
QM
QM
Automatische Wert-ermittlung greift nicht
Automatische Wert-ermittlung greift und ist ok
Automatische Wert-ermittlung greift und ist
nicht ok
IM
Automatische Wert-ermittlung greift nicht
Automatische Wert-ermittlung greift und ist ok
Automatische Wert-ermittlung greift und ist
nicht ok
IM
QM
QM
Format nicht ok
Format ok
QM
IM
Inhalt
Legende
Qualitätsmetrik
Interne Metrik
QM
IM
© 2019 | humanIT Software GmbH
Regelbasierter Lösungsansatz - Business Rules
Nutzen:
Automatisieren, plausibilisieren oder abgleichen von Feldbelegungen innerhalb eines Systems oder mehrerer verschiedener Systeme.
Datenfehler lassen sich über verletzte Business Rules entdecken.
Basis für die fachliche Bewertung der Datenqualität und damit maßgebend für die Definition von Datenqualitäts-Messkriterien.
Probleme:
Oft nicht schriftlich fixiert, sondern nur in den Köpfen der Mitarbeiter vorhanden.
Sind bekannt, dann oft nur in einer unscharfen Form bzw. in einer sprachlichen Formulierung.
Sind bekannt, werden aber nicht konsequent angewendet.
© 2019 | humanIT Software GmbH
Struktur einer Business Rule
Regel = Abfrage + Statistik + Bewertung
Wesentliches Merkmal ist die Eindeutigkeit, die keinen Raum für unterschiedliche Auslegungen lässt.
IdentifikationRelevanter Datenfelderund Datentöpfe
Data collectionAbgrenzung(Selektionskriterien)Stichprobe (data sample)
AuswertungListen/Kennzahlen
Differenzen zu Erwartungswerten
Controlling zu Historienwerten
Festlegen von Schwellwerten(thresholds)
AmpelstatusRot - Gelb – Grün
Gewichtung
© 2019 | humanIT Software GmbH
Vorgehensmodell
DQ-Auftragsvorbereitung
• Datenexperten für fachliche und technische Fragestellungen identifizieren
• Bereitschaft der Datenexperten zur Mitwirkung bei den DQ-Analysen sichern
• Datenzugriffe für das DQ-Werkzeug bereitstellen
• Fachliche und technische Dokumentationen der Datenstruktur sichten
DQ-Analyse
• Durchführen statistischer Spaltenwertanalysen („profiling session“)
• Festlegen der wichtigsten Datenfelder
• Analyse individueller Datenauswertungen
• Entwurf von DQ-Regeln
• Bewertung von DQ-Regelergebnissen
Bereitstellen von DQ-Prüfergebnissen
• Eliminieren redundanter DQ-Prüfungen
• Berücksichtigen mehrerer DQ-Ergebisplattformen
• Überprüfen der DQ Regelnamenssyntax
• Bewertung von Thresholds
• Zuordnung von Auslösertypen
• DQ-Kriterien zuordnen
• und DQ-Indizes mit Gewichtungen berechnen
• Scorecard & Prüfbericht
© 2019 | humanIT Software GmbH
Kommunikation/Berichte
Mitarbeiter frühzeitig mitnehmen
Gründe mit Kollegen erarbeiten
Auswirkungen aufzeigen
Status Quo bereitstellen (Unternehmensdashboard)
Prozesse transparent machen
Anlaufstelle einrichten, Vorschläge aufnehmen und umsetzen
Geschäftsführung mitnehmen
Investition begründen können (Kennzahlen, Entwicklung)
Maßnahmen darstellen, Vorschläge machen
© 2019 | humanIT Software GmbH
Kommunikation/Berichte (Beispiele)
2
3
4
5
6
1
Datenverständnis schaffen
Beispiel explorative Datendarstellung
Aufbau einer DQM-Strategie
Regeln, Jobs und Monitoring
Beispiel DQM-Prozess
Definition DQM/TQM
© 2019 | humanIT Software GmbH
LIVE-Beispiel
Regelbasierter DQM-Prozess
© 2019 | humanIT Software GmbH
Agiles DQM
DatenbasisAgile
Business RulesSDM
RegelübernahmeRegeldefinition und -TestBedeutung Richtigkeit
Datenbereinigung
Vielen Dank für Ihre Aufmerksamkeit