limpieza y validación de datos con data quality services y … · 2019-09-26 · de datos en ssis...
TRANSCRIPT
![Page 1: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/1.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
Limpieza y Validación de datoscon Data Quality Services y Master Data ServicesAna M. Bisbé | 9º Encuentro Danysoft en Microsoft
![Page 2: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/2.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
![Page 3: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/3.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
Incidencias comunes en datos
![Page 4: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/4.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
Impacto de datos sucios
![Page 5: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/5.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
• Master Data Services• Addin MDS en MS Excel• Data Quality Services• Data cleansing como transformación
de datos en SSIS 2012
Calidad de Datos en SQL Server 2012
![Page 6: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/6.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 1231469º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
![Page 7: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/7.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
• Add-ins para utilizarlo en Excel• Asegurar la coincidencia de los datos
antes de cargarlo a la BBDD• Mejoras en la carga• Mejoras en la interface web• La instalación es parte de la
instalación SQL Server
Novedades Master Data Services
![Page 8: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/8.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
Versionado
ValidaciónAuthoring business rules to
ensure data correctness Modelado
Entities, Attributes, Hierarchies
Integración y colaboración
MDS
MDSSeguridad basada en roles. Control de transacciones
Master Data Stewardship
External (CRM, ..)Excel DWH
Loading batched data through Staging
TablesConsuming data through Views
Registering to changes through APIs
Excel Add-In Web UI Data Matching
Workflow / Notifications
![Page 9: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/9.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
![Page 10: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/10.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
Master Data Services• Crear modelo vacío
![Page 11: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/11.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
MS Excel - Master Data Services• Conectar con Servidor MDS y con modelo• Traer datos
![Page 12: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/12.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
MS Excel - Master Data Services• Transacciones
![Page 13: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/13.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
Master Data Services
• Integraciones
![Page 14: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/14.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
• Base de datos MSD – Tablas
Master Data Services - SSMS
![Page 15: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/15.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
• Base de datos MSD – Vistas
Master Data Services - SSMS
![Page 16: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/16.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 1231469º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
![Page 17: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/17.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
Data Quality Services
![Page 18: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/18.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
IntegratedProfiling
ProgressProgress NotificationsNotificationsStatusStatus
DQS process
Build
Use
DQ Projects
Knowledge Management
KnowledgeBase
EnterpriseData
EnterpriseData
ReferenceData
ReferenceData
![Page 19: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/19.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
![Page 20: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/20.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
Data Quality Service
![Page 21: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/21.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
Interactive Cleansing
![Page 22: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/22.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
Integración con SSIS
![Page 23: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/23.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
Integración con SSIS
![Page 24: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/24.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
Integración con SSIS
![Page 25: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/25.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
Integración con SSIS
![Page 26: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/26.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
Actualización DQS
![Page 27: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/27.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
Actualización DQS
![Page 28: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/28.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
Gestión activos software y libros
![Page 29: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/29.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146
Formación, consultoría y seminarios
![Page 30: Limpieza y Validación de datos con Data Quality Services y … · 2019-09-26 · de datos en SSIS 2012 Calidad de Datos en SQL Server 2012. 9º Encuentro Danysoft en Microsoft](https://reader033.vdocuments.mx/reader033/viewer/2022043017/5f397fdff8444d16050b9161/html5/thumbnails/30.jpg)
9º Encuentro Danysoft en Microsoft | www.danysoft.com | 902 123146