![Page 1: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/1.jpg)
Calidad y limpieza de datos
Definiciones y aspetos teóricos Néstor Beltrán
Basada en: Saraiva & Koch, 2016. Koch, 2017.
![Page 2: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/2.jpg)
Perdida global de la biodiversidad
• La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad seguirá deteriorándose.
• Han ocurrido avances pero, en la mayoría de los casos, estos no han sido suficientes para alcanzar las metas del 2020.
![Page 3: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/3.jpg)
Plan Estratégico para la Diversidad Biológica 2011-2020 y las Metas Aichi
Compartir datos, desarrollar indicadores y medidas, fomentando la generación y uso de información científica. Para sostener la nueva plataforma intergubernamental científico-normativa sobre diversidad biológica y servicios de los ecosistemas (IPBES)
![Page 4: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/4.jpg)
Debemos ir de los datos a la toma de decisiones
Desiciones
Conocimiento
Información
Datos
![Page 5: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/5.jpg)
En este momento tenemos una gran cantidad de información
![Page 6: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/6.jpg)
GBIF - Global Biodiversity Information facility
Red mundial de registros biológicos
727.113.682 Registros 35.164 Datasets 1203
Publicadores
![Page 7: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/7.jpg)
Sin embargo, existen vacíos de información
• ¿Cuántas y cuáles especies tenemos?
• ¿Cuál es el tamaño poblacional y las
dinámicas?
• ¿Cuál es su distribution espacial y temporal?
• ¿Cómo afectan las condiciones bióticas y
abióticas?
![Page 8: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/8.jpg)
¡Necesitamos más!• Regiones poco estudiadas o representadas.
• Trabajo de campo y laboratorio.
• Apoyo y financiación a las colecciones
biológicas.
![Page 9: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/9.jpg)
¡Necesitamos más!
Sacar provecho a los datos existentes
• Una gran cantidad no está disponible:
• No digitalizado, no compartido
• Difícil de acceder
• Problemas de calidad
![Page 10: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/10.jpg)
Basura entra - Basura sale
• Problemas de calidad: conllevan a resultados de mala calidad: análisis, decisiones, etc.
• Los problemas surgen de: toma de datos, digitalización, falta de metadatos, ausencia de estándares.
• Hay mucho por hacer: limpieza de datos (corrección), prevención y políticas de calidad de datos.
Artículos científicos
Modelamiento y análisis
Políticas de conservación
![Page 11: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/11.jpg)
Ejemplo
![Page 12: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/12.jpg)
Ejemplo
![Page 13: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/13.jpg)
La calidad de datos afecta indicadores, análisis y políticas
Red List Index - IUCNEspecies amenazadas -IUCNReporte de estado y tendencia - IAvH
![Page 14: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/14.jpg)
Calidad de datos
![Page 15: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/15.jpg)
Algunos conceptos• Información: morfè (forma) / éidos (concepto)
• Dar forma a la esencia de algo
• Es la representación de la realidad
• La realidad es diferente de la “representación de la realidad”
![Page 16: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/16.jpg)
Algunos conceptos
• Existe una brecha entre la representación de la realidad y la realidad misma, la cual se puede medir en ciertas dimensiones:
• Completitud• Precisión• Consistencia• Exactitud• Etc.
![Page 17: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/17.jpg)
Calidad de datos Definición #1
Los datos tienen calidad si la información derivada de estos representa correctamente el mundo real (hechos).
Información
Datos
Mundo real
![Page 18: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/18.jpg)
Ejemplo
Dato1: Saguinus
Dato 2: Mico tití
_______________
¿tienen la misma calidad?
![Page 19: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/19.jpg)
Calidad de datos Definición #2
Satisfacción del consumidor. Si un consumidor está satisfecho con un servicio producto, este servicio o producto tiene calidad para este consumidor.
![Page 20: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/20.jpg)
EjemploRequerimiento: el dato debe tener nombre científico y debe ser suministrado a nivel de
especie
Nombre: Saguinus Categoria: Genero
_______________
¿este dato tiene calidad?
¿puede ser usado en el estudio de la distribución de primates en Suramérica?
![Page 21: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/21.jpg)
Calidad de datos Definición #3
Usabilidad. Un dato tiene calidad si es adecuado para ser usado. Si el dato no sirve para el propósito del que lo usa, puede ser útil para otros.
![Page 22: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/22.jpg)
Algunos conceptosLa calidad de datos es un concepto idiosincrásico
”La idiosincracia es algo distintivo y propio de un individuo”
Definir calidad de datos es similar a definir qué es bonito, bueno divertido o valioso.
![Page 23: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/23.jpg)
Algunos conceptos
La palabra clave y la definición mas aceptada:
Usabilidad de los datos
Calidad en relación a un propósito.• Modelos de distribución.
Para cada propósito existe un tipo de datos.• Con coordenadas y nombres de especies.
Para cada tipo de dato existen atributos a cumplir.• Completitud, consistencia, precisión, exactitud, etc.
![Page 24: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/24.jpg)
Evaluación de la calidad y manejo de la calidad
Datos aptos para el uso
Datos no aptos para el uso
![Page 25: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/25.jpg)
Evaluación de la calidad
El objetivo es identificar los problemas que degradan la calidad de una dimension
particular en un dominio especifico
Los datos tienen calidad cuando no hay problemas que degradan la misma
![Page 26: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/26.jpg)
Evaluación de la calidad
El objetivo es identificar los problemas que degradan la calidad de una dimension
particular en un dominio especifico
Los datos tienen calidad cuando no hay problemas que degradan la misma
Ejemplo: ¿Cuáles son los problemas que degradan la precisión de los datos geoespaciales?
![Page 27: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/27.jpg)
Evaluación de la calidadEl objetivo es identificar los problemas que degradan la calidad de una dimension
particular en un dominio especifico
Los datos tienen calidad cuando no hay problemas que degradan la mismaSon las clases de los datos que involucran la
representación de un aspecto del mundo real.
Ejemplo: ¿Cuáles son los problemas que degradan la precisión de los datos geoespaciales?
![Page 28: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/28.jpg)
Evaluación de la calidad
El objetivo es identificar los problemas que degradan la calidad de una dimension
particular en un dominio especifico
Los datos tienen calidad cuando no hay problemas que degradan la misma
Siendo la calidad de datos un concepto
multidimensional, una dimensión es el aspecto
medible de la calidad del dato.
Ejemplo: ¿Cuáles son los problemas que degradan la precisión de los datos geoespaciales?
![Page 29: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/29.jpg)
Evaluación de la calidad
El objetivo es identificar los problemas que degradan la calidad de una dimension
particular en un dominio especifico
Los datos tienen calidad cuando no hay problemas que degradan la misma
Siendo la calidad de datos un concepto
multidimensional, una dimensión es el aspecto
medible de la calidad del dato.
Ejemplo: ¿Cuáles son los problemas que degradan la precisión de los datos geoespaciales?
Dominio Geoespacial -23.98 es menos preciso que -23.9874
Dominio Taxonómico Taxón A: reino= X; filo= Y; clase=Z Taxón B: reino= X; filo= Y; clase=?
![Page 30: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/30.jpg)
Evaluación de la calidad
El objetivo es identificar los problemas que degradan la calidad de una dimension
particular en un dominio especifico
Los datos tienen calidad cuando no hay problemas que degradan la misma
Ejemplo: ¿Cuáles son los problemas que degradan la precisión de los datos geoespaciales?
Todo lo que pueda degradar la calidad para una o
mas dimensiones.
![Page 31: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/31.jpg)
Evaluación de la calidad
El objetivo es identificar los problemas que degradan la calidad de una dimension
particular en un dominio especifico
Los datos tienen calidad cuando no hay problemas que degradan la misma
Ejemplo: ¿Cuáles son los problemas que degradan la precisión de los datos geoespaciales?
Todo lo que pueda degradar la calidad para una o
mas dimensiones.
![Page 32: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/32.jpg)
Evaluación de la calidad
Taxonómica Geoespacial LocalizaciónDominio
Completitud Exactitud Consistencia Precisión Credibilidad Confiabilidad
Redundancia en el valor
del dominioValores
perdidos o faltantes
Valores Incorrectos
Valores no
atomizadosEsquizofrenia de dominio
Registros duplicados Valores
inconsistentesContaminación
de la calidad de la información
Dimensión
Problema
![Page 33: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/33.jpg)
Evaluación de la calidad y manejo de la calidad
Datos aptos para el uso
Datos no aptos para el uso
![Page 34: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/34.jpg)
Manejo de la calidad
El objetivo es evitar los problemas que degradan la calidad de una dimension
Los datos tienen calidad cuando están libres de defectos
![Page 35: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/35.jpg)
Manejo de la calidad
Control de calidad
Aseguramiento de la calidad
Koch, 2017
Fuente
Fuente
Base de datos
Base de datos
Control de calidad
Aseguramiento de la calidad
Datos crudos
Datos crudos
Datos crudos
Datos mejorados
Datos rechazados
Datos con usabilidad
![Page 36: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/36.jpg)
Manejo de la calidad
Aseguramiento de la calidad
Koch, 2017
Fuente Base de datosAseguramiento de la calidad
Datos crudos
Datos rechazados
Datos con usabilidad
• Siempre es mejor prevenir: se debe evitar el error incluso antes
de la misma construcción de los datos.
• Detección - corrección - documentación
![Page 37: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/37.jpg)
Manejo de la calidad
Control de calidad
Aseguramiento de la calidad
Koch, 2017
Fuente
Fuente
Base de datos
Base de datos
Control de calidad
Aseguramiento de la calidad
Datos crudos
Datos crudos
Datos crudos
Datos mejorados
Datos rechazados
Datos con usabilidad
![Page 38: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/38.jpg)
Limpieza de datosEs un proceso que mejora la calidad a través de
la corrección de los errores detectados
• Determinar el tipo
• Buscar e identificar
• Corregir
• Documentar todo
• Modificar la toma y manejo para prevenir futuros errores
![Page 39: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/39.jpg)
Ejercicio practico Limpieza de datos
![Page 40: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/40.jpg)
Tipos de errores
Errores técnicos
• Completitud¿Todos los elementos están presentes?
• Rangos y limites¿La latitud está entre -90 y 90)
• Tipo de dato¿El elemento Fecha tiene fechas o texto?
• Formato de los datos¿Las medidas cumplen el formato?
![Page 41: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/41.jpg)
Tipos de errores
Errores de consistencia
• Taxonómicos¿Tiene una especie reportada el genero y el epíteto especifico?
• Continuidad¿Existe una línea temporal clara de las fechas de recolección?
• Valores atípicos¿hay alturas mayores a 6.962 m.s.n.m en Argentina?
• Geográficos¿Están las coordenadas dentro de la localidad o región identificada?
![Page 42: Calidad de datos - GBIF.ES · Perdida global de la biodiversidad • La presión ejercida sobre la biodiversidad del planeta continuará en incremento y el estado de la biodiversidad](https://reader035.vdocuments.mx/reader035/viewer/2022062306/5f0572957e708231d41302ca/html5/thumbnails/42.jpg)
Calidad y limpieza de datos
Definiciones y aspetos teóricos Néstor Beltrán
Basada en: Saraiva & Koch, 2016. Koch, 2017.