Enfoques y métodos de

aseguramiento de la calidad

de datos para el monitoreo y

evaluación en VIH

MONITOREO Y EVALUACIÓN

• Monitoreo. El “monitoreo” y “evaluación” de procesos miden cómo está funcionando un programa.

• Es el seguimiento rutinario de las actividades a través de una medición regular y continua para ver si las actividades planificadas se están realizando. Los resultados muestran si las actividades se están implementando de acuerdo a los planes, y describen el grado de utilización de los servicios que implementa la Estrategia.

• Para que el monitoreo sea exitoso se requiere contar con: un sistema de información adecuado; con instrumentos de registro de información estandarizados y utilizados correctamente en los servicios; y que ayuden a la elaboración de los indicadores.

MONITOREO Y EVALUACIÓN

• La evaluación mide qué tan bien las actividades realizadas han satisfecho los objetivos esperados y/o hasta que punto pueden atribuirse los cambios en los resultados a las intervenciones implementadas. Es asimismo un proceso integral y continuo de investigación y análisis de los cambios más o menos permanentes que se materializan en el mediano y largo plazo, como una consecuencia directa o indirecta del quehacer de una intervención.

• La evaluación intenta vincular los resultados directamente con las intervenciones, después de transcurrido un período de tiempo, permite de esta manera buscar mejoras en el desempeño de las actividades y lograr la sostenibilidad de las intervenciones implementadas.

MONITOREO Y EVALUACIÓN

Monitoreo

Evaluación

Es un seguimiento periódico de

actividades

Es más episódico

Utiliza indicadores de proceso Utiliza indicadores de efectos,

resultados e impacto

Se da paralelamente a la ejecución

del programa.

Suele ser retrospectiva

Es parte de la administración Es planeamiento estratégico.

Permite hacer correcciones y ajustes en el tiempo

Extrae lecciones para futuras intervenciones.

Etapas

Fase 1

Año 1 Año 2

Línea de

Base Evaluación

Intermedia

Fase 2

Año 3 Año 4 Año 5

Evaluación

Final

Comparación Línea de Base y Evaluación

Intermedia

Cambios

Impactos

y Efectos Comparación Línea de Base y Evaluación Final

LINEA DE BASE

• Hace referencia a la primera medición de un indicador y que se constituye en el punto de partida para los análisis de seguimiento, evaluación de la tendencia en la presentación del fenómeno que está en observación a través del indicador y comparar con las siguientes mediciones practicadas.

• Esta medición exige que los indicadores estén absolutamente definidos, depurados y operacionalizados, para garantizar que las futuras mediciones se realicen bajo las mismas reglas y la comparación de los resultados sea válida.

INDICADORES

• El Plan de M&E debería usar indicadores para medir los objetivos.

• Tanto para el monitoreo como para la evaluación de actividades es necesario indicadores para lograr mediciones.

• ¿Para que sirven los indicadores?

• Los indicadores son insumos para el análisis e interpretación de los fenómenos relacionados con el quehacer de los servicios de salud. Son la base objetiva para realizar la evaluación de las actividades, detectar desviaciones de lo esperado y tomar decisiones sobre el tipo de medidas dirigidas al mejoramiento continuo de la calidad de la atención.

INDICADORES / FICHA TECNICA

Sistema Integrado de Indicadores Regionales en Seguridad Alimentaria y Nutricional -SIRSAN-

Prevalencia de VIH en adultos de 15 a 49 años de edad

Prevalencia de VIH en adultos de 15 a 49 años de edad

2001

2007 UDD

Belice 2.1 2.1 2.1

Guatemala 0.8 0.8 0.8

El Salvador 0.8 0.8 0.8

Honduras 0.9 0.7 0.7

Nicaragua 0.2 0.2 0.2

Costa Rica 0.2 0.4 0.4

Panamá 1 1 1

Rep. Dominicana

1.3 1.1 1.1

Fuente: Naciones Unidas: Sitio Web de las Naciones Unidas para los Indicadores de los Objetivos de Desarrollo del Milenio.Disponible en:

http://unstats.un.org/unsd/mdg/Home.aspx. Consultado en diciembre de 201

Ficha Técnica

Categoría Aprovechamiento biológico de los alimentos

Indicador Prevalencia de VIH en adultos de 15 a 49 años de edad

Descripción

Porcentaje de personas entre 15 y 49 años viviendo con VIH. El Virus de Inmunodeficiencia Adquirida (VIH) es un virus que debilita el sistema inmune, conllevando al final a SIDA, el síndrome adquirido de inmunodeficiencia. VIH destruye la habilidad del cuerpo de lucha contra infecciones y enfermedades, lo cual conlleva a muerte.

Unidad de medida

Porcentaje

Metodología de cálculo

La prevalencia de VIH entre la población de 15-49 años se mide como el número de individuos viviendo con VIH dividido el total de la población entre 15 y 49 años.

Intervalo de construcción

Comentarios

Debido a que la calidad de los datos varía de país a país, los rangos de incertidumbre alrededor de los estimados pueden ampliarse o estrecharse dependiendo en el país. Los rangos reflejan el grado de incertidumbre asociado con los estimados y define los límites dentro de los cuales se encuentra el dato actual.

LA CALIDAD DE LOS DATOS EN LOS SISTEMAS DE INFORMACIÓN

– Un sistema de información es el conjunto de componentes y procedimientos organizados e interrelacionados con el objetivo de generar información específica para apoyar y fundamentar el proceso de toma de decisiones (Sauerborn, 2000).

– El sistema de información es el conjunto de instrumentos, medios, procedimientos que sistematizan, recogen, procesan, almacenan y transmiten información para facilitar el cumplimiento de los objetivos de una institución y la toma de decisiones adecuadas.

De acuerdo con este concepto, los sistemas de información según sea su aplicación eficiente o ineficiente tendrán las siguientes consecuencias:

LA CALIDAD DE LOS DATOS EN LOS SISTEMAS DE INFORMACIÓN

Aplicación Eficiente

Aplicación Deficiente

Toma de decisiones acertadas Toma de decisiones equivocada

Elaboración de Planes de Acción con el impacto deseado

Elaboración de Planes de Acción inadecuados

Disminuye los costos de inversión sobre las actividades de Vih/Sida.

Aumenta los costos de inversión sobre las estrategias en Vih / Sida

Aseguramiento de la calidad de la información

Información sin calidad en el dato.

LA CALIDAD DE LOS DATOS EN LOS SISTEMAS DE INFORMACIÓN

– Los instrumentos son las herramientas utilizadas para recolectar información para un esfuerzo de Monitoreo y Evaluación. Ayudan a los usuarios en la recolección de datos.

– Estos instrumentos han sido diseñados y siendo utilizados, por lo tanto debe tenerse en cuenta, que deben ser cuidadosamente llenados, durante todos los procesos de atención (registros de atención) y consolidación final de estos informes para que continúen el flujo de información establecido en el MINSA según niveles.

LA CALIDAD DE LOS DATOS EN LOS SISTEMAS DE INFORMACIÓN

– La Historia Clínica: es el principal instrumento que genera información, es un documento médico y legal que registra los datos de identificación y de los procesos relacionados con la atención que el personal de salud brinda al paciente.

– La Historia Clínica constituye el registro primario de la atención, por lo que a partir de ella se obtendrá información a registrar en los demás instrumentos usados-

– La ficha de notificación obligatoria.

– Formularios y/o cuestionarios

Gestión del Dato • Los objetivos de este proceso son obtener los datos y prepararlos para los

análisis y mantener el control de la calidad y la seguridad de los datos. En consecuencia los datos deben ser administrados por la fuente, esto quiere decir planificar, organizar, dirigir y controlar su captura, procesamiento, análisis, divulgación, para garantizar su accesibilidad, seguridad, integridad, y disponibilidad, entre otros atributos, esto le da relevancia e importancia.

• La gestión o administración de datos implica inicialmente rigurosidad en su producción, por ello hay elementos de la gestión que deben ser atendidos para mejorar la calidad como:

– Comunicación bidireccional: Quienes recolectan los datos conocen las intimidades del proceso, por ello se deben proveer espacios para la discusión frente al proceso de recolección del dato, donde se ventilen las dificultades, limitaciones y riesgos potenciales que amenacen la adecuada captura de los mismo.

Gestión del Dato

– Consistencia: Es esencial para la implementación del protocolo, en el proceso de recolección de datos, si no hay consistencia hay riesgo de sesgo de selección o información.

– Definición de líneas de autoridad y responsabilidad: selección del responsable de autorizar cambios en los datos.

– Flexibilidad: El sistema de manejo de datos debe ser suficientemente flexible para permitir modificaciones sencillas y responder a los cambios en el protocolo, instrumentos entre otros.

– Simplicidad: Los programas amigables facilitan el manejo de los sistemas de recolección, posibilita su uso por diferentes sujetos y evita la dependencia en algunas personas, disminuyendo errores, permitiendo que el sistema sea más fácil de aprender e implementar.

Gestión del Dato

• INTEGRACION: El sistema de gestión del dato debe entenderse como un proceso que se debe aplica o desarrollar, es decir integrar a todos los momentos o fases necesarias para la construcción de datos. Desde que se concibe la necesidad de recoger datos sobre un problemas particular, pasando por la captura, la sistematización de los datos, los análisis hasta que se divulgan los resultados de ese ejercicio.

Gestión del Dato

• Estandarización. Permite asegurar la calidad de los datos y encuadrar

los resultados, en nuestros casos los indicadores con las normas nacionales e internacionales que permitan la comparación.

• La estandarización implica el seguimiento a las determinaciones impuestas por normas consensuadas y colectivamente construidas y participar de las decisiones de una manera activa, influyendo en el curso del desarrollo de las propias normas.

• El proceso de estandarización se basa en cuatro elementos:

– Detección de Buenas Prácticas

– Detección de Malas Prácticas

– Detección de ritmos o tiempos de ejecución,

– Detección de los instrumentos o herramientas para hacerlo

Gestión del Dato

• Las ventajas de las estandarización se pueden resumir en:

– Documenta el proceso actual para todos los usuarios

– Reduce las variaciones del proceso

– Facilita la capacitación y entrenamiento de los nuevos usuarios y es una herramienta de aprendizaje

– Reduce la posibilidad de errores en la ejecución de los procedimientos

– Establece el punto de partida para la mejora continua

– Imprime disciplina a los procesos

Gestión del Dato

A través de que hacemos la estandarización:

– Mesas de trabajo interinstitucionales: Ministerio de salud, ONG´s, espacio donde se establezcan acuerdos sobre las normas, reglamentos y procedimientos.

– Definición de los protocolos básicos para la recolección de los datos

relacionados con los eventos de interés para la vigilancia, que señalan como desarrollar los procesos de recolección y cómo calcular los indicadores para el seguimiento de los fenómenos señalados, que permitan la comparación y cuya definición operativa e indicador propuesto se resume a continuación.

Protocolo para la recolección de datos sobre Vih

% de usuarios de drogas intravenosas que reportaron uso del condón en su última relación sexual

No. de mujeres y hombres de 15 años o más que se realizaron la prueba del Vih y recibieron consejería en los últimos 12 meses y conocen su resultado

% de mujeres y hombres de 15 años o más que se realizaron la prueba del Vih y recibieron consejería en los últimos 12 meses y conocen su resultado

% de adultos y niñas con Vih que reciben profilaxis con Trimetropin Sulfa

DEFINICIONES SOBRE LA CONDICIÓN

CONDICIÓN X X X X

FUENTES DE INFORMACIÓN

X x x X

VARIABLES

Sexo X X X X

Edad X X X X

Estado Conyugal X X X X

Escolaridad X X X X

Ocupación X X X X

Protocolo para la recolección de datos sobre Vih

% de usuarios de drogas intravenosas que reportaron uso del condón en su última relación sexual

No. de mujeres y hombres de 15 años o más que se realizaron la prueba del Vih y recibieron consejería en los últimos 12 meses y conocen su resultado

% de mujeres y hombres de 15 años o más que se realizaron la prueba del Vih y recibieron consejería en los últimos 12 meses y conocen su resultado

% de poblaciones en mayor riesgo que se ha realizado una prueba de VIH en los últimos 12 meses y conoce su resultado

FLUJOGRAMA DEL PROCESO DE RECOLECCIÓN

PERSONA X X X X

Captura local X x x X

Consolidado SILAIS

Control de Calidad X X X X

Validación X X X X

Consolidado Nacional

X X X X

Reporte Nacional X X X X

Reporte SILAIS X X X X

CONTROL DE CALIDAD Y GARANTIA DE

CALIDAD • La gestión o administración de datos implica inicialmente

rigurosidad en su producción, por ello hay elementos de la gestión que deben ser atendidos para mejorar la calidad como: – Redundancia e inconsistencia de los datos: Los totales consolidados

de casos distintos según la fuente que presente la información en cada país. Relacionada con duplicar la recolección de ciertos datos del instrumento o la aplicación de algunos instrumentos, al sistema de flujo de los datos.

– Dificultad de acceso a los datos: Existen plataformas para la captura del dato en cada institución que dificultan el intercambio de datos en línea, pero además el acceso es restringido por políticas institucionales y procedimientos administrativos.

– Aislamiento de los datos: Los datos están en archivo con diferentes formatos en físico o electrónicos, por lo tanto resultan difíciles de utilizar en nuevos programas.

CONTROL DE CALIDAD Y GARANTIA DE

CALIDAD • La gestión o administración de datos implica inicialmente

rigurosidad en su producción, por ello hay elementos de la gestión que deben ser atendidos para mejorar la calidad como: – Variedad de usuarios: Si varios usuarios actualizan a la vez se puede

llegar a tener información inconsistente. – Problemas de seguridad: Es difícil restringir el acceso a registros de un

fichero. La migración de datos por el uso de software poco confiable o el uso de hojas electrónicas para el manejo de bases de datos.

– Problemas de integridad de los datos: Al utilizar consolidados de

datos en plantillas o formatos para la presentación de datos y no con el registro de cada caso con sus respectivas variables, con campos plenamente identificables para el seguimiento, control o verificación.

LA CALIDAD DE LOS DATOS EN LOS SISTEMAS DE INFORMACIÓN

– Según el enfoque sistémico, los componentes que constituyen el proceso de la información, para que los datos brutos, originales o básicos se transformen en información de calidad útil para la toma de decisiones, si se desarrollan adecuadamente son los siguientes:

• Recolección de los datos

• Verificación de los datos

• Estrategia de digitación

• Validación y Consistencia

• Análisis de los datos

• Divulgación de la información para su utilización.

LA CALIDAD DE LOS DATOS EN LOS

SISTEMAS DE INFORMACIÓN

– Por lo tanto los Sistemas de Información cumplen, entre otras, funciones administrativas (OPS; 2002) y de Salud pública como:

• Organización de los datos para que se transformen en datos con sentido o información

• Observación o vigilancia de los eventos o fenómenos bajo estudio

• Coordinación intersectorial

• Planeación y programación estratégica

• Distribución de recursos

• Supervisión

• Apoyo a la definición de las Políticas Públicas