manual de monitoreo, seguimiento y evaluación de …fundacionidea.org/assets/files/usa010/manual...
Post on 06-Jul-2018
262 Views
Preview:
TRANSCRIPT
Manual de monitoreo, seguimiento y evaluación de programas
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan los puntos de vista o las opiniones
de USAID o el Gobierno de Estados Unidos de América.
Abril 2015
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Índice
2
1. Monitoreo
Etapas del monitoreo
Diseño
Implementación
Análisis
Publicación
2. Evaluación
Qué es una evaluación
Para qué sirve evaluar
Tipos de evaluación
Necesidades
Teoría de cambio
Diseño
Procesos
Resultados
Impacto
La evaluación y las decisiones de política pública
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Índice
3
1. Monitoreo
Etapas del monitoreo
Diseño
Implementación
Análisis
Publicación
2. Evaluación
Qué es una evaluación
Para qué sirve evaluar
Tipos de evaluación
Necesidades
Teoría de cambio
Diseño
Procesos
Resultados
Impacto
La evaluación y las decisiones de política pública
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
4
El Monitoreo es el análisis periódico de la ejecución del programa para establecer el grado en que las actividades, procesos, bienes/servicios y el cumplimiento de metas está de acuerdo con lo planificado
Monitoreo: ¿Las obras se están
ejecutando en tiempo y forma?
¿Se cumplen las reglas de operación?
Evaluación: ¿El programa resulta en una
mayor provisión de agua potable vs. una situación en la
que el programa no existe?
Proceso continuo que permite contar con información oportuna sobre si los bienes y servicios se están
entregando como se tenía planeado.
Mide el desarrollo y los productos de un programa en comparación con sus metas y cronogramas.
Verifica que los procedimientos siguen lo establecido en los documentos normativos.
Seguimiento a información financiera (avances en la aplicación de los recursos públicos) y de desempeño
(acciones ejecutadas, resultados alcanzados).
Se diferencia de la evaluación en que el monitoreo pretende supervisar los procesos y la operación de un
programa, mientras que la evaluación en general busca determinar si los objetivos se están cumpliendo.
Monitoreo
Ejemplo: Programa de Desarrollo de Zonas Prioritarias (PDZP) Financia la provisión de infraestructura social pública (agua potable, drenaje, electrificación, etc)
Monitoreo vs evaluación
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Evaluación y Monitoreo están estrechamente relacionados pero no son sinónimos
5
Componente Monitoreo Evaluación
¿Qué es? El levantamiento y análisis de información relativa a la operación del programa, que permita
determinar si se cumplen las reglas de operación del mismo, y si las actividades están alineadas a la
consecución de los objetivos.
El levantamiento y análisis de información que permita saber si un programa está bien
diseñado y si cumple con sus objetivos finales.
¿Cuál es su objetivo? Controlar la ejecución y realizar el seguimiento de la gestión operativa y estratégica.
Valorar el diseño, los resultados y los impactos del programa.
¿Cuál es su periodicidad? Permanente y periódica. Puntual.
¿Quién es el responsable de su ejecución?
Normalmente equipo interno. Óptimamente se lleva a cabo por agentes externos con el fin de eliminar conflictos de
interés y garantizar la independencia del análisis.
¿Cuándo se lleva a cabo? Durante toda la ejecución del programa. En distintos puntos de la ejecución del programa; normalmente una vez que éste ha
alcanzado estabilidad operativa.
Fuente: Elaboración propia con insumos de: Mercedes Di Virgilio y Romina Solano, “Monitoreo, evaluación de políticas, programas y proyectos sociales”, Buenos Aires, 2012, CIPPEC y UNICEF.
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
6
El monitoreo permite identificar focos rojos y posibles fallas en el programa
Importancia del monitoreo
Identifica los desvíos existentes con respecto a lo programado. Es importante tomar el diseño del programa como la base y comparar el programa per se con el plan inicial.
1
Fuente primordial de aprendizaje. El monitoreo es fundamental para la toma de decisiones a mediano y largo plazo y constituyen una fuente primordial de aprendizaje para los gobiernos y los gestores de políticas y programas.
2
Identifica fallas en el programa. Indica si las cosas se están haciendo bien, si se están haciendo mal y qué es lo que hizo que no se hicieran correctamente o de acuerdo a lo planeado.
3
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Índice
7
1. Monitoreo
Etapas del monitoreo
Diseño
Implementación
Análisis
Publicación
2. Evaluación
Qué es una evaluación
Para qué sirve evaluar
Tipos de evaluación
Necesidades
Teoría de cambio
Diseño
Procesos
Resultados
Impacto
La evaluación y las decisiones de política pública
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
El monitoreo está compuesto por cuatro distintas etapas:
8
Fuente: Ernesto Cohen y Rodrigo Martínez, “Manual: formulación, evaluación y monitoreo de proyectos sociales”, División de Desarrollo Social, CEPAL.
Etapas del monitoreo
Para realizar un monitoreo y seguimiento adecuado del programa, es necesario contar con un plan de monitoreo que debe ser acordado entre los diferentes actores involucrados. Es importante que este plan sea definido desde el diseño del proyecto.
La credibilidad de las conclusiones y los análisis depende, en gran medida, del modo en que se lleva a cabo el monitoreo y seguimiento del programa. Es importante que las herramientas utilizadas para monitorear sean las adecuadas. El buen diseño del monitoreo es fundamental para la correcta implementación del mismo.
Una vez concluido el monitoreo, la información recabada debe ser procesada y analizada mediante instrumentos y coeficientes estadísticos.
La publicación y difusión de los resultados del proceso de seguimiento y monitoreo permite el aprendizaje y evita repetir errores. La información generado por el proceso de monitoreo debe ser transmitida a los actores para quienes esa información resulte relevante.
Diseño del plan de monitoreo 1
Implementación del monitoreo 2
Análisis de los resultados 3
Publicación de los resultados 4
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Índice
9
1. Monitoreo
Etapas del monitoreo
Diseño
Implementación
Análisis
Publicación
2. Evaluación
Qué es una evaluación
Para qué sirve evaluar
Tipos de evaluación
Necesidades
Teoría de cambio
Diseño
Procesos
Resultados
Impacto
La evaluación y las decisiones de política pública
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
El diseño de un plan de monitoreo está compuesto por cinco elementos
10
Fuente: Ernesto Cohen y Rodrigo Martínez, “Manual: formulación, evaluación y monitoreo de proyectos sociales”, División de Desarrollo Social, CEPAL.
Etapas del diseño de un monitoreo
Definición de las preguntas
relevantes de acuerdo a la
naturaleza del programa
Definición de fuentes
apropiadas de información
para las preguntas
Diseño muestral del monitoreo
Planificación de la logística del
monitoreo
Diseño de los instrumentos
para el monitoreo
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Como parte del diseño del monitoreo es importante definir las preguntas relevantes de acuerdo a la naturaleza del programa
11
Definición de las preguntas relevantes de acuerdo a la naturaleza del programa 1
• Ejecución oportuna y con calidad de la construcción
• Entrega oportuna y documentada a las autoridades
• Estado de mantenimiento y operación
Financiamiento de obras
• Confiabilidad de padrones
Provisión de servicios
• Confiabilidad de padrones
Apoyo directo, en efectivo
• Oportunidad en entrega de recursos a beneficiarios
• Orden y minimización de costos en los eventos o vías de pago
• Satisfacción de los beneficiarios
• Calidad y oportunidad del servicio prestado
• Suficiencia de personal operativo y de supervisión
Tipo de apoyos del programa
Elementos a monitorear (no exhaustivo)
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Como parte del diseño del monitoreo es importante definir las preguntas relevantes de acuerdo a la naturaleza del programa
12
Definición de las preguntas relevantes de acuerdo a la naturaleza del programa 1
• Ejecución oportuna y con calidad de la construcción
• Entrega oportuna y documentada a las autoridades
• Estado de mantenimiento y operación
Financiamiento de obras
• Confiabilidad de padrones
Provisión de servicios
• Confiabilidad de padrones
Apoyo directo, en efectivo
• ¿Las obras existen? ¿Fueron terminadas? ¿En las fechas registradas?
• ¿Se entregaron al municipio?
• Después de uno o dos años de finalizadas, ¿siguen operando?
• ¿Recibieron los beneficiarios sus pagos bimestrales en las fechas acordadas en las Reglas de Operación?
• Los eventos de pago, ¿están organizados de forma lógica?
• ¿Cuánto tiempo “pierde” la gente en ellos? ¿Cuánto gasta para asistir?
• La gente que está registrada como receptora de un pago, ¿en realidad lo recibió?
• ¿La estancia cumple con los requisitos de seguridad?
• ¿La estancia cuenta con personal suficiente para cuidar a los niños de acuerdo a las Reglas de Operación?
• Los niños registrados como asistentes, y que por lo tanto originan un pago a la estancia, ¿en realidad asisten?
• Oportunidad en entrega de recursos a beneficiarios
• Orden y minimización de costos en los eventos o vías de pago
• Satisfacción de los beneficiarios
• Calidad y oportunidad del servicio prestado
• Suficiencia de personal operativo y de supervisión
Tipo de apoyos del programa
Elementos a monitorear (no exhaustivo)
Ejemplos de preguntas a responder
Apoyo directo, en efectivo
(Oportunidades / Prospera)
Financiamiento de obras (PDZP)
Provisión de servicios
(Estancias Infantiles)
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Es importante definir las fuentes apropiadas de información para poder llevar a cabo el monitoreo de un programa
Definición de fuentes apropiadas de información para las preguntas 2
• Ejecución oportuna y con calidad de la construcción
• Entrega oportuna y documentada a las autoridades
• Estado de mantenimiento y operación
Financiamiento de obras (PDZP)
• Confiabilidad de padrones
Provisión de servicios
(Estancias Infantiles)
• Confiabilidad de padrones
Apoyo directo, en efectivo
(Oportunidades / Prospera)
Tipo de apoyos del programa
Elementos a monitorear (no exhaustivo)
• ¿Las obras existen? ¿Fueron terminadas? ¿En las fechas registradas?
• ¿Se entregaron al municipio?
• Después de uno o dos años de finalizadas, ¿siguen operando?
• ¿Recibieron los beneficiarios sus pagos bimestrales en las fechas acordadas en las Reglas de Operación?
• Los eventos de pago, ¿están organizados de forma lógica?
• ¿Cuánto tiempo “pierde” la gente en ellos? ¿Cuánto gasta para asistir?
• La gente que está registrada como receptora de un pago, ¿en realidad lo recibió?
Ejemplos de preguntas a responder
• ¿La estancia cumple con los requisitos de seguridad?
• ¿La estancia cuenta con personal suficiente para cuidar a los niños de acuerdo a las Reglas de Operación?
• Los niños registrados como asistentes, y que por lo tanto originan un pago a la estancia, ¿en realidad asisten?
Revisión documental e inspección física
Inspección física
Inspección física
Fuente
• Oportunidad en entrega de recursos a beneficiarios
• Orden y minimización de costos en los eventos o vías de pago
• Satisfacción de los beneficiarios
Inspección física en eventos
Entrevista a beneficiarios
Revisión documental
Inspección física
• Calidad y oportunidad del servicio prestado
• Suficiencia de personal operativo y de supervisión
Inspección física
Inspección física
13
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Las muestras aleatorias permiten el monitoreo de un programa de una manera costo-eficiente
14
Normalmente, los programas apoyan a una población numerosa. Por lo tanto, no es costo-eficiente verificar la toda implementación del programa.
Las muestras aleatorias resuelven el problema verificación de todo el problema y convierten el proceso de monitoreo en uno costo-eficiente.
Diseño muestral del monitoreo 3
Muestras aleatorias
Definir la fórmula aplicable: cómo definir que sí y que no monitorear Ej. Para el monitoreo de los Programas de Desarrollo Social se utilizó la siguiente fórmula:
En donde: (n)= tamaño de muestra; (N)= tamaño del universo; (p)= % del universo restringido que posee la característica a estimar; (e)= (d/z); (d)= margen de error; (z)= nivel necesario para obtener la confianza deseada en la distribución normal.
Definir el universo: necesidad de verificar vs. el costo de hacerlo Ej. Algunas de las obras del PDZP son tan pequeñas que cuesta más el viaje a verificar que la obra (pero no todas).
1
2
Seleccionar la muestra: qué universo restringido es el que se va a monitorear Ej. Para el monitoreo de Estancias Infantiles se seleccionaron 32.3% de las estancias (2,388 de 7,407).
3
Prever cambios en la muestra: qué pasa si no se puede hacer una observación Ej. Por razones externas no se puede ir a visitar la estancia.
4
Muestra no costo-eficiente
Muestra restringida
Universo entero
Muestra final
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Antes de implementar el plan de monitoreo es necesario tener planeada la logística que requerirá el mismo
15
Planificación de la logística del monitoreo 4
Periodo de verificación: ¿Cuándo es el momento apropiado para observar lo seleccionado? ¿Qué dificultades logísticas se pueden enfrentar? Ej. Accesibilidad, clima, situación social
1
Diseño de ruta: ¿En dónde va a empezar el monitoreo? ¿Cuál es la ruta más apropiada para llevarlo a cabo? Ej. Geografía, accesibilidad, tiempos
2
Recursos necesarios: ¿Qué se va a necesitar para llevar a cabo el monitoreo? ¿Qué se tiene que hacer para obtener los recursos necesarios? Ej. Asignar personal, rentar vehículos, gastos de viaje, registro de datos
3
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
En el monitoreo, existen múltiples instrumentos para recolectar la información necesaria
16
Diseño de los instrumentos para el monitoreo 5
Guías de entrevistas Entrevistas a beneficiarios
Le proveen al investigador insumos para realizar las entrevistas. Contienen preguntas descriptivas
(que evalúan el conocimiento), preguntas estructuradas (evalúan opiniones), y preguntas
de contrastación (evalúan el valor de situaciones).
Instrumento Método Descripción del instrumento
Cuestionarios Encuestas
Proporciona datos cuantitativos y permite su comparación. Facilita la sistematización de la
información proporcionada por un gran número de actores.
Guía de observaciones Verificación
física
Le proveen al investigador un listado de elementos a observar por medio del cual se
puede verificar la existencia de la obra / proyecto.
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Índice
17
1. Monitoreo
Etapas del monitoreo
Diseño
Implementación
Análisis
Publicación
2. Evaluación
Qué es una evaluación
Para qué sirve evaluar
Tipos de evaluación
Necesidades
Teoría de cambio
Diseño
Procesos
Resultados
Impacto
La evaluación y las decisiones de política pública
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
18
Para construir la evidencia es necesario recolectar información que permita responder a las preguntas y objetivos del monitoreo
Fuente: Ernesto Cohen y Rodrigo Martínez, “Manual: formulación, evaluación y monitoreo de proyectos sociales”, División de Desarrollo Social, CEPAL; Mercedes Di Virgilio y Romina Solano, “Monitoreo, evaluación de políticas, programas y proyectos sociales”, Buenos Aires, 2012, CIPPEC y UNICEF.
Es útil elaborar una matriz de datos que permita volcar la información obtenida y de esta manera responder a los objetivos planteados en el plan de monitoreo. Una matriz de datos es una tabla donde se carga la información relacionada con las distintas dimensiones del problema evaluado.
La recolección de información
El procesamiento de la información
Una vez que todos los pasos del diseño se han llevado a cabo comienza el proceso de recolección de información. Para que el proceso de monitoreo se ejecute con los menores obstáculos posibles, es necesario llevar a cabo las siguientes actividades.
Pedir los permisos necesarios
Adquirir/ pagar por los servicios que se necesiten
Decidir si se requiere acompañamiento de autoridades locales durante el proceso
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Índice
19
1. Monitoreo
Etapas del monitoreo
Diseño
Implementación
Análisis
Publicación
2. Evaluación
Qué es una evaluación
Para qué sirve evaluar
Tipos de evaluación
Necesidades
Teoría de cambio
Diseño
Procesos
Resultados
Impacto
La evaluación y las decisiones de política pública
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
20
Una vez procesada la información, se procede a la realización de un primer análisis de los datos, para identificar los nudos críticos. Existen diferentes instrumentos y coeficientes estadísticos que pueden facilitar el análisis de la información. Es necesario llevar a cabo dos tipos de análisis:
Los resultados del análisis de la información recabada permiten extraer conclusiones y recomendaciones
Fuente: Ernesto Cohen y Rodrigo Martínez, “Manual: formulación, evaluación y monitoreo de proyectos sociales”, División de Desarrollo Social, CEPAL; Mercedes Di Virgilio y Romina Solano, “Monitoreo, evaluación de políticas, programas y proyectos sociales”, Buenos Aires, 2012, CIPPEC y UNICEF.
Análisis de la información
Comparar lo realizado respecto a lo programado. Consiste en cuantificar la diferencia y analizar sus causas. Los desvíos pueden deberse a problemas en el diseño, fallas en la operación y/o cambios en el contexto. Comparar los resultados de distintos períodos. Es la construcción de una serie histórica con los datos correspondientes a cada período de la gestión. Permite identificar las variaciones entre períodos para analizar posibles causas o estacionalidades en la gestión.
Tipos de comparaciones
No hay ningún ejercicio perfecto. Es importante tomar en cuenta los:
• Posibles sesgos selección muestra • Posibles sesgos derivados del instrumento • Posibles sesgos de la vía de recolección
Identificar limitaciones
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Índice
21
1. Monitoreo
Etapas del monitoreo
Diseño
Implementación
Análisis
Publicación
2. Evaluación
Qué es una evaluación
Para qué sirve evaluar
Tipos de evaluación
Necesidades
Teoría de cambio
Diseño
Procesos
Resultados
Impacto
La evaluación y las decisiones de política pública
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
22
En este último paso, se debe elaborar algún tipo de producto o documento como resultado del proceso de monitoreo, orientado a comunicar los resultados a los actores involucrados en el programa. Cualquier tipo de informe de un proceso de monitoreo debe incluir, por lo menos, los siguientes elementos:
Fuente: Mercedes Di Virgilio y Romina Solano, “Monitoreo, evaluación de políticas, programas y proyectos sociales”, Buenos Aires, 2012, CIPPEC y UNICEF.
Es posible desarrollar diferentes tipos de reportes o documentos según el tipo de actor al que éste va dirigido
Hechos sociales de interés, impactos deseados, balance entre ambos, factores clave que incidirán en el logro de los resultados.
Hallazgos principales
Elaboradas a partir de los principales hallazgos de la investigación. Sintetizan sus principales aprendizajes y lecciones
Conclusiones extraídas
Pueden orientarse a distintos niveles: gestores de la intervención, organismos financieros que sostienen o auspician la intervención, responsables de alta jerarquía, destinatarios de la acción.
Recomendaciones o propuestas de
acción
Elementos de un reporte
Hacer explícitas las limitaciones del monitoreo. Pueden ser sesgos de selección de la muestra a monitorear, sesgos derivados del instrumento (en cuanto las respuestas del mismo), y/o sesgos de la vía de recolección, entre otros.
Limitaciones identificadas
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Ejemplo: Monitoreo de programas de desarrollo social, Ejercicio 2008 (1/5)
El objetivo del monitoreo de los Programas de Desarrollo Social fue verificar la existencia, permanencia, funcionamiento y estado de mantenimiento de obras de infraestructura financiados durante 2006 por los siguientes programas de DS: 3x1 para migrantes, Programa de Desarrollo Local, Programa Empleo temporal y Programa de Apoyo a Jornaleros Agrícolas.
23
Diseño del plan de monitoreo
Con el fin de optimizar los recursos disponibles (presupuestales y humanos) se optó por enfocar los esfuerzos de seguimiento a las siguientes acciones:
• Obras de infraestructura cuya inversión federal reportada sea superior a 100 mil pesos. • Acciones de carácter productivo cuya inversión federal reportada fuera superior a los 60 mil
pesos;
Financiamiento de obra
Programa Universo total de acciones Universo restringido
Desarrollo local 3531 796
Empleo Temporal 3903 177
Opciones productivas 5045 956
3x1 para migrantes 1319 558
Atención a Jornaleros Agrícolas 888 204
Total 14,686 2,691
Determinación del universo restringido para la verificación física de programas
Fuente: Informe de seguimiento físico de Programas de Desarrollo Social y Humano. Dirección general de seguimiento. SEDESOL. Diciembre 2008
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Ejemplo: Monitoreo de programas de desarrollo social, Ejercicio 2008 (2/5)
24
Diseño muestral
Normalmente los programas apoyan a población numerosa y no se verifica todo, para efectos de este programa se utilizó la siguiente muestra aleatoria
en donde: n = tamaño de muestra; N = tamaño del universo; p = porcentaje del universo que posee la característica a estimar; e = d / z; d es el margen de error y z = nivel necesario para obtener la confianza deseado en la distribución normal.
Programa Tamaño de la muestra
Desarrollo local 86
Empleo Temporal 62
Opciones productivas 87
3x1 para migrantes 82
Atención a Jornaleros Agricolas 66
Total 383
Después del diseño muestral se visitaron las siguientes obras
Fuente: Informe de seguimiento físico de Programas de Desarrollo Social y Humano. Dirección general de seguimiento. SEDESOL. Diciembre 2008
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Ejemplo: Monitoreo de programas de desarrollo social, Ejercicio 2008 (3/5)
25
Proceso de Implementación
El proceso de seguimiento físico se realizó de la siguiente manera.
Se realizó la verificación con equipos de recopilación de información en campo, capacitándoles e en el llenado de instrumentos así como en aspectos generales del seguimiento físico. 1
Los equipos encuestadores viajaron a los estados correspondientes y de forma conjunta con los responsables del programa en las delegaciones del programa, definieron el itinerario de las visitas 2
Las Delegaciones estatales correspondientes proporcionaron el apoyo logístico para que cada verificador se trasladara a los proyectos asignados. En la visita de campo el verificador procedió a observar el funcionamiento, operación y condiciones físicas, registrando en la cédula los resultados y situaciones detectadas.
3
A cada visita, el verificador revisó la información consignada en las cédulas para identificar alguna omisión o dato impreciso y, finalmente, procedió a validar los datos recolectados. Se evaluaron los resultados obtenidos y se preparó un informe con la información obtenida.
4
Se capturó la información en un programa de análisis estadístico y se analizó cuantitativa y cualitativamente la información recabada en campo 5
Fuente: Informe de seguimiento físico de Programas de Desarrollo Social y Humano. Dirección general de seguimiento. SEDESOL. Diciembre 2008
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Ejemplo: Monitoreo de programas de desarrollo social, Ejercicio 2008 (4/5)
26
Presentación de resultados
Estatus de la obra 3x1 PDL PAJA PET POP
Terminación Concluido 98 98 95 100 94
No concluido 2 2 5 0 6
Estado Físico de la obra Bueno 93 80 83 77 N.A.
Malo 7 20 17 23 N.A.
Operación
Opera 90 65 88 97 66
Parcialmente 1 18 12 0 8
No opera 9 17 0 3 26
Condicionamiento Si 0 0 0 0 7
No 100 100 100 100 93
Hallazgos principales
Recomendaciones o propuestas de
acción
Conclusiones extraídas
98% de las obras estaba concluidas; , asimismo el 80% de las obras se encontraban en plena operación.
El operativo de seguimiento físico para obras y acciones encontró resultados muy aceptables en cuanto a la terminación de las obras, su estado físico y el estado de operación.
Se debe procurar que los gobiernos municipales y estatales, vía acuerdos de coordinación o convenios especiales, se comprometan a darle buen uso y mantenimiento a las obras
Fuente: Informe de seguimiento físico de Programas de Desarrollo Social y Humano. Dirección general de seguimiento. SEDESOL. Diciembre 2008
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Ejemplo: Monitoreo de programas de desarrollo social, Ejercicio 2008: Resultados (5/5)
27
El resultado del monitoreo halló que 76% de las obras o proyectos estaban en
operación.
Operación de obras o proyectos
Conclusión de la obra/proyecto
Se verificó que el 98% de las obras estaban concluidas
Presentación de resultados
Fuente: Informe de seguimiento físico de Programas de Desarrollo Social y Humano. Dirección general de seguimiento. SEDESOL. Diciembre 2008
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
28
Ejemplo: El Programa de Estancias Infantiles (PEI) realizó un ejercicio de monitoreo para mejorar los procesos de supervisión y del programa (1/5)
Objetivos:
1. Llevar a cabo una supervisión externa de una muestra aleatoria de las estancias del país, representativa a nivel nacional y estatal mediante la utilización de una cédula de observación, para verificar el cumplimiento de las Reglas de Operación.
2. Ofrecer sugerencias para mejorar los procesos de supervisión, incluyendo modificaciones concretas a la cédula de supervisión actual.
3. Ofrecer recomendaciones para la definición de atribuciones en materia de supervisión, que pudieran hacer más eficiente dicho proceso.
4. Entender mejor algunos aspectos del funcionamiento de las estancias .
Metodologías:
1. Monitoreo en campo: Supervisión física y entrevista a responsable a una muestra de 2,388 estancias (de una totalidad de 7,407 estancias, 32.2%).
• Instrumento: Cédula de supervisión que recopiló información sobre: • Perfil de las asistentes y responsables en las estancias, y utilidad de las capacitaciones • Tipo de alimentación (infraestructura, alimentos, higiene) • Costos de operación de las estancias y sostenibilidad del programa • Trato institucional y satisfacción con el programa • Documentación institucional • Las condiciones de seguridad en las estancias y en su entorno y “focos rojos” o incumplimiento de normas básicas de
seguridad e higiene • Características y condiciones físicas de la estancia y acceso a servicios básicos de la estancia
2. Entrevistas a profundidad con delegados de la Secretaría de Desarrollo Social (SEDESOL) y enlaces del DIF Nacional en 6 estados.
Fuente: Monitoreo en Campo Programa de Estancias Infantiles para Apoyar a Madres Trabajadoras. Informe Final. Elaborado por C-230 Consultores y FLACSO México
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
29
Ejemplo: Las responsables de la estancias tienen mayor escolaridad del mínimo exigido por las Reglas de Operación; la mayoría tiene experiencia formal de cuidado infantil y casi la totalidad han tomado los cursos de capacitación básica (2/5)
Grado de estudios de las responsables
Fuente: Monitoreo en Campo Programa de Estancias Infantiles para Apoyar a Madres Trabajadoras. Informe Final. Elaborado por C-230 Consultores y FLACSO México
Tiempo de experiencia formal previa en cuidado infantil
Se pudo constatar que la mayoría de las responsables (81.7%) sí tienen experiencia
formal previa cuidando niños
48.3% de las responsables han cursado (son pasantes) o completado estudios de licenciatura o posgrado. Únicamente 10.2% tienen sólo secundaria (el requisito mínimo).
Este ejercicio se hace cada cierto periodo de tiempo.
0.2% 0.6%
10.2%
15.2%
24.6%
2.7%
42.2%
3.9% 0.3% 0.2%
0%
10%
20%
30%
40%
50%
Número de observaciones: 2,385 estancias infantiles. Población representada: 8,660 estancias infantiles.
18%
23%
22%
21%
16%
Ninguna
Hasta 2
Entre 3 y 5
Entre 6 y 10
Más de 11
Número de observaciones: 2,385 estancias infantiles. Población representada: 8,660 estancias infantiles.
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
30
Ejemplo: Casi la totalidad de las estancias proporciona a los niños todos los alimentos que consumen durante el día (no solicitan alimentos llevados de casa) y cumple con el requisito de proporcionar dos alimentos calientes y un refrigerio (3/5)
Fuente: Monitoreo en Campo Programa de Estancias Infantiles para Apoyar a Madres Trabajadoras. Informe Final. Elaborado por C-230 Consultores y FLACSO México
• En casi todas las estancias los menús diarios están a la vista y en la mayoría de los casos coinciden con lo proporcionado el día del levantamiento.
• La mayoría de las responsables se basan en los lineamientos del DIF Nacional (manual) para la preparación de los alimentos (decisión de menús).
7.81% 4.0%
88.2%
No
Sí pero no coincide con losalimentos preparados
Sí y coincide con losalimentos preparados
Número de observaciones: 2,385 estancias infantiles. Población representada: 8,660 estancias infantiles.
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
31
Ejemplo: Las responsables están satisfechas con el Programa (4/5)
Fuente: Monitoreo en Campo Programa de Estancias Infantiles para Apoyar a Madres Trabajadoras. Informe Final. Elaborado por C-230 Consultores y FLACSO México
En general, las responsables asignan calificaciones superiores a 8 (en una escala del 1 al 10) en los temas relacionados con información, facilidad para abrir la estancia, satisfacción con el Programa y disposición a seguir trabajando.
9.4 9.3 9.0
8.7 8.2
7.8 7.6 7.2
6.7
0
1
2
3
4
5
6
7
8
9
10
Disposición aseguir
participando 8
Satisfacción conel Programa 7
Calificación alPrograma 6
Informacióncompleta sobre
derechos yobligaciones 2
Facilidad pararealizar los
trámites de inicio1
Apoyo por niñosuficiente 4
Rapidez en laentrega derecursos 5
Apoyo inicialadecuado 3
Seguridad depoder seguir con
la estancia infantil8
Satisfacción con distintos aspectos del Programa
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
32
Ejemplo: El Monitoreo además de comparar lo que “debe” ser con lo que sucede en la realidad, arroja recomendaciones para mejorar los procesos y la calidad de los bienes y servicios que el programa otorga (5/5)
Fuente: Monitoreo en Campo Programa de Estancias Infantiles para Apoyar a Madres Trabajadoras. Informe Final. Elaborado por C-230 Consultores y FLACSO México
Tema Recomendación
Capacidades: perfil del personal a cargo de los niños
Un porcentaje importante de las responsables no tomó el curso básico de manejo de finanzas, útil para el buen manejo de las estancias. Por lo que se recomienda impartir este curso a quienes aún están pendientes y asegurarse que el curso se imparta a las nuevas responsables (próximas aperturas). Según numerosos funcionarios estatales, no todas las capacitaciones tienen la calidad adecuada o suficiente. Se recomienda que la SEDESOL supervise este aspecto para determinar si la afirmación es correcta. De ser el caso, se recomienda que tenga una cercana supervisión de las capacitaciones impartidas o coordinadas por otras instituciones.
Alimentación Ya que las únicas personas que asisten de forma regular a las capacitaciones son las responsables, pero no son ellas necesariamente quienes preparan los alimentos, sería conveniente que las personas encargadas de la preparación de los alimentos en la estancia asistan al curso de menús y alimentos del DIF Nacional, para asegurar que los procedimientos de higiene y las consideraciones nutricionales lleguen a la persona indicada.
Trato institucional
Actualmente, la SEDESOL realiza cerca de una visita de supervisión cada 1.5 meses., es decir, todavía no se alcanza el ideal de una visita por estancia por mes. Se sugiere buscar opciones para la automatización de la información de la supervisión, lo que permitirá que un mayor número de personas estén en campo haciendo supervisiones y que éstas sean de mayor tiempo.
El Monitoreo debe ser un ejercicio continuo.
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Índice
33
1. Monitoreo
Etapas del monitoreo
Diseño
Implementación
Análisis
Publicación
2. Evaluación
Qué es una evaluación
Para qué sirve evaluar
Tipos de evaluación
Necesidades
Teoría de cambio
Diseño
Procesos
Resultados
Impacto
La evaluación y las decisiones de política pública
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
¿Qué es una evaluación?
34
Observación, medición, análisis e
interpretación
Conocimiento sobre una intervención pública (norma,
programa, política)
Juicio valorativo, basado en evidencias,
Toma de decisión
¿cómo asignar los recursos? ¿crear un nuevo programa o modificar uno
existente? ¿cuál es la mejor forma de entregar
un servicio?...
Definición de Evaluación
Proceso de recolección y análisis de información
La evaluación es el análisis de información recolectada sobre un programa para la valoración del diseño, resultados, cumplimiento con los objetivos finales e impacto del mismo.
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Índice
35
1. Monitoreo
Etapas del monitoreo
Diseño
Implementación
Análisis
Publicación
2. Evaluación
Qué es una evaluación
Para qué sirve evaluar
Tipos de evaluación
Necesidades
Teoría de cambio
Diseño
Procesos
Resultados
Impacto
La evaluación y las decisiones de política pública
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Con la evaluación se aprende de la experiencia y se puede orientar la toma de decisión hacia la asignación eficaz y eficiente de recursos
36
Rendición de cuentas, transparencia y negociación política
Parte del material utilizado para esta diapositiva fue desarrollado por Innovations for Poverty Action (IPA) y el Abdul Latif Jameel Poverty Action Lab (JPAL).
¿Para que sirve evaluar?
1
2
Aprender sobre problemas complejos como la pobreza y el tipo de intervenciones necesarias para obtener mejores resultados.
Saber si lo que se está haciendo funciona, o no, y por qué.
Conocer si hay efectos en el bienestar de las personas y su magnitud.
Identificar si los efectos son los mismos para diferentes grupos de la población.
Identificar cómo mejorar el proceso de operación de un programa.
Recursos públicos. Es necesario informar a los ciudadanos sobre el uso de sus impuestos.
Presupuestación . Asignar más recursos a los programas que mayores beneficios aportan a la sociedad.
Oportunidad de aprendizaje. Mejorar el diseño y la operación del programa y/o detener el programa
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Índice
37
1. Monitoreo
Etapas del monitoreo
Diseño
Implementación
Análisis
Publicación
2. Evaluación
Qué es una evaluación
Para qué sirve evaluar
Tipos de evaluación
Necesidades
Teoría de cambio
Diseño
Procesos
Resultados
Impacto
La evaluación y las decisiones de política pública
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Existe un menú de tipos de evaluación que responden a una gran variedad de preguntas
38
Preguntas que nos interesa responder
Etapa en el ciclo de una política pública o programa
Tiempo que lleva operando el programa
Información requerida y disponible
Restricciones de tiempo, recursos y capacidad técnica e institucional
Parte del material utilizado para esta diapositiva fue desarrollado por Innovations for Poverty Action (IPA) y el Abdul Latif Jameel Poverty Action Lab (JPAL).
Necesidades (diagnóstico)
Teoría de cambio (justificación conductual detrás del programa)
Diseño (sintonía del programa con sus objetivos)
Proceso ( o implementación )
Resultados (avances)
Impacto (causalidad)
Método de selección del tipo de evaluación
Seleccionar las herramientas de evaluación en función de:
Tipos de evaluación
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Índice
39
1. Monitoreo
Etapas del monitoreo
Diseño
Implementación
Análisis
Publicación
2. Evaluación
Qué es una evaluación
Para qué sirve evaluar
Tipos de evaluación
Necesidades
Teoría de cambio
Diseño
Procesos
Resultados
Impacto
La evaluación y las decisiones de política pública
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
La evaluación de necesidades identifica la naturaleza y el alcance de un problema, define la población objetivo y determina la atención que se necesita para hacer frente al problema
40
La evaluación de necesidades es equivalente al diagnóstico de un problema
Identifica la naturaleza del problema
Identifica el alcance del problema
Define la población objetivo
Determina la atención que se necesita para hacer frente al problema
Evaluación de necesidades
Se evalúa el contexto y la realidad sobre la que se quiere intervenir.
Preguntas a responder
¿Cuál es el problema que se quiere resolver?
¿Cuáles son las causas y efectos del problema?
Determinar la brecha entre la situación real y la situación deseada.
Fortalezas y debilidades de los programas y servicios disponibles
Recursos disponibles para atender el problema
¿Cómo se resuelve el problema?
¿Qué alternativas de solución hay?
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Ejemplo: Agua contaminada a causa de actividades agrícolas
41
Alta incidencia de diarrea
Comida contaminada Mala higiene No hay infraestructura
de saneamiento
Escurrimiento de fertilizantes que están contaminando al agua
¿Cuál es la causa?
Si las fuentes que contaminan el agua potable están relacionadas con la agricultura, intervenciones en infraestructura de saneamiento, como baños y sistemas de
alcantarillado, podrían no resolver el problema.
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Índice
42
1. Monitoreo
Etapas del monitoreo
Diseño
Implementación
Análisis
Publicación
2. Evaluación
Qué es una evaluación
Para qué sirve evaluar
Tipos de evaluación
Necesidades
Teoría de cambio
Diseño
Procesos
Resultados
Impacto
La evaluación y las decisiones de política pública
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
La Teoría de Cambio evalúa que tan bien o mal está explicada la justificación conductual detrás del diseño de un programa
43
¿La intervención responde a los objetivos del programa?
¿La cadena causal es coherente y lógica?
¿Un taller de dos horas va a cambiar conocimientos vs conductas de las personas?
¿Para que A mejore D, primero está afectando B y C?
¿Esta vivienda con piso de cemento va a reducir la diarrea?
Teoría de cambio
Preguntas a responder
Evalúa la explicación de la justificación conductual detrás del diseño de un programa
Evalúa si la cadena causal del programa es coherente y lógica
A Intervención
B Efecto ¿Cuáles son los mecanismos?
Insumos / Actividades
Productos Resultados
intermedios
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Ejemplo: Indicadores del Programa de Inclusión Laboral Juvenil, por componente de la Teoría de Cambio
44
Teoría de Cambio
Indicadores
Ingreso promedio de jóvenes
beneficiarios
Tasa de desocupación
Porcentaje de jóvenes que ingresaron al mercado laboral
Porcentaje de jóvenes que permaneció en su empleo por más de un
año
Número y tipo de habilidades
desarrolladas por beneficiario
Número de beneficiarios
Número de apoyos ofrecidos
Número de talleres de capacitación
ofrecidos
Se reduce el número de jóvenes que viven
en situación de pobreza
Objetivo a largo plazo
Se mejoran los niveles de inserción,
permanencia e ingreso laboral de las y los jóvenes
urbanos en situación de
pobreza
Efecto
Desarrollo de habilidades
socioemocionales y soft skills como la
responsabilidad, el trabajo en equipo y
la comunicación, entre otras.
Resultados intermedios
Asistencia y aprovechamiento del entrenamiento
en el salón de clases y de la experiencia
práctica
Productos
Capacitación en salón de clases y en
empresa
Insumos / Actividades
Entrega de materiales escolares
y becas para transporte y manutención
Proyecto: Programa de Inclusión Laboral Juvenil. Necesidades: Las y los jóvenes urbanos presentan bajos niveles de inserción, permanencia e ingreso laboral. Objetivo a largo plazo: Reducir el número de jóvenes que viven en situación de pobreza.
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Índice
45
1. Monitoreo
Etapas del monitoreo
Diseño
Implementación
Análisis
Publicación
2. Evaluación
Qué es una evaluación
Para qué sirve evaluar
Tipos de evaluación
Necesidades
Teoría de cambio
Diseño
Procesos
Resultados
Impacto
La evaluación y las decisiones de política pública
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
La evaluación de diseño examina hasta qué punto las características de la intervención o programa sirven a sus objetivos
46
¿Se identifica el problema o necesidad que busca atender?
¿Se cuenta con un diagnóstico del problema que describa la causas, efectos y características del problema y
que cuantifique la población que presenta el problema?
¿Se cuenta con una justificación teórica o empírica que sustente el tipo de intervención que el programa lleva?;
y ¿la justificación es consistente con el diagnóstico?
¿Existe definición y cuantificación de las poblaciones potencial y objetivo?
¿Se vincula a los objetivos establecidos en los documentos de planeación sectorial, nacional, internacional?
¿Existe una Teoría de Cambio y sigue una lógica?
¿Los indicadores de la Teoría de Cambio son claros, medibles, relevantes, monitoreables?
¿Con qué otros programas y en qué aspectos el programa evaluado tiene complementariedades o
duplicidades? Fuente: Modelo de Términos de Referencia para La Evaluación en Materia De Diseño, CONEVAL
Evaluación de diseño
Preguntas a responder
Determina si las características de la intervención responden a las necesidades de la población objetivo.
Analiza si las características de la intervención toman en cuenta las restricciones de capacidades (financieras,
humanas e institucionales) y las realidad políticas de sus contextos.
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Ejemplo: Financiera Rural (FinRural) operó cuatro programas de subsidios. Cuenta con un documento diagnóstico que no identifica el problema que pretende resolver cada programa
47
Fuente: Evaluación de Consistencia y Resultados 2011 Programa para la Constitución de Garantías Líquidas
Programa de Reducción de Costos al Acceso al Crédito (PRCAC)
Programa Integral de Formación, Capacitación y Consultoría para Productores e Intermediarios Financieros Rurales (PI)
Programa para la Constitución de Garantías Líquidas (PGCL)
Programa para la Constitución y Operación de Unidades de Promoción de Crédito (PCOUPC)
FinRural contó con un documento denominado “Programas de Apoyo para Acceder al Crédito y Fomentar la Integración Económica y Financiera
para el Desarrollo Rural”, que contenía cierta información análoga a la necesaria en un
Diagnóstico.
Sin embargo, dicho documento correspondía a un análisis de la problemática general del crédito en el
sector rural; no identificaba el problema que el PRCAC, el PI, el PGCL y el PCOUPC – en específico –
buscaban resolver
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Ejemplo: Se documenta la problemática general, pero no el problema específico que da lugar a la existencia de cada programa de Financiera Rural
48
Análisis de la problemática general del crédito en el sector rural
Definición de Población Objetivo por Programa sin identificación de la Problemática específica a resolver
0
10,000
20,000
30,000
40,000
50,000
60,000
1983 1985 1987 1989 1991 1993 1995 1997 1999 2001 2003
México: Crédito otorgado al sector agropecuario Millones de pesos de 1993, 1983-2004
Banca de desarrollo Banca comercial Total
1994 corresponde al
año en que se alcanza
el máximo en la
disponibilidad de
crédito para el sector
agropecuario l
A partir de 1989, el crédito
otorgado por el Estado
inicia su caída
Fuente: Evaluación de Consistencia y Resultados 2011 Programa para la Constitución de Garantías Líquidas
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
49
Ejemplo: Se identificaron duplicidades y complementariedades entre programas de la Administración Pública Federal y la Financiera Rural
• Se identificó que los programas de apoyo muestran complementariedad con programas operados por la Secretaría de Agricultura, Ganadería, Desarrollo Rural, Pesca y Alimentación (SAGARPA).
• Se identificaron relaciones de duplicidad en función del
tipo de apoyos que otorgan los programas específicos operados por FIRA y Financiera Rural como agentes técnicos en contraste con otros programas que otorgan apoyos similares y que son operados por otras dependencias federales.
• Se identificó que tanto el Banco del Ahorro Nacional y
Servicios Financieros (BANSEFI) como la Secretaría de Economía (SE) otorgan apoyos del mismo tipo a través de tres programas: BANSEFI: el Programa de Apoyo para Fomentar la Inclusión Financiera y el Fortalecimiento del Sector de Ahorro y Crédito Popular; SE: el Programa del Fondo de micro financiamiento a Mujeres Rurales (FOMMUR), al igual que el Programa de Fomento Tecnológico Esquema de Fortalecimiento de las Competencias Financiera y Empresarial para Intermediarios Financieros no Bancarios.
Fuente: Evaluación de Consistencia y Resultados 2011 del Programa para la Constitución de Garantías Líquidas
Se recomienda diseñar esquemas en los programas de financiamiento que promuevan, de manera coordinada, una cultura financiera entre productores del medio rural y los temas relacionados con las formas de acceder a los instrumentos financieros.
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Índice
50
1. Monitoreo
Etapas del monitoreo
Diseño
Implementación
Análisis
Publicación
2. Evaluación
Qué es una evaluación
Para qué sirve evaluar
Tipos de evaluación
Necesidades
Teoría de cambio
Diseño
Procesos
Resultados
Impacto
La evaluación y las decisiones de política pública
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
La evaluación de procesos analiza el cumplimiento de las operaciones del programa, la implementación y la entrega de servicios
51
Se planeaba entregar: Se entregó: Se planeaba un proceso ágil: Lo que sucedió:
¿Cuáles son en realidad los pasos y actividades en la entrega del bien o servicio? y ¿qué tan cercanos son estos
pasos y actividades a la operación planeada?
¿El mismo servicio puede ser entregado a un menor costo? ¿Sustituyendo insumos caros con alternativas más
baratas?
¿Los servicios son recibidos por la población relevante (focalización)? ¿Las personas están acudiendo a
nuestros servicios? ¿Cuáles personas sí y cuáles no?
¿Lo que está sucediendo en la práctica se desvía de lo que está establecido en el plan?
Evaluación de procesos
Evalúa la diferencia entre la planeación y la operación de las actividades.
Preguntas a responder
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Diferencia entre evaluación de procesos y monitoreo
52
El monitoreo tiene el propósito de observar los procesos y/o resultados de un programa de manera sistemática y de manera continua en el tiempo.
La evaluación de procesos conlleva un ejercicio s para identificar “cuellos de botella” y para entender cómo se está implementando cada uno de los pasos del programa.
?
1
2
9 Levantamiento Levantamiento Levantamiento Levantamiento Levantamiento Levantamiento
Mar Abr May Jun Jul Ago Sep Oct Nov Dic Mar Abr May Jun Jul Ago Sep Oct Nov Dic Mar Abr May Jun Jul Ago Sep Oct Nov Dic
• ¿Operación conforme a manuales? • ¿Se está atendiendo a población objetivo? • ¿La cantidad y tiempo de entrega? • ¿Los procedimientos son los óptimos? • ¿Existen cuellos de botella? • ¿Las responsabilidades están bien
asignadas? • ¿Recursos humanos, financieros, materiales
suficientes? • ¿Qué tan costoso es para los usuarios el
procedimiento para recibir el apoyo? • ¿Los beneficiarios están satisfechos?
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
53
Fuente: Reporte de Consultoría
Ejemplo: Se identificaron áreas de oportunidad para mejorar la operación del programa de transferencias condicionadas en Perú
Área Hallazgo Consecuencias
Normatividad Existen directrices individuales por proceso, emitidas en fechas diversas y por áreas distintas, en lugar de sólo un documento que explique de forma integral el proceso operativo del Programa.
• El hecho de que distintas áreas puedan emitir directrices separadas provoca un exceso de requerimientos, toda vez que cada área trata de maximizar la información que puede obtener de los responsables de las actividades.
• La diversidad de directrices hace necesaria la emisión de documentos normativos adicionales que buscan condensar, conciliar y priorizar los requerimientos derivados de las primeras.
Capacidad operativa
El número de Gestores Locales (GLs) es bajo para la carga operativa que tienen asignada.
La razón de gestores/hogares a su cargo rebasa la cifra que se requeriría para una operación adecuada.
Al menos 46% del tiempo de los GLs es dedicado al proceso de verificación de corresponsabilidades.
El sistema aplicado – en el cual son los GLs los que transportan los formatos de verificación a las unidades de salud y escuelas, llenan los formatos y capturan su información – es altamente ineficiente si se le compara con la alternativa natural: que los médicos y maestros hicieran el llenado de los formatos, y los enviaran a las oficinas regionales del Programa.
La carga de información de corresponsabilidades, en el sistema informático, se realiza en pantallas de captura y exclusivamente mediante conexión a web.
Dado que el sistema informático está basado en web, y que la alimentación de información es mediante pantallas de captura, los GLs pueden ejecutar la actividad completa de captura sólo cuando tienen acceso a internet. Además, dado que todos los GLs realizan las labores de recolección de formatos y alimentación de información en las mismas semanas, el sistema se satura, generando problemas de acceso, así como de guardado (y la consecuente necesidad de recapturar información).
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Índice
54
1. Monitoreo
Etapas del monitoreo
Diseño
Implementación
Análisis
Publicación
2. Evaluación
Qué es una evaluación
Para qué sirve evaluar
Tipos de evaluación
Necesidades
Teoría de cambio
Diseño
Procesos
Resultados
Impacto
La evaluación y las decisiones de política pública
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
La evaluación de resultados mide los cambios en el programa
55
Tiempo
Avances; cambios
Intervención
Var
iab
le d
e in
teré
s
Esta diapositiva fue desarrollada por Innovations for Poverty Action (IPA) y el Abdul Latif Jameel Poverty Action Lab (JPAL).
El resultado es la diferencia que se observa en un grupo de tratamiento antes y después de la política pública implementada.
Evaluación de resultados
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
56
En una evaluación de resultados no es posible atribuir los cambios observados en los beneficiarios a su participación en el programa
t0 Línea base
t1 Seguimiento
• Qué condiciones presentaban los beneficiarios antes de recibir el bien o servicio • Se puede recabar la información en t0 o bien, preguntar en retrospectiva en t1 sobre las condiciones que
tenían en t0.
De t0 a t1 pudieron pasar muchas cosas ajenas al programa que influyen sobre las variables de resultado: • La economía creció • Se crearon fuentes de empleo • Participación en otros
programas con objetivos relacionados con empleabilidad
Si un recién graduado de un programa de capacitación laboral obtiene empleo, ¿es un resultado directo del programa o habría encontrado empleo de todas formas?
Línea Base
Seguimiento
• Se investiga cómo han cambiado las condiciones de los beneficiarios después de un determinado tiempo (t1) de estar expuesto o de haber estado expuesto al programa.
Entonces, ¿qué se debe al programa y qué a las otras cosas que sucedieron? No es posible separar los efectos
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
57
• Del padrón de beneficiarios del programa se seleccionó una muestra de beneficiarios − De 585,392 viviendas se seleccionaron 1,560 casos . − Como no se hizo un levantamiento previo para tener una línea base, las preguntas se hicieron
sobre el estado actual y sobre el estado anterior al haber recibido el apoyo: enfoque retrospectivo.
Fuente: Informe de la Evaluación Específica de Resultados Intermedios y de Seguimiento, FONHAPO.
Ejemplo: La evaluación de resultados para un programa de vivienda examinó aspectos relacionados con la vivienda antes y después del recibir el apoyo
Pregunta: En una escala donde 1 es PÉSIMO y 5 es
MUY BUENO, ¿cómo calificaría el siguiente aspecto de su vivienda
actualmente? Y antes de recibir, ¿cómo lo calificaba?
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
58
Ejemplo: La evaluación de resultados para un programa de vivienda examinó aspectos relacionados con la vivienda antes y después del recibir el apoyo
Fuente: Informe de la Evaluación Específica de Resultados Intermedios y de Seguimiento, FONHAPO Nota. Los tabulados corresponden a los beneficiarios de vivienda nueva, es decir, no se incluye aquellos que recibieron mejoramientos y/o ampliaciones.
% de viviendas, según material de las paredes
% de viviendas, según material del techo
% de viviendas, según material del piso
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Índice
59
1. Monitoreo
Etapas del monitoreo
Diseño
Implementación
Análisis
Publicación
2. Evaluación
Qué es una evaluación
Para qué sirve evaluar
Tipos de evaluación
Necesidades
Teoría de cambio
Diseño
Procesos
Resultados
Impacto
La evaluación y las decisiones de política pública
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
La evaluación de impacto toma en cuenta el contrafactual para medir el impacto que tuvo el programa
60
Esta diapositiva fue desarrollada por Innovations for Poverty Action (IPA) y el Abdul Latif Jameel Poverty Action Lab (JPAL).
Qué ocurrió (con el programa) y Qué habría ocurrido (sin el programa) =IMPACTO del programa
La evaluación de impacto mide la diferencia entre lo que ocurrió y lo que habría ocurrido sin el programa.
Evaluación de impacto
¿Cómo ha cambiado el bienestar de los beneficiarios a causa del programa?
¿Los efectos son atribuibles al programa, o hubieran ocurrido de todas formas?
Preguntas a responder
¿Cuál es el efecto del programa de “becas de capacitación laboral” en el empleo de jóvenes?
¿Cuál sería el nivel de empleo si no existiera el programa?
¿Cuál es el efecto del programa de deportes escolares en los índices de obesidad infantil?
Para estimar esta diferencia, necesitamos entender qué habría ocurrido sin el programa… a este escenario hipotético se denomina contra factual.
Ejemplos de preguntas del programa de inclusión laboral
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Impacto: ¿Qué es?
61
Esta diapositiva fue desarrollada por Innovations for Poverty Action (IPA) y el Abdul Latif Jameel Poverty Action Lab (JPAL).
Tiempo
Impacto
Intervención
Var
iab
le d
e in
teré
s
El impacto del tratamiento es la diferencia neta entre las tendencias del grupo de tratados y el de control
Evaluación de impacto
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Impacto: Escenario #2
62
Impacto
Tiempo
Intervención
Var
iab
le d
e in
teré
s
Esta diapositiva fue desarrollada por Innovations for Poverty Action (IPA) y el Abdul Latif Jameel Poverty Action Lab (JPAL).
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
63
Fuente: Reporte de Consultoría
Establecer impacto es establecer causalidad
• En una evaluación de impacto es necesario establecer que los cambios identificados son atribuibles al programa.
• Cuando se responde una pregunta de impacto, es necesario comparar lo que ocurrió con lo que hubiese ocurrido sin el programa.
• El escenario hipotético sobre qué hubiera ocurrido, se le conoce como contrafactual.
Nota: No se puede observar a una misma persona siendo beneficiaria y no siendo beneficiaria,
para comparar cómo le fue al participar en el programa y cómo le hubiera ido sin participar.
Actividades realizadas como parte del programa. Ej. Apoyos económicos,
becas, leche fortificada
Servicios
Cambios en las condiciones de los beneficiarios (en el corto, mediano y largo
plazo), medidos como los cambios en determinadas variables de impacto (o variables de resultados intermedios)
Causas Efectos
Causalidad
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
64
En la evaluación de impacto, los cambios encontrados pueden ser previstos o no previstos y pueden ser positivos o negativos
Los impactos son previstos cuando se han formulado hipótesis sobre ciertos cambios que el programa podría generar en los beneficiarios con base en los objetivos del programa, diagnósticos y evaluaciones de impacto.
Ej. Transferencia condicionada a asistencia escolar Aumento en años de escolaridad
Los impactos no previstos son cambios en el bienestar de los beneficiarios, también atribuibles al programa, pero que no habían sido considerados en las preguntas de evaluación o en el diseño del programa.
Ej. Transferencia condicionada a asistencia escolar Reducción en la oferta laboral de los padres
Los impactos positivos son los cambios que representan una mejora en las condiciones de vida de los beneficiarios. Los impactos negativos son cambios no deseados que deterioran la vida de los beneficiarios.
Ej. Transferencia condicionada a asistencia escolar Reducción en el tiempo disponible para ocio
……………………………… … de las madres de familia
Impactos previstos
Impactos no previstos
Impactos positivos
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
65
El contrafactual representa el estado del mundo que participantes de un programa habrían experimentado en la ausencia del programa, no se puede observar
Solución: “construir” o “replicar” el contrafactual
M e t o d o l o g í a
Diseño experimental Asigna aleatoriamente a los individuos a dos
grupos: control o tratamiento
Diseño cuasi-experimental Con técnicas estadísticas que requieren el
cumplimiento de ciertos supuestos, se trata de replicar una asignación aleatoria para construir
un grupo de comparación
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
66
En un evaluación experimental se asigna aleatoriamente a las personas a un grupo de control o a un grupo de tratamiento
Después de un tiempo se mide la variable de resultado que sea de interés en ambos grupos, se comparan y la diferencia se atribuye al programa
VS
Tratados Control
Diseño experimental
1
2
3
Asignación aleatoria se refiere a que la pertenencia de una persona al grupo que recibe el programa o al que no lo recibe fue resultado del azar, por ejemplo, de lanzar una moneda o de una lotería.
Como resultado, la participación en el programa no depende de características de las personas, sino de la suerte.
Al inicio del experimento los dos grupos son en promedio equivalentes, tanto en características observables (edad, sexo, estado civil, escolaridad), como en características no observables (talento, motivación, auto estima).
4 Se introduce el único elemento que los hace diferentes, un grupo recibe el programa (tratamiento) y otro no (control).
5
Asignación no aleatoria
Sede Ingresos mensuales per cápita
1000
500
0 Tratamiento Comparación
1457
947
F
67 Esta diapositiva fue desarrollada por Innovations for Poverty Action (IPA) y el Abdul Latif Jameel Poverty Action Lab (JPAL).
Asignación aleatoria
Ingresos mensuales per cápita
1000
500
0 Tratamiento Comparación
1257 1242
Sede
F 68
Esta diapositiva fue desarrollada por Innovations for Poverty Action (IPA) y el Abdul Latif Jameel Poverty Action Lab (JPAL).
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
69
Ejemplo: Se usó un diseño experimental para evaluar la efectividad de dar información a adolescentes sobre el riesgo de infección de VIH/SIDA (1/3)
• Kenia: 10° país africano por incidencia de VIH/SIDA.
• Los niños son vistos como una “ventana de esperanza” en la lucha contra el SIDA ya que su patrón sexual no está firmemente establecido.
• El currículo oficial escolar promueve la abstinencia como único método para prevenir el VIH/SIDA. La prevalencia del VIH es tres veces más alta entre mujeres adolescentes que entre hombres adolescentes.
• En la escuela no se explica que los adultos varones jóvenes tienen más probabilidad de tener el virus que los niños y adolescentes.
• Los hombres de 25 años tienen mucha más probabilidad de tener el virus VIH que niños adolecentes de 16 años. Esto significa que las relaciones sexuales con parejas mayores (a menudo llamados “Sugar Daddies”) son particularmente peligrosas para las niñas adolecentes.
• Hipótesis: brindar información a las mujeres sobre la prevalencia del VIH por género y edad puede reducir la incidencia de relaciones sexuales inter-generacionales sin protección.
Fuente: Poverty Action Lab http://www.povertyactionlab.org
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
70
Ejemplo: Se usó un diseño experimental para evaluar la efectividad de dar información a adolescentes sobre el riesgo de infección de VIH/SIDA (2/3)
Ejemplo: El tratamiento consistió en una plática de 40 minutos, con un video educativo de 10 minutos, una discusión abierta sobre el sexo transgeneracional y en escribir en el pizarrón las tasas detalladas sobre la prevalencia del virus VIH, desagregadas por género y edad.
• Tratamiento: Campaña de Información sobre el Riesgo Comparativo
• Grupo de tratamiento:
– De una muestra de 328 escuelas primarias que recibieron educación sobre VIH/SIDA, orientada sólo a la abstinencia, se eligieron aleatoriamente 71 escuelas que recibirían la “Campaña de Información sobre el Riesgo Comparativo”.
– La aleatoriedad garantiza que no habría una diferencia sistemática entre las escuelas de tratamiento y de control.
• Grupo de control:
– Es el resto de las 328 escuelas.
• Método de análisis:
– Se compara el impacto de los dos tipos de información otorgada: la del currículo oficial y la de la “Campaña de Información sobre el Riesgo Comparativo”.
Fuente: Poverty Action Lab http://www.povertyactionlab.org
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
71
Ejemplo: Se usó un diseño experimental para evaluar la efectividad de dar información a adolescentes sobre el riesgo de infección de VIH/SIDA (3/3)
La incidencia de embarazos se redujo, lo que sugiere que la intervención redujo la probabilidad de que las niñas se involucraran en sexo no seguro.
• La incidencia de embarazos se redujo en 28% (de 5,8% de niñas que se embarazan en un año a 3,9%). Esto sugiere que la intervención redujo la probabilidad de que las niñas se involucraran en sexo no seguro.
• Se redujo el sexo transgeneracional no seguro: la tasa de embarazo con hombres mayores en 5 o más años de edad cayó en 61%, sin aumento compensatorio en embarazos con parejas adolecentes.
• El método tuvo un costo de US$ 0.80 por estudiante y $90 por embarazo evitado.
Fuente: Poverty Action Lab http://www.povertyactionlab.org
¿Cuáles son los impactos del programa?
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
72
Las evaluaciones de impacto cuasi-experimentales se basan en técnicas que generan grupos de comparación que se asemejan al grupo de tratamiento
Ventaja de los experimentos: Dado que los miembros de los grupos (tratamiento y control) no difieren sistemáticamente al principio del experimento, cualquier diferencia que surja posteriormente entre ellos se puede atribuir al programa y no a otros factores.
Diseños cuasi experimentales
Los métodos cuasi-experimentales descansan sobre más supuestos para sostener que los grupos de comparación son
similares.
Pre-post: El contrafactual es la misma persona antes de la intervención.
Diferencia simple: El contrafactual son los no-participantes en el programa, comparados después de la
intervención.
Otros métodos que pueden aplicarse de forma rigurosa y que pueden proveer buena información: diferencias
en diferencias, matching, variables instrumentales, regresión discontinua.
Requieren mucha información estadística.
Métodos cuasi experimentales
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
73
Problemas con el método Pre-post: factores externos pueden ser responsables de los cambios en el bienestar de los beneficiarios
• En el caso Pre-post no es posible aislar otros factores que afectan los resultados.
• ¿Los niños crecieron por el maíz fortificado, o por el hecho de ser niños? • ¿La tasa de desempleo cayó entre los participantes de un programa de capacitación debido a los
conocimientos y destrezas que adquirieron en el programa, o como consecuencia del aumento en la tasa de crecimiento económico del país?
Método pre-post
Lo que sabemos con el pre-post:
Beneficio neto Efecto del programa
Factores externos
Beneficio neto Efecto del programa
Factores externos
Lo que queremos saber
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
74
Problemas con el método de diferencia simple: los individuos que deciden participar en un programa son distintos a aquellos que deciden no participar
• En un programa voluntario de capacitación para el trabajo, los participantes tienen características distintas a los no participantes.
• Las características en las que difieren, influyen sobre los resultados. • Los grupos no sólo son distintos en características observables, también en características no observables.
¿Los participantes consiguieron empleo sólo por el programa o porque eran jóvenes más motivados y con más educación que los que decidieron no participar?
Método de diferencia simple
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
¿Cómo difieren las evaluaciones de impacto a las de procesos?
75
Evaluación de procesos vs impacto
Procesos que funcionan no implica que el programa tenga impacto.
Procesos: Cuando respondemos una pregunta sobre procesos, debemos describir lo que ocurrió Esto se puede hacer mediante la lectura de documentos, entrevistas, archivos administrativos, monitoreo, etc.
1
Impacto: Cuando respondemos a una pregunta de impacto, es necesario comparar lo que ocurrió con lo que hubiese ocurrido sin el programa Hay distintas formas de llevar esto a cabo, pero todas tienen en común la necesidad de recrear lo que hubiese ocurrido sin el programa.
2
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
¿Cómo difieren las evaluaciones de impacto a las de resultados?
76
Evaluación de resultados vs impacto
Resultados: El programa ya terminó: ¿ocurrió el cambio esperado? ¿Cómo cambió la vida de las personas?
1
Impacto: El programa ya terminó: ¿el cambio es atribuible a la intervención? ¿Hay una relación demostrada de causa y efecto? ¿La vida de las personas cambió a causa del programa?
2
Resultados observados no implican que el programa tenga impacto.
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
77
Evaluación de resultados vs evaluación de impacto
Frecuentemente se utiliza el término evaluación de resultados como sinónimo de evaluación del impacto. Sin embargo, son distintas: La evaluación de resultados proporciona los efectos brutos.
La evaluación de impacto proporciona los efectos netos.
Var
iab
le d
e in
teré
s
Impacto
Intervención
b) El grupo de control aumentó también su
tasa de asistencia, pero en menor medida
El programa incrementa la asistencia de los beneficiarios
El resultado es la diferencia que se observa
en el grupo de tratamiento antes y
después de la intervención
El impacto del tratamiento es la diferencia neta entre las tendencias del grupo de tratados y el de control Resultado
Parte del material utilizado para esta diapositiva fue desarrollado por Innovations for Poverty Action (IPA) y el Abdul Latif Jameel Poverty Action Lab (JPAL).
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Ejemplo: Programa “Aprendiendo a Leer” de PRATHAM
78
1. ¿Qué tipo de evaluación? 2. ¿Cuáles podrían ser los
problemas con este tipo de evaluación?
Fuente: www.pobertyactionlab.org
Parte del material utilizado para esta diapositiva fue desarrollado por Innovations for Poverty Action (IPA) y el Abdul Latif Jameel Poverty Action Lab (JPAL).
• Método de evaluación 1: “Pratham celebra el éxito de su programa; en menos de un año, los niveles de lectura de los niños que se inscribieron mejoraron de manera considerable.”
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Ejemplo: Programa “Aprendiendo a Leer” de PRATHAM
79
1. ¿Qué tipo de evaluación? 2. ¿Cuáles podrían ser los
problemas con este tipo de evaluación?
Fuente: www.pobertyactionlab.org
Parte del material utilizado para esta diapositiva fue desarrollado por Innovations for Poverty Action (IPA) y el Abdul Latif Jameel Poverty Action Lab (JPAL).
• Método de evaluación 2: “Un equipo de evaluadores encontró que los niños que participaron en el programa terminaron con niveles de lectura menores que los de sus pares.”
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
Índice
80
1. Monitoreo
Etapas del monitoreo
Diseño
Implementación
Análisis
Publicación
2. Evaluación
Qué es una evaluación
Para qué sirve evaluar
Tipos de evaluación
Necesidades
Teoría de cambio
Diseño
Procesos
Resultados
Impacto
La evaluación y las decisiones de política pública
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
81
La evaluación es un instrumento de información y ayuda a la decisión pública. No obstante, es sólo uno de los insumos que el hacedor de política usa para orientar sus decisiones
La fortaleza de la evaluación dependerá de su calidad y de la capacidad de incidencia en las decisiones de política pública.
La evaluación y las decisiones de política pública
Que sean estudios técnicamente rigurosos con objetivos claros
Que sean documentos “accesibles” y “cortos” para distintos públicos
Que obtengan resultados oportunos y disponibles en tiempos políticos
clave (negociación del presupuesto, antes de expandir un programa)
Que proveen recomendaciones
Elaboración de una evaluación
Es importante tomar en cuenta los siguientes elementos en el desarrollo de evaluaciones.
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
82
Las evaluaciones son preferentemente realizadas por actores externos al programa para evitar conflictos de interés. Por su parte, el monitoreo puede ser realizado por la institución a cargo del programa
Quienes toman la iniciativa de efectuar una evaluación pueden ser responsables pertenecientes a la institución o externos a ella, pero quienes realizan la evaluación deben ser externos para garantizar objetividad .
Como el objetivo del monitoreo es distinto, puede ser realizado por: • Supervisores de la ejecución de la misma institución (áreas de planeación, evaluación y seguimiento). • El área central encargada de la ejecución, interesada en conocer cómo se opera el programa por las oficinas
regionales o delegaciones.
Evaluación
Monitoreo
Monitoreo
Evaluador externo
Supervisores de la ejecución
Ejecutores centrales del programa
Ejecutor 2 Ejecutor 1 Ejecutor 3
Evaluación
Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan
los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.
83
Fuente: UNFPA, 2012.
El diseño, monitoreo y evaluación de un programa son etapas del ciclo de una política pública que están estrechamente relacionadas entre sí
Diseño del programa Si un diseño adecuado y una articulación clara de los resultados deseados, no está claro lo que se debe monitorear ni la forma de hacerlo; por lo que no se puede hacer bien el monitoreo. Si el diseño no es eficaz, la base para la evaluación es débil. Esto
provoca que la evaluación sea mal hecha.
Presentación de informes A menos que exista un diseño sólido y un monitoreo periódico, no puede haber una presentación de informes eficaz. Lecciones
aprendidas y análisis de la planificación informada a través de los informes presentados. La evaluación proporciona una base sustentada en evidencias para la presentación de informes de calidad.
Evaluación
La evaluación de un programa puede conducir a cambios en el programa.
Monitoreo
Sin un monitoreo cuidadoso, no se pueden recopilar los datos necesarios, por lo que no se
puede hacer una evaluación adecuada. El monitoreo puede conducir a cambios en el
diseño original del programa
top related