manual de monitoreo, seguimiento y evaluación de …fundacionidea.org/assets/files/usa010/manual...

Manual de monitoreo, seguimiento y evaluación de programas

Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan los puntos de vista o las opiniones

de USAID o el Gobierno de Estados Unidos de América.

Abril 2015

Esta presentación es posible gracias al generoso apoyo del pueblo de los Estados Unidos de América a través de la Agencia de Estados Unidos para el Desarrollo Internacional (USAID). El contenido y las conclusiones de esta presentación son responsabilidad de Fundación IDEA y no representan

los puntos de vista o las opiniones de USAID o el Gobierno de Estados Unidos de América.

Índice

2

1. Monitoreo

Etapas del monitoreo

Diseño

Implementación

Análisis

Publicación

2. Evaluación

Qué es una evaluación

Para qué sirve evaluar

Tipos de evaluación

Necesidades

Teoría de cambio

Diseño

Procesos

Resultados

Impacto

La evaluación y las decisiones de política pública



Índice

3

1. Monitoreo


Diseño

Implementación

Análisis

Publicación

2. Evaluación




Necesidades

Teoría de cambio

Diseño

Procesos

Resultados

Impacto




4

El Monitoreo es el análisis periódico de la ejecución del programa para establecer el grado en que las actividades, procesos, bienes/servicios y el cumplimiento de metas está de acuerdo con lo planificado

Monitoreo: ¿Las obras se están

ejecutando en tiempo y forma?

¿Se cumplen las reglas de operación?

Evaluación: ¿El programa resulta en una

mayor provisión de agua potable vs. una situación en la

que el programa no existe?

Proceso continuo que permite contar con información oportuna sobre si los bienes y servicios se están

entregando como se tenía planeado.

Mide el desarrollo y los productos de un programa en comparación con sus metas y cronogramas.

Verifica que los procedimientos siguen lo establecido en los documentos normativos.

Seguimiento a información financiera (avances en la aplicación de los recursos públicos) y de desempeño

(acciones ejecutadas, resultados alcanzados).

Se diferencia de la evaluación en que el monitoreo pretende supervisar los procesos y la operación de un

programa, mientras que la evaluación en general busca determinar si los objetivos se están cumpliendo.

Monitoreo

Ejemplo: Programa de Desarrollo de Zonas Prioritarias (PDZP) Financia la provisión de infraestructura social pública (agua potable, drenaje, electrificación, etc)

Monitoreo vs evaluación



Evaluación y Monitoreo están estrechamente relacionados pero no son sinónimos

5

Componente Monitoreo Evaluación

¿Qué es? El levantamiento y análisis de información relativa a la operación del programa, que permita

determinar si se cumplen las reglas de operación del mismo, y si las actividades están alineadas a la

consecución de los objetivos.

El levantamiento y análisis de información que permita saber si un programa está bien

diseñado y si cumple con sus objetivos finales.

¿Cuál es su objetivo? Controlar la ejecución y realizar el seguimiento de la gestión operativa y estratégica.

Valorar el diseño, los resultados y los impactos del programa.

¿Cuál es su periodicidad? Permanente y periódica. Puntual.

¿Quién es el responsable de su ejecución?

Normalmente equipo interno. Óptimamente se lleva a cabo por agentes externos con el fin de eliminar conflictos de

interés y garantizar la independencia del análisis.

¿Cuándo se lleva a cabo? Durante toda la ejecución del programa. En distintos puntos de la ejecución del programa; normalmente una vez que éste ha

alcanzado estabilidad operativa.

Fuente: Elaboración propia con insumos de: Mercedes Di Virgilio y Romina Solano, “Monitoreo, evaluación de políticas, programas y proyectos sociales”, Buenos Aires, 2012, CIPPEC y UNICEF.



6

El monitoreo permite identificar focos rojos y posibles fallas en el programa

Importancia del monitoreo

Identifica los desvíos existentes con respecto a lo programado. Es importante tomar el diseño del programa como la base y comparar el programa per se con el plan inicial.

1

Fuente primordial de aprendizaje. El monitoreo es fundamental para la toma de decisiones a mediano y largo plazo y constituyen una fuente primordial de aprendizaje para los gobiernos y los gestores de políticas y programas.

2

Identifica fallas en el programa. Indica si las cosas se están haciendo bien, si se están haciendo mal y qué es lo que hizo que no se hicieran correctamente o de acuerdo a lo planeado.

3



Índice

7

1. Monitoreo


Diseño

Implementación

Análisis

Publicación

2. Evaluación




Necesidades

Teoría de cambio

Diseño

Procesos

Resultados

Impacto




El monitoreo está compuesto por cuatro distintas etapas:

8

Fuente: Ernesto Cohen y Rodrigo Martínez, “Manual: formulación, evaluación y monitoreo de proyectos sociales”, División de Desarrollo Social, CEPAL.


Para realizar un monitoreo y seguimiento adecuado del programa, es necesario contar con un plan de monitoreo que debe ser acordado entre los diferentes actores involucrados. Es importante que este plan sea definido desde el diseño del proyecto.

La credibilidad de las conclusiones y los análisis depende, en gran medida, del modo en que se lleva a cabo el monitoreo y seguimiento del programa. Es importante que las herramientas utilizadas para monitorear sean las adecuadas. El buen diseño del monitoreo es fundamental para la correcta implementación del mismo.

Una vez concluido el monitoreo, la información recabada debe ser procesada y analizada mediante instrumentos y coeficientes estadísticos.

La publicación y difusión de los resultados del proceso de seguimiento y monitoreo permite el aprendizaje y evita repetir errores. La información generado por el proceso de monitoreo debe ser transmitida a los actores para quienes esa información resulte relevante.

Diseño del plan de monitoreo 1

Implementación del monitoreo 2

Análisis de los resultados 3

Publicación de los resultados 4



Índice

9

1. Monitoreo


Diseño

Implementación

Análisis

Publicación

2. Evaluación




Necesidades

Teoría de cambio

Diseño

Procesos

Resultados

Impacto




El diseño de un plan de monitoreo está compuesto por cinco elementos

10

Fuente: Ernesto Cohen y Rodrigo Martínez, “Manual: formulación, evaluación y monitoreo de proyectos sociales”, División de Desarrollo Social, CEPAL.

Etapas del diseño de un monitoreo

Definición de las preguntas

relevantes de acuerdo a la

naturaleza del programa

Definición de fuentes

apropiadas de información

para las preguntas

Diseño muestral del monitoreo

Planificación de la logística del

monitoreo

Diseño de los instrumentos

para el monitoreo



Como parte del diseño del monitoreo es importante definir las preguntas relevantes de acuerdo a la naturaleza del programa

11

Definición de las preguntas relevantes de acuerdo a la naturaleza del programa 1

• Ejecución oportuna y con calidad de la construcción

• Entrega oportuna y documentada a las autoridades

• Estado de mantenimiento y operación

Financiamiento de obras

• Confiabilidad de padrones

Provisión de servicios


Apoyo directo, en efectivo

• Oportunidad en entrega de recursos a beneficiarios

• Orden y minimización de costos en los eventos o vías de pago

• Satisfacción de los beneficiarios

• Calidad y oportunidad del servicio prestado

• Suficiencia de personal operativo y de supervisión

Tipo de apoyos del programa

Elementos a monitorear (no exhaustivo)



Como parte del diseño del monitoreo es importante definir las preguntas relevantes de acuerdo a la naturaleza del programa

12

Definición de las preguntas relevantes de acuerdo a la naturaleza del programa 1




Financiamiento de obras





• ¿Las obras existen? ¿Fueron terminadas? ¿En las fechas registradas?

• ¿Se entregaron al municipio?

• Después de uno o dos años de finalizadas, ¿siguen operando?

• ¿Recibieron los beneficiarios sus pagos bimestrales en las fechas acordadas en las Reglas de Operación?

• Los eventos de pago, ¿están organizados de forma lógica?

• ¿Cuánto tiempo “pierde” la gente en ellos? ¿Cuánto gasta para asistir?

• La gente que está registrada como receptora de un pago, ¿en realidad lo recibió?

• ¿La estancia cumple con los requisitos de seguridad?

• ¿La estancia cuenta con personal suficiente para cuidar a los niños de acuerdo a las Reglas de Operación?

• Los niños registrados como asistentes, y que por lo tanto originan un pago a la estancia, ¿en realidad asisten?








Ejemplos de preguntas a responder


(Oportunidades / Prospera)

Financiamiento de obras (PDZP)


(Estancias Infantiles)



Es importante definir las fuentes apropiadas de información para poder llevar a cabo el monitoreo de un programa

Definición de fuentes apropiadas de información para las preguntas 2




Financiamiento de obras (PDZP)



(Estancias Infantiles)



(Oportunidades / Prospera)



• ¿Las obras existen? ¿Fueron terminadas? ¿En las fechas registradas?

• ¿Se entregaron al municipio?

• Después de uno o dos años de finalizadas, ¿siguen operando?

• ¿Recibieron los beneficiarios sus pagos bimestrales en las fechas acordadas en las Reglas de Operación?

• Los eventos de pago, ¿están organizados de forma lógica?

• ¿Cuánto tiempo “pierde” la gente en ellos? ¿Cuánto gasta para asistir?

• La gente que está registrada como receptora de un pago, ¿en realidad lo recibió?

Ejemplos de preguntas a responder

• ¿La estancia cumple con los requisitos de seguridad?

• ¿La estancia cuenta con personal suficiente para cuidar a los niños de acuerdo a las Reglas de Operación?

• Los niños registrados como asistentes, y que por lo tanto originan un pago a la estancia, ¿en realidad asisten?

Revisión documental e inspección física

Inspección física

Inspección física

Fuente




Inspección física en eventos

Entrevista a beneficiarios

Revisión documental

Inspección física



Inspección física

Inspección física

13



Las muestras aleatorias permiten el monitoreo de un programa de una manera costo-eficiente

14

Normalmente, los programas apoyan a una población numerosa. Por lo tanto, no es costo-eficiente verificar la toda implementación del programa.

Las muestras aleatorias resuelven el problema verificación de todo el problema y convierten el proceso de monitoreo en uno costo-eficiente.

Diseño muestral del monitoreo 3

Muestras aleatorias

Definir la fórmula aplicable: cómo definir que sí y que no monitorear Ej. Para el monitoreo de los Programas de Desarrollo Social se utilizó la siguiente fórmula:

En donde: (n)= tamaño de muestra; (N)= tamaño del universo; (p)= % del universo restringido que posee la característica a estimar; (e)= (d/z); (d)= margen de error; (z)= nivel necesario para obtener la confianza deseada en la distribución normal.

Definir el universo: necesidad de verificar vs. el costo de hacerlo Ej. Algunas de las obras del PDZP son tan pequeñas que cuesta más el viaje a verificar que la obra (pero no todas).

1

2

Seleccionar la muestra: qué universo restringido es el que se va a monitorear Ej. Para el monitoreo de Estancias Infantiles se seleccionaron 32.3% de las estancias (2,388 de 7,407).

3

Prever cambios en la muestra: qué pasa si no se puede hacer una observación Ej. Por razones externas no se puede ir a visitar la estancia.

4

Muestra no costo-eficiente

Muestra restringida

Universo entero

Muestra final



Antes de implementar el plan de monitoreo es necesario tener planeada la logística que requerirá el mismo

15

Planificación de la logística del monitoreo 4

Periodo de verificación: ¿Cuándo es el momento apropiado para observar lo seleccionado? ¿Qué dificultades logísticas se pueden enfrentar? Ej. Accesibilidad, clima, situación social

1

Diseño de ruta: ¿En dónde va a empezar el monitoreo? ¿Cuál es la ruta más apropiada para llevarlo a cabo? Ej. Geografía, accesibilidad, tiempos

2

Recursos necesarios: ¿Qué se va a necesitar para llevar a cabo el monitoreo? ¿Qué se tiene que hacer para obtener los recursos necesarios? Ej. Asignar personal, rentar vehículos, gastos de viaje, registro de datos

3



En el monitoreo, existen múltiples instrumentos para recolectar la información necesaria

16

Diseño de los instrumentos para el monitoreo 5

Guías de entrevistas Entrevistas a beneficiarios

Le proveen al investigador insumos para realizar las entrevistas. Contienen preguntas descriptivas

(que evalúan el conocimiento), preguntas estructuradas (evalúan opiniones), y preguntas

de contrastación (evalúan el valor de situaciones).

Instrumento Método Descripción del instrumento

Cuestionarios Encuestas

Proporciona datos cuantitativos y permite su comparación. Facilita la sistematización de la

información proporcionada por un gran número de actores.

Guía de observaciones Verificación

física

Le proveen al investigador un listado de elementos a observar por medio del cual se

puede verificar la existencia de la obra / proyecto.



Índice

17

1. Monitoreo


Diseño

Implementación

Análisis

Publicación

2. Evaluación




Necesidades

Teoría de cambio

Diseño

Procesos

Resultados

Impacto




18

Para construir la evidencia es necesario recolectar información que permita responder a las preguntas y objetivos del monitoreo

Fuente: Ernesto Cohen y Rodrigo Martínez, “Manual: formulación, evaluación y monitoreo de proyectos sociales”, División de Desarrollo Social, CEPAL; Mercedes Di Virgilio y Romina Solano, “Monitoreo, evaluación de políticas, programas y proyectos sociales”, Buenos Aires, 2012, CIPPEC y UNICEF.

Es útil elaborar una matriz de datos que permita volcar la información obtenida y de esta manera responder a los objetivos planteados en el plan de monitoreo. Una matriz de datos es una tabla donde se carga la información relacionada con las distintas dimensiones del problema evaluado.

La recolección de información

El procesamiento de la información

Una vez que todos los pasos del diseño se han llevado a cabo comienza el proceso de recolección de información. Para que el proceso de monitoreo se ejecute con los menores obstáculos posibles, es necesario llevar a cabo las siguientes actividades.

Pedir los permisos necesarios

Adquirir/ pagar por los servicios que se necesiten

Decidir si se requiere acompañamiento de autoridades locales durante el proceso



Índice

19

1. Monitoreo


Diseño

Implementación

Análisis

Publicación

2. Evaluación




Necesidades

Teoría de cambio

Diseño

Procesos

Resultados

Impacto




20

Una vez procesada la información, se procede a la realización de un primer análisis de los datos, para identificar los nudos críticos. Existen diferentes instrumentos y coeficientes estadísticos que pueden facilitar el análisis de la información. Es necesario llevar a cabo dos tipos de análisis:

Los resultados del análisis de la información recabada permiten extraer conclusiones y recomendaciones

Fuente: Ernesto Cohen y Rodrigo Martínez, “Manual: formulación, evaluación y monitoreo de proyectos sociales”, División de Desarrollo Social, CEPAL; Mercedes Di Virgilio y Romina Solano, “Monitoreo, evaluación de políticas, programas y proyectos sociales”, Buenos Aires, 2012, CIPPEC y UNICEF.

Análisis de la información

Comparar lo realizado respecto a lo programado. Consiste en cuantificar la diferencia y analizar sus causas. Los desvíos pueden deberse a problemas en el diseño, fallas en la operación y/o cambios en el contexto. Comparar los resultados de distintos períodos. Es la construcción de una serie histórica con los datos correspondientes a cada período de la gestión. Permite identificar las variaciones entre períodos para analizar posibles causas o estacionalidades en la gestión.

Tipos de comparaciones

No hay ningún ejercicio perfecto. Es importante tomar en cuenta los:

• Posibles sesgos selección muestra • Posibles sesgos derivados del instrumento • Posibles sesgos de la vía de recolección

Identificar limitaciones



Índice

21

1. Monitoreo


Diseño

Implementación

Análisis

Publicación

2. Evaluación




Necesidades

Teoría de cambio

Diseño

Procesos

Resultados

Impacto




22

En este último paso, se debe elaborar algún tipo de producto o documento como resultado del proceso de monitoreo, orientado a comunicar los resultados a los actores involucrados en el programa. Cualquier tipo de informe de un proceso de monitoreo debe incluir, por lo menos, los siguientes elementos:

Fuente: Mercedes Di Virgilio y Romina Solano, “Monitoreo, evaluación de políticas, programas y proyectos sociales”, Buenos Aires, 2012, CIPPEC y UNICEF.

Es posible desarrollar diferentes tipos de reportes o documentos según el tipo de actor al que éste va dirigido

Hechos sociales de interés, impactos deseados, balance entre ambos, factores clave que incidirán en el logro de los resultados.

Hallazgos principales

Elaboradas a partir de los principales hallazgos de la investigación. Sintetizan sus principales aprendizajes y lecciones

Conclusiones extraídas

Pueden orientarse a distintos niveles: gestores de la intervención, organismos financieros que sostienen o auspician la intervención, responsables de alta jerarquía, destinatarios de la acción.

Recomendaciones o propuestas de

acción

Elementos de un reporte

Hacer explícitas las limitaciones del monitoreo. Pueden ser sesgos de selección de la muestra a monitorear, sesgos derivados del instrumento (en cuanto las respuestas del mismo), y/o sesgos de la vía de recolección, entre otros.

Limitaciones identificadas



Ejemplo: Monitoreo de programas de desarrollo social, Ejercicio 2008 (1/5)

El objetivo del monitoreo de los Programas de Desarrollo Social fue verificar la existencia, permanencia, funcionamiento y estado de mantenimiento de obras de infraestructura financiados durante 2006 por los siguientes programas de DS: 3x1 para migrantes, Programa de Desarrollo Local, Programa Empleo temporal y Programa de Apoyo a Jornaleros Agrícolas.

23

Diseño del plan de monitoreo

Con el fin de optimizar los recursos disponibles (presupuestales y humanos) se optó por enfocar los esfuerzos de seguimiento a las siguientes acciones:

• Obras de infraestructura cuya inversión federal reportada sea superior a 100 mil pesos. • Acciones de carácter productivo cuya inversión federal reportada fuera superior a los 60 mil

pesos;

Financiamiento de obra

Programa Universo total de acciones Universo restringido

Desarrollo local 3531 796

Empleo Temporal 3903 177

Opciones productivas 5045 956

3x1 para migrantes 1319 558

Atención a Jornaleros Agrícolas 888 204

Total 14,686 2,691

Determinación del universo restringido para la verificación física de programas

Fuente: Informe de seguimiento físico de Programas de Desarrollo Social y Humano. Dirección general de seguimiento. SEDESOL. Diciembre 2008




24

Diseño muestral

Normalmente los programas apoyan a población numerosa y no se verifica todo, para efectos de este programa se utilizó la siguiente muestra aleatoria

en donde: n = tamaño de muestra; N = tamaño del universo; p = porcentaje del universo que posee la característica a estimar; e = d / z; d es el margen de error y z = nivel necesario para obtener la confianza deseado en la distribución normal.

Programa Tamaño de la muestra

Desarrollo local 86

Empleo Temporal 62

Opciones productivas 87

3x1 para migrantes 82

Atención a Jornaleros Agricolas 66

Total 383

Después del diseño muestral se visitaron las siguientes obras





25

Proceso de Implementación

El proceso de seguimiento físico se realizó de la siguiente manera.

Se realizó la verificación con equipos de recopilación de información en campo, capacitándoles e en el llenado de instrumentos así como en aspectos generales del seguimiento físico. 1

Los equipos encuestadores viajaron a los estados correspondientes y de forma conjunta con los responsables del programa en las delegaciones del programa, definieron el itinerario de las visitas 2

Las Delegaciones estatales correspondientes proporcionaron el apoyo logístico para que cada verificador se trasladara a los proyectos asignados. En la visita de campo el verificador procedió a observar el funcionamiento, operación y condiciones físicas, registrando en la cédula los resultados y situaciones detectadas.

3

A cada visita, el verificador revisó la información consignada en las cédulas para identificar alguna omisión o dato impreciso y, finalmente, procedió a validar los datos recolectados. Se evaluaron los resultados obtenidos y se preparó un informe con la información obtenida.

4

Se capturó la información en un programa de análisis estadístico y se analizó cuantitativa y cualitativamente la información recabada en campo 5





26

Presentación de resultados

Estatus de la obra 3x1 PDL PAJA PET POP

Terminación Concluido 98 98 95 100 94

No concluido 2 2 5 0 6

Estado Físico de la obra Bueno 93 80 83 77 N.A.

Malo 7 20 17 23 N.A.

Operación

Opera 90 65 88 97 66

Parcialmente 1 18 12 0 8

No opera 9 17 0 3 26

Condicionamiento Si 0 0 0 0 7

No 100 100 100 100 93

Hallazgos principales

Recomendaciones o propuestas de

acción

Conclusiones extraídas

98% de las obras estaba concluidas; , asimismo el 80% de las obras se encontraban en plena operación.

El operativo de seguimiento físico para obras y acciones encontró resultados muy aceptables en cuanto a la terminación de las obras, su estado físico y el estado de operación.

Se debe procurar que los gobiernos municipales y estatales, vía acuerdos de coordinación o convenios especiales, se comprometan a darle buen uso y mantenimiento a las obras




Ejemplo: Monitoreo de programas de desarrollo social, Ejercicio 2008: Resultados (5/5)

27

El resultado del monitoreo halló que 76% de las obras o proyectos estaban en

operación.

Operación de obras o proyectos

Conclusión de la obra/proyecto

Se verificó que el 98% de las obras estaban concluidas

Presentación de resultados




28

Ejemplo: El Programa de Estancias Infantiles (PEI) realizó un ejercicio de monitoreo para mejorar los procesos de supervisión y del programa (1/5)

Objetivos:

1. Llevar a cabo una supervisión externa de una muestra aleatoria de las estancias del país, representativa a nivel nacional y estatal mediante la utilización de una cédula de observación, para verificar el cumplimiento de las Reglas de Operación.

2. Ofrecer sugerencias para mejorar los procesos de supervisión, incluyendo modificaciones concretas a la cédula de supervisión actual.

3. Ofrecer recomendaciones para la definición de atribuciones en materia de supervisión, que pudieran hacer más eficiente dicho proceso.

4. Entender mejor algunos aspectos del funcionamiento de las estancias .

Metodologías:

1. Monitoreo en campo: Supervisión física y entrevista a responsable a una muestra de 2,388 estancias (de una totalidad de 7,407 estancias, 32.2%).

• Instrumento: Cédula de supervisión que recopiló información sobre: • Perfil de las asistentes y responsables en las estancias, y utilidad de las capacitaciones • Tipo de alimentación (infraestructura, alimentos, higiene) • Costos de operación de las estancias y sostenibilidad del programa • Trato institucional y satisfacción con el programa • Documentación institucional • Las condiciones de seguridad en las estancias y en su entorno y “focos rojos” o incumplimiento de normas básicas de

seguridad e higiene • Características y condiciones físicas de la estancia y acceso a servicios básicos de la estancia

2. Entrevistas a profundidad con delegados de la Secretaría de Desarrollo Social (SEDESOL) y enlaces del DIF Nacional en 6 estados.

Fuente: Monitoreo en Campo Programa de Estancias Infantiles para Apoyar a Madres Trabajadoras. Informe Final. Elaborado por C-230 Consultores y FLACSO México



29

Ejemplo: Las responsables de la estancias tienen mayor escolaridad del mínimo exigido por las Reglas de Operación; la mayoría tiene experiencia formal de cuidado infantil y casi la totalidad han tomado los cursos de capacitación básica (2/5)

Grado de estudios de las responsables


Tiempo de experiencia formal previa en cuidado infantil

Se pudo constatar que la mayoría de las responsables (81.7%) sí tienen experiencia

formal previa cuidando niños

48.3% de las responsables han cursado (son pasantes) o completado estudios de licenciatura o posgrado. Únicamente 10.2% tienen sólo secundaria (el requisito mínimo).

Este ejercicio se hace cada cierto periodo de tiempo.

0.2% 0.6%

10.2%

15.2%

24.6%

2.7%

42.2%

3.9% 0.3% 0.2%

0%

10%

20%

30%

40%

50%

Número de observaciones: 2,385 estancias infantiles. Población representada: 8,660 estancias infantiles.

18%

23%

22%

21%

16%

Ninguna

Hasta 2

Entre 3 y 5

Entre 6 y 10

Más de 11




30

Ejemplo: Casi la totalidad de las estancias proporciona a los niños todos los alimentos que consumen durante el día (no solicitan alimentos llevados de casa) y cumple con el requisito de proporcionar dos alimentos calientes y un refrigerio (3/5)


• En casi todas las estancias los menús diarios están a la vista y en la mayoría de los casos coinciden con lo proporcionado el día del levantamiento.

• La mayoría de las responsables se basan en los lineamientos del DIF Nacional (manual) para la preparación de los alimentos (decisión de menús).

7.81% 4.0%

88.2%

No

Sí pero no coincide con losalimentos preparados

Sí y coincide con losalimentos preparados




31

Ejemplo: Las responsables están satisfechas con el Programa (4/5)


En general, las responsables asignan calificaciones superiores a 8 (en una escala del 1 al 10) en los temas relacionados con información, facilidad para abrir la estancia, satisfacción con el Programa y disposición a seguir trabajando.

9.4 9.3 9.0

8.7 8.2

7.8 7.6 7.2

6.7

0

1

2

3

4

5

6

7

8

9

10

Disposición aseguir

participando 8

Satisfacción conel Programa 7

Calificación alPrograma 6

Informacióncompleta sobre

derechos yobligaciones 2

Facilidad pararealizar los

trámites de inicio1

Apoyo por niñosuficiente 4

Rapidez en laentrega derecursos 5

Apoyo inicialadecuado 3

Seguridad depoder seguir con

la estancia infantil8

Satisfacción con distintos aspectos del Programa



32

Ejemplo: El Monitoreo además de comparar lo que “debe” ser con lo que sucede en la realidad, arroja recomendaciones para mejorar los procesos y la calidad de los bienes y servicios que el programa otorga (5/5)


Tema Recomendación

Capacidades: perfil del personal a cargo de los niños

Un porcentaje importante de las responsables no tomó el curso básico de manejo de finanzas, útil para el buen manejo de las estancias. Por lo que se recomienda impartir este curso a quienes aún están pendientes y asegurarse que el curso se imparta a las nuevas responsables (próximas aperturas). Según numerosos funcionarios estatales, no todas las capacitaciones tienen la calidad adecuada o suficiente. Se recomienda que la SEDESOL supervise este aspecto para determinar si la afirmación es correcta. De ser el caso, se recomienda que tenga una cercana supervisión de las capacitaciones impartidas o coordinadas por otras instituciones.

Alimentación Ya que las únicas personas que asisten de forma regular a las capacitaciones son las responsables, pero no son ellas necesariamente quienes preparan los alimentos, sería conveniente que las personas encargadas de la preparación de los alimentos en la estancia asistan al curso de menús y alimentos del DIF Nacional, para asegurar que los procedimientos de higiene y las consideraciones nutricionales lleguen a la persona indicada.

Trato institucional

Actualmente, la SEDESOL realiza cerca de una visita de supervisión cada 1.5 meses., es decir, todavía no se alcanza el ideal de una visita por estancia por mes. Se sugiere buscar opciones para la automatización de la información de la supervisión, lo que permitirá que un mayor número de personas estén en campo haciendo supervisiones y que éstas sean de mayor tiempo.

El Monitoreo debe ser un ejercicio continuo.



Índice

33

1. Monitoreo


Diseño

Implementación

Análisis

Publicación

2. Evaluación




Necesidades

Teoría de cambio

Diseño

Procesos

Resultados

Impacto




¿Qué es una evaluación?

34

Observación, medición, análisis e

interpretación

Conocimiento sobre una intervención pública (norma,

programa, política)

Juicio valorativo, basado en evidencias,

Toma de decisión

¿cómo asignar los recursos? ¿crear un nuevo programa o modificar uno

existente? ¿cuál es la mejor forma de entregar

un servicio?...

Definición de Evaluación

Proceso de recolección y análisis de información

La evaluación es el análisis de información recolectada sobre un programa para la valoración del diseño, resultados, cumplimiento con los objetivos finales e impacto del mismo.



Índice

35

1. Monitoreo


Diseño

Implementación

Análisis

Publicación

2. Evaluación




Necesidades

Teoría de cambio

Diseño

Procesos

Resultados

Impacto




Con la evaluación se aprende de la experiencia y se puede orientar la toma de decisión hacia la asignación eficaz y eficiente de recursos

36

Rendición de cuentas, transparencia y negociación política

Parte del material utilizado para esta diapositiva fue desarrollado por Innovations for Poverty Action (IPA) y el Abdul Latif Jameel Poverty Action Lab (JPAL).

¿Para que sirve evaluar?

1

2

Aprender sobre problemas complejos como la pobreza y el tipo de intervenciones necesarias para obtener mejores resultados.

Saber si lo que se está haciendo funciona, o no, y por qué.

Conocer si hay efectos en el bienestar de las personas y su magnitud.

Identificar si los efectos son los mismos para diferentes grupos de la población.

Identificar cómo mejorar el proceso de operación de un programa.

Recursos públicos. Es necesario informar a los ciudadanos sobre el uso de sus impuestos.

Presupuestación . Asignar más recursos a los programas que mayores beneficios aportan a la sociedad.

Oportunidad de aprendizaje. Mejorar el diseño y la operación del programa y/o detener el programa



Índice

37

1. Monitoreo


Diseño

Implementación

Análisis

Publicación

2. Evaluación




Necesidades

Teoría de cambio

Diseño

Procesos

Resultados

Impacto




Existe un menú de tipos de evaluación que responden a una gran variedad de preguntas

38

Preguntas que nos interesa responder

Etapa en el ciclo de una política pública o programa

Tiempo que lleva operando el programa

Información requerida y disponible

Restricciones de tiempo, recursos y capacidad técnica e institucional


Necesidades (diagnóstico)

Teoría de cambio (justificación conductual detrás del programa)

Diseño (sintonía del programa con sus objetivos)

Proceso ( o implementación )

Resultados (avances)

Impacto (causalidad)

Método de selección del tipo de evaluación

Seleccionar las herramientas de evaluación en función de:




Índice

39

1. Monitoreo


Diseño

Implementación

Análisis

Publicación

2. Evaluación




Necesidades

Teoría de cambio

Diseño

Procesos

Resultados

Impacto




La evaluación de necesidades identifica la naturaleza y el alcance de un problema, define la población objetivo y determina la atención que se necesita para hacer frente al problema

40

La evaluación de necesidades es equivalente al diagnóstico de un problema

Identifica la naturaleza del problema

Identifica el alcance del problema

Define la población objetivo

Determina la atención que se necesita para hacer frente al problema

Evaluación de necesidades

Se evalúa el contexto y la realidad sobre la que se quiere intervenir.

Preguntas a responder

¿Cuál es el problema que se quiere resolver?

¿Cuáles son las causas y efectos del problema?

Determinar la brecha entre la situación real y la situación deseada.

Fortalezas y debilidades de los programas y servicios disponibles

Recursos disponibles para atender el problema

¿Cómo se resuelve el problema?

¿Qué alternativas de solución hay?



Ejemplo: Agua contaminada a causa de actividades agrícolas

41

Alta incidencia de diarrea

Comida contaminada Mala higiene No hay infraestructura

de saneamiento

Escurrimiento de fertilizantes que están contaminando al agua

¿Cuál es la causa?

Si las fuentes que contaminan el agua potable están relacionadas con la agricultura, intervenciones en infraestructura de saneamiento, como baños y sistemas de

alcantarillado, podrían no resolver el problema.



Índice

42

1. Monitoreo


Diseño

Implementación

Análisis

Publicación

2. Evaluación




Necesidades

Teoría de cambio

Diseño

Procesos

Resultados

Impacto




La Teoría de Cambio evalúa que tan bien o mal está explicada la justificación conductual detrás del diseño de un programa

43

¿La intervención responde a los objetivos del programa?

¿La cadena causal es coherente y lógica?

¿Un taller de dos horas va a cambiar conocimientos vs conductas de las personas?

¿Para que A mejore D, primero está afectando B y C?

¿Esta vivienda con piso de cemento va a reducir la diarrea?

Teoría de cambio


Evalúa la explicación de la justificación conductual detrás del diseño de un programa

Evalúa si la cadena causal del programa es coherente y lógica

A Intervención

B Efecto ¿Cuáles son los mecanismos?

Insumos / Actividades

Productos Resultados

intermedios



Ejemplo: Indicadores del Programa de Inclusión Laboral Juvenil, por componente de la Teoría de Cambio

44

Teoría de Cambio

Indicadores

Ingreso promedio de jóvenes

beneficiarios

Tasa de desocupación

Porcentaje de jóvenes que ingresaron al mercado laboral

Porcentaje de jóvenes que permaneció en su empleo por más de un

año

Número y tipo de habilidades

desarrolladas por beneficiario

Número de beneficiarios

Número de apoyos ofrecidos

Número de talleres de capacitación

ofrecidos

Se reduce el número de jóvenes que viven

en situación de pobreza

Objetivo a largo plazo

Se mejoran los niveles de inserción,

permanencia e ingreso laboral de las y los jóvenes

urbanos en situación de

pobreza

Efecto

Desarrollo de habilidades

socioemocionales y soft skills como la

responsabilidad, el trabajo en equipo y

la comunicación, entre otras.

Resultados intermedios

Asistencia y aprovechamiento del entrenamiento

en el salón de clases y de la experiencia

práctica

Productos

Capacitación en salón de clases y en

empresa

Insumos / Actividades

Entrega de materiales escolares

y becas para transporte y manutención

Proyecto: Programa de Inclusión Laboral Juvenil. Necesidades: Las y los jóvenes urbanos presentan bajos niveles de inserción, permanencia e ingreso laboral. Objetivo a largo plazo: Reducir el número de jóvenes que viven en situación de pobreza.



Índice

45

1. Monitoreo


Diseño

Implementación

Análisis

Publicación

2. Evaluación




Necesidades

Teoría de cambio

Diseño

Procesos

Resultados

Impacto




La evaluación de diseño examina hasta qué punto las características de la intervención o programa sirven a sus objetivos

46

¿Se identifica el problema o necesidad que busca atender?

¿Se cuenta con un diagnóstico del problema que describa la causas, efectos y características del problema y

que cuantifique la población que presenta el problema?

¿Se cuenta con una justificación teórica o empírica que sustente el tipo de intervención que el programa lleva?;

y ¿la justificación es consistente con el diagnóstico?

¿Existe definición y cuantificación de las poblaciones potencial y objetivo?

¿Se vincula a los objetivos establecidos en los documentos de planeación sectorial, nacional, internacional?

¿Existe una Teoría de Cambio y sigue una lógica?

¿Los indicadores de la Teoría de Cambio son claros, medibles, relevantes, monitoreables?

¿Con qué otros programas y en qué aspectos el programa evaluado tiene complementariedades o

duplicidades? Fuente: Modelo de Términos de Referencia para La Evaluación en Materia De Diseño, CONEVAL

Evaluación de diseño


Determina si las características de la intervención responden a las necesidades de la población objetivo.

Analiza si las características de la intervención toman en cuenta las restricciones de capacidades (financieras,

humanas e institucionales) y las realidad políticas de sus contextos.



Ejemplo: Financiera Rural (FinRural) operó cuatro programas de subsidios. Cuenta con un documento diagnóstico que no identifica el problema que pretende resolver cada programa

47

Fuente: Evaluación de Consistencia y Resultados 2011 Programa para la Constitución de Garantías Líquidas

Programa de Reducción de Costos al Acceso al Crédito (PRCAC)

Programa Integral de Formación, Capacitación y Consultoría para Productores e Intermediarios Financieros Rurales (PI)

Programa para la Constitución de Garantías Líquidas (PGCL)

Programa para la Constitución y Operación de Unidades de Promoción de Crédito (PCOUPC)

FinRural contó con un documento denominado “Programas de Apoyo para Acceder al Crédito y Fomentar la Integración Económica y Financiera

para el Desarrollo Rural”, que contenía cierta información análoga a la necesaria en un

Diagnóstico.

Sin embargo, dicho documento correspondía a un análisis de la problemática general del crédito en el

sector rural; no identificaba el problema que el PRCAC, el PI, el PGCL y el PCOUPC – en específico –

buscaban resolver



Ejemplo: Se documenta la problemática general, pero no el problema específico que da lugar a la existencia de cada programa de Financiera Rural

48

Análisis de la problemática general del crédito en el sector rural

Definición de Población Objetivo por Programa sin identificación de la Problemática específica a resolver

0

10,000

20,000

30,000

40,000

50,000

60,000

1983 1985 1987 1989 1991 1993 1995 1997 1999 2001 2003

México: Crédito otorgado al sector agropecuario Millones de pesos de 1993, 1983-2004

Banca de desarrollo Banca comercial Total

1994 corresponde al

año en que se alcanza

el máximo en la

disponibilidad de

crédito para el sector

agropecuario l

A partir de 1989, el crédito

otorgado por el Estado

inicia su caída

Fuente: Evaluación de Consistencia y Resultados 2011 Programa para la Constitución de Garantías Líquidas



49

Ejemplo: Se identificaron duplicidades y complementariedades entre programas de la Administración Pública Federal y la Financiera Rural

• Se identificó que los programas de apoyo muestran complementariedad con programas operados por la Secretaría de Agricultura, Ganadería, Desarrollo Rural, Pesca y Alimentación (SAGARPA).

• Se identificaron relaciones de duplicidad en función del

tipo de apoyos que otorgan los programas específicos operados por FIRA y Financiera Rural como agentes técnicos en contraste con otros programas que otorgan apoyos similares y que son operados por otras dependencias federales.

• Se identificó que tanto el Banco del Ahorro Nacional y

Servicios Financieros (BANSEFI) como la Secretaría de Economía (SE) otorgan apoyos del mismo tipo a través de tres programas: BANSEFI: el Programa de Apoyo para Fomentar la Inclusión Financiera y el Fortalecimiento del Sector de Ahorro y Crédito Popular; SE: el Programa del Fondo de micro financiamiento a Mujeres Rurales (FOMMUR), al igual que el Programa de Fomento Tecnológico Esquema de Fortalecimiento de las Competencias Financiera y Empresarial para Intermediarios Financieros no Bancarios.

Fuente: Evaluación de Consistencia y Resultados 2011 del Programa para la Constitución de Garantías Líquidas

Se recomienda diseñar esquemas en los programas de financiamiento que promuevan, de manera coordinada, una cultura financiera entre productores del medio rural y los temas relacionados con las formas de acceder a los instrumentos financieros.



Índice

50

1. Monitoreo


Diseño

Implementación

Análisis

Publicación

2. Evaluación




Necesidades

Teoría de cambio

Diseño

Procesos

Resultados

Impacto




La evaluación de procesos analiza el cumplimiento de las operaciones del programa, la implementación y la entrega de servicios

51

Se planeaba entregar: Se entregó: Se planeaba un proceso ágil: Lo que sucedió:

¿Cuáles son en realidad los pasos y actividades en la entrega del bien o servicio? y ¿qué tan cercanos son estos

pasos y actividades a la operación planeada?

¿El mismo servicio puede ser entregado a un menor costo? ¿Sustituyendo insumos caros con alternativas más

baratas?

¿Los servicios son recibidos por la población relevante (focalización)? ¿Las personas están acudiendo a

nuestros servicios? ¿Cuáles personas sí y cuáles no?

¿Lo que está sucediendo en la práctica se desvía de lo que está establecido en el plan?

Evaluación de procesos

Evalúa la diferencia entre la planeación y la operación de las actividades.




Diferencia entre evaluación de procesos y monitoreo

52

El monitoreo tiene el propósito de observar los procesos y/o resultados de un programa de manera sistemática y de manera continua en el tiempo.

La evaluación de procesos conlleva un ejercicio s para identificar “cuellos de botella” y para entender cómo se está implementando cada uno de los pasos del programa.

?

1

2

9 Levantamiento Levantamiento Levantamiento Levantamiento Levantamiento Levantamiento

Mar Abr May Jun Jul Ago Sep Oct Nov Dic Mar Abr May Jun Jul Ago Sep Oct Nov Dic Mar Abr May Jun Jul Ago Sep Oct Nov Dic

• ¿Operación conforme a manuales? • ¿Se está atendiendo a población objetivo? • ¿La cantidad y tiempo de entrega? • ¿Los procedimientos son los óptimos? • ¿Existen cuellos de botella? • ¿Las responsabilidades están bien

asignadas? • ¿Recursos humanos, financieros, materiales

suficientes? • ¿Qué tan costoso es para los usuarios el

procedimiento para recibir el apoyo? • ¿Los beneficiarios están satisfechos?



53

Fuente: Reporte de Consultoría

Ejemplo: Se identificaron áreas de oportunidad para mejorar la operación del programa de transferencias condicionadas en Perú

Área Hallazgo Consecuencias

Normatividad Existen directrices individuales por proceso, emitidas en fechas diversas y por áreas distintas, en lugar de sólo un documento que explique de forma integral el proceso operativo del Programa.

• El hecho de que distintas áreas puedan emitir directrices separadas provoca un exceso de requerimientos, toda vez que cada área trata de maximizar la información que puede obtener de los responsables de las actividades.

• La diversidad de directrices hace necesaria la emisión de documentos normativos adicionales que buscan condensar, conciliar y priorizar los requerimientos derivados de las primeras.

Capacidad operativa

El número de Gestores Locales (GLs) es bajo para la carga operativa que tienen asignada.

La razón de gestores/hogares a su cargo rebasa la cifra que se requeriría para una operación adecuada.

Al menos 46% del tiempo de los GLs es dedicado al proceso de verificación de corresponsabilidades.

El sistema aplicado – en el cual son los GLs los que transportan los formatos de verificación a las unidades de salud y escuelas, llenan los formatos y capturan su información – es altamente ineficiente si se le compara con la alternativa natural: que los médicos y maestros hicieran el llenado de los formatos, y los enviaran a las oficinas regionales del Programa.

La carga de información de corresponsabilidades, en el sistema informático, se realiza en pantallas de captura y exclusivamente mediante conexión a web.

Dado que el sistema informático está basado en web, y que la alimentación de información es mediante pantallas de captura, los GLs pueden ejecutar la actividad completa de captura sólo cuando tienen acceso a internet. Además, dado que todos los GLs realizan las labores de recolección de formatos y alimentación de información en las mismas semanas, el sistema se satura, generando problemas de acceso, así como de guardado (y la consecuente necesidad de recapturar información).



Índice

54

1. Monitoreo


Diseño

Implementación

Análisis

Publicación

2. Evaluación




Necesidades

Teoría de cambio

Diseño

Procesos

Resultados

Impacto




La evaluación de resultados mide los cambios en el programa

55

Tiempo

Avances; cambios

Intervención

Var

iab

le d

e in

teré

s

Esta diapositiva fue desarrollada por Innovations for Poverty Action (IPA) y el Abdul Latif Jameel Poverty Action Lab (JPAL).

El resultado es la diferencia que se observa en un grupo de tratamiento antes y después de la política pública implementada.

Evaluación de resultados



56

En una evaluación de resultados no es posible atribuir los cambios observados en los beneficiarios a su participación en el programa

t0 Línea base

t1 Seguimiento

• Qué condiciones presentaban los beneficiarios antes de recibir el bien o servicio • Se puede recabar la información en t0 o bien, preguntar en retrospectiva en t1 sobre las condiciones que

tenían en t0.

De t0 a t1 pudieron pasar muchas cosas ajenas al programa que influyen sobre las variables de resultado: • La economía creció • Se crearon fuentes de empleo • Participación en otros

programas con objetivos relacionados con empleabilidad

Si un recién graduado de un programa de capacitación laboral obtiene empleo, ¿es un resultado directo del programa o habría encontrado empleo de todas formas?

Línea Base

Seguimiento

• Se investiga cómo han cambiado las condiciones de los beneficiarios después de un determinado tiempo (t1) de estar expuesto o de haber estado expuesto al programa.

Entonces, ¿qué se debe al programa y qué a las otras cosas que sucedieron? No es posible separar los efectos



57

• Del padrón de beneficiarios del programa se seleccionó una muestra de beneficiarios − De 585,392 viviendas se seleccionaron 1,560 casos . − Como no se hizo un levantamiento previo para tener una línea base, las preguntas se hicieron

sobre el estado actual y sobre el estado anterior al haber recibido el apoyo: enfoque retrospectivo.

Fuente: Informe de la Evaluación Específica de Resultados Intermedios y de Seguimiento, FONHAPO.

Ejemplo: La evaluación de resultados para un programa de vivienda examinó aspectos relacionados con la vivienda antes y después del recibir el apoyo

Pregunta: En una escala donde 1 es PÉSIMO y 5 es

MUY BUENO, ¿cómo calificaría el siguiente aspecto de su vivienda

actualmente? Y antes de recibir, ¿cómo lo calificaba?



58

Ejemplo: La evaluación de resultados para un programa de vivienda examinó aspectos relacionados con la vivienda antes y después del recibir el apoyo

Fuente: Informe de la Evaluación Específica de Resultados Intermedios y de Seguimiento, FONHAPO Nota. Los tabulados corresponden a los beneficiarios de vivienda nueva, es decir, no se incluye aquellos que recibieron mejoramientos y/o ampliaciones.

% de viviendas, según material de las paredes

% de viviendas, según material del techo

% de viviendas, según material del piso



Índice

59

1. Monitoreo


Diseño

Implementación

Análisis

Publicación

2. Evaluación




Necesidades

Teoría de cambio

Diseño

Procesos

Resultados

Impacto




La evaluación de impacto toma en cuenta el contrafactual para medir el impacto que tuvo el programa

60


Qué ocurrió (con el programa) y Qué habría ocurrido (sin el programa) =IMPACTO del programa

La evaluación de impacto mide la diferencia entre lo que ocurrió y lo que habría ocurrido sin el programa.

Evaluación de impacto

¿Cómo ha cambiado el bienestar de los beneficiarios a causa del programa?

¿Los efectos son atribuibles al programa, o hubieran ocurrido de todas formas?


¿Cuál es el efecto del programa de “becas de capacitación laboral” en el empleo de jóvenes?

¿Cuál sería el nivel de empleo si no existiera el programa?

¿Cuál es el efecto del programa de deportes escolares en los índices de obesidad infantil?

Para estimar esta diferencia, necesitamos entender qué habría ocurrido sin el programa… a este escenario hipotético se denomina contra factual.

Ejemplos de preguntas del programa de inclusión laboral



Impacto: ¿Qué es?

61


Tiempo

Impacto

Intervención

Var

iab

le d

e in

teré

s

El impacto del tratamiento es la diferencia neta entre las tendencias del grupo de tratados y el de control

Evaluación de impacto



Impacto: Escenario #2

62

Impacto

Tiempo

Intervención

Var

iab

le d

e in

teré

s




63

Fuente: Reporte de Consultoría

Establecer impacto es establecer causalidad

• En una evaluación de impacto es necesario establecer que los cambios identificados son atribuibles al programa.

• Cuando se responde una pregunta de impacto, es necesario comparar lo que ocurrió con lo que hubiese ocurrido sin el programa.

• El escenario hipotético sobre qué hubiera ocurrido, se le conoce como contrafactual.

Nota: No se puede observar a una misma persona siendo beneficiaria y no siendo beneficiaria,

para comparar cómo le fue al participar en el programa y cómo le hubiera ido sin participar.

Actividades realizadas como parte del programa. Ej. Apoyos económicos,

becas, leche fortificada

Servicios

Cambios en las condiciones de los beneficiarios (en el corto, mediano y largo

plazo), medidos como los cambios en determinadas variables de impacto (o variables de resultados intermedios)

Causas Efectos

Causalidad



64

En la evaluación de impacto, los cambios encontrados pueden ser previstos o no previstos y pueden ser positivos o negativos

Los impactos son previstos cuando se han formulado hipótesis sobre ciertos cambios que el programa podría generar en los beneficiarios con base en los objetivos del programa, diagnósticos y evaluaciones de impacto.

Ej. Transferencia condicionada a asistencia escolar Aumento en años de escolaridad

Los impactos no previstos son cambios en el bienestar de los beneficiarios, también atribuibles al programa, pero que no habían sido considerados en las preguntas de evaluación o en el diseño del programa.

Ej. Transferencia condicionada a asistencia escolar Reducción en la oferta laboral de los padres

Los impactos positivos son los cambios que representan una mejora en las condiciones de vida de los beneficiarios. Los impactos negativos son cambios no deseados que deterioran la vida de los beneficiarios.

Ej. Transferencia condicionada a asistencia escolar Reducción en el tiempo disponible para ocio

……………………………… … de las madres de familia

Impactos previstos

Impactos no previstos

Impactos positivos



65

El contrafactual representa el estado del mundo que participantes de un programa habrían experimentado en la ausencia del programa, no se puede observar

Solución: “construir” o “replicar” el contrafactual

M e t o d o l o g í a

Diseño experimental Asigna aleatoriamente a los individuos a dos

grupos: control o tratamiento

Diseño cuasi-experimental Con técnicas estadísticas que requieren el

cumplimiento de ciertos supuestos, se trata de replicar una asignación aleatoria para construir

un grupo de comparación



66

En un evaluación experimental se asigna aleatoriamente a las personas a un grupo de control o a un grupo de tratamiento

Después de un tiempo se mide la variable de resultado que sea de interés en ambos grupos, se comparan y la diferencia se atribuye al programa

VS

Tratados Control

Diseño experimental

1

2

3

Asignación aleatoria se refiere a que la pertenencia de una persona al grupo que recibe el programa o al que no lo recibe fue resultado del azar, por ejemplo, de lanzar una moneda o de una lotería.

Como resultado, la participación en el programa no depende de características de las personas, sino de la suerte.

Al inicio del experimento los dos grupos son en promedio equivalentes, tanto en características observables (edad, sexo, estado civil, escolaridad), como en características no observables (talento, motivación, auto estima).

4 Se introduce el único elemento que los hace diferentes, un grupo recibe el programa (tratamiento) y otro no (control).

5

Asignación no aleatoria

Sede Ingresos mensuales per cápita

1000

500

0 Tratamiento Comparación

1457

947

F

67 Esta diapositiva fue desarrollada por Innovations for Poverty Action (IPA) y el Abdul Latif Jameel Poverty Action Lab (JPAL).

Asignación aleatoria

Ingresos mensuales per cápita

1000

500

0 Tratamiento Comparación

1257 1242

Sede

F 68




69

Ejemplo: Se usó un diseño experimental para evaluar la efectividad de dar información a adolescentes sobre el riesgo de infección de VIH/SIDA (1/3)

• Kenia: 10° país africano por incidencia de VIH/SIDA.

• Los niños son vistos como una “ventana de esperanza” en la lucha contra el SIDA ya que su patrón sexual no está firmemente establecido.

• El currículo oficial escolar promueve la abstinencia como único método para prevenir el VIH/SIDA. La prevalencia del VIH es tres veces más alta entre mujeres adolescentes que entre hombres adolescentes.

• En la escuela no se explica que los adultos varones jóvenes tienen más probabilidad de tener el virus que los niños y adolescentes.

• Los hombres de 25 años tienen mucha más probabilidad de tener el virus VIH que niños adolecentes de 16 años. Esto significa que las relaciones sexuales con parejas mayores (a menudo llamados “Sugar Daddies”) son particularmente peligrosas para las niñas adolecentes.

• Hipótesis: brindar información a las mujeres sobre la prevalencia del VIH por género y edad puede reducir la incidencia de relaciones sexuales inter-generacionales sin protección.

Fuente: Poverty Action Lab http://www.povertyactionlab.org



70


Ejemplo: El tratamiento consistió en una plática de 40 minutos, con un video educativo de 10 minutos, una discusión abierta sobre el sexo transgeneracional y en escribir en el pizarrón las tasas detalladas sobre la prevalencia del virus VIH, desagregadas por género y edad.

• Tratamiento: Campaña de Información sobre el Riesgo Comparativo

• Grupo de tratamiento:

– De una muestra de 328 escuelas primarias que recibieron educación sobre VIH/SIDA, orientada sólo a la abstinencia, se eligieron aleatoriamente 71 escuelas que recibirían la “Campaña de Información sobre el Riesgo Comparativo”.

– La aleatoriedad garantiza que no habría una diferencia sistemática entre las escuelas de tratamiento y de control.

• Grupo de control:

– Es el resto de las 328 escuelas.

• Método de análisis:

– Se compara el impacto de los dos tipos de información otorgada: la del currículo oficial y la de la “Campaña de Información sobre el Riesgo Comparativo”.




71


La incidencia de embarazos se redujo, lo que sugiere que la intervención redujo la probabilidad de que las niñas se involucraran en sexo no seguro.

• La incidencia de embarazos se redujo en 28% (de 5,8% de niñas que se embarazan en un año a 3,9%). Esto sugiere que la intervención redujo la probabilidad de que las niñas se involucraran en sexo no seguro.

• Se redujo el sexo transgeneracional no seguro: la tasa de embarazo con hombres mayores en 5 o más años de edad cayó en 61%, sin aumento compensatorio en embarazos con parejas adolecentes.

• El método tuvo un costo de US$ 0.80 por estudiante y $90 por embarazo evitado.


¿Cuáles son los impactos del programa?



72

Las evaluaciones de impacto cuasi-experimentales se basan en técnicas que generan grupos de comparación que se asemejan al grupo de tratamiento

Ventaja de los experimentos: Dado que los miembros de los grupos (tratamiento y control) no difieren sistemáticamente al principio del experimento, cualquier diferencia que surja posteriormente entre ellos se puede atribuir al programa y no a otros factores.

Diseños cuasi experimentales

Los métodos cuasi-experimentales descansan sobre más supuestos para sostener que los grupos de comparación son

similares.

Pre-post: El contrafactual es la misma persona antes de la intervención.

Diferencia simple: El contrafactual son los no-participantes en el programa, comparados después de la

intervención.

Otros métodos que pueden aplicarse de forma rigurosa y que pueden proveer buena información: diferencias

en diferencias, matching, variables instrumentales, regresión discontinua.

Requieren mucha información estadística.

Métodos cuasi experimentales



73

Problemas con el método Pre-post: factores externos pueden ser responsables de los cambios en el bienestar de los beneficiarios

• En el caso Pre-post no es posible aislar otros factores que afectan los resultados.

• ¿Los niños crecieron por el maíz fortificado, o por el hecho de ser niños? • ¿La tasa de desempleo cayó entre los participantes de un programa de capacitación debido a los

conocimientos y destrezas que adquirieron en el programa, o como consecuencia del aumento en la tasa de crecimiento económico del país?

Método pre-post

Lo que sabemos con el pre-post:

Beneficio neto Efecto del programa

Factores externos

Beneficio neto Efecto del programa

Factores externos

Lo que queremos saber



74

Problemas con el método de diferencia simple: los individuos que deciden participar en un programa son distintos a aquellos que deciden no participar

• En un programa voluntario de capacitación para el trabajo, los participantes tienen características distintas a los no participantes.

• Las características en las que difieren, influyen sobre los resultados. • Los grupos no sólo son distintos en características observables, también en características no observables.

¿Los participantes consiguieron empleo sólo por el programa o porque eran jóvenes más motivados y con más educación que los que decidieron no participar?

Método de diferencia simple



¿Cómo difieren las evaluaciones de impacto a las de procesos?

75

Evaluación de procesos vs impacto

Procesos que funcionan no implica que el programa tenga impacto.

Procesos: Cuando respondemos una pregunta sobre procesos, debemos describir lo que ocurrió Esto se puede hacer mediante la lectura de documentos, entrevistas, archivos administrativos, monitoreo, etc.

1

Impacto: Cuando respondemos a una pregunta de impacto, es necesario comparar lo que ocurrió con lo que hubiese ocurrido sin el programa Hay distintas formas de llevar esto a cabo, pero todas tienen en común la necesidad de recrear lo que hubiese ocurrido sin el programa.

2



¿Cómo difieren las evaluaciones de impacto a las de resultados?

76

Evaluación de resultados vs impacto

Resultados: El programa ya terminó: ¿ocurrió el cambio esperado? ¿Cómo cambió la vida de las personas?

1

Impacto: El programa ya terminó: ¿el cambio es atribuible a la intervención? ¿Hay una relación demostrada de causa y efecto? ¿La vida de las personas cambió a causa del programa?

2

Resultados observados no implican que el programa tenga impacto.



77

Evaluación de resultados vs evaluación de impacto

Frecuentemente se utiliza el término evaluación de resultados como sinónimo de evaluación del impacto. Sin embargo, son distintas: La evaluación de resultados proporciona los efectos brutos.

La evaluación de impacto proporciona los efectos netos.

Var

iab

le d

e in

teré

s

Impacto

Intervención

b) El grupo de control aumentó también su

tasa de asistencia, pero en menor medida

El programa incrementa la asistencia de los beneficiarios

El resultado es la diferencia que se observa

en el grupo de tratamiento antes y

después de la intervención

El impacto del tratamiento es la diferencia neta entre las tendencias del grupo de tratados y el de control Resultado




Ejemplo: Programa “Aprendiendo a Leer” de PRATHAM

78

1. ¿Qué tipo de evaluación? 2. ¿Cuáles podrían ser los

problemas con este tipo de evaluación?

Fuente: www.pobertyactionlab.org


• Método de evaluación 1: “Pratham celebra el éxito de su programa; en menos de un año, los niveles de lectura de los niños que se inscribieron mejoraron de manera considerable.”



Ejemplo: Programa “Aprendiendo a Leer” de PRATHAM

79

1. ¿Qué tipo de evaluación? 2. ¿Cuáles podrían ser los

problemas con este tipo de evaluación?

Fuente: www.pobertyactionlab.org


• Método de evaluación 2: “Un equipo de evaluadores encontró que los niños que participaron en el programa terminaron con niveles de lectura menores que los de sus pares.”



Índice

80

1. Monitoreo


Diseño

Implementación

Análisis

Publicación

2. Evaluación




Necesidades

Teoría de cambio

Diseño

Procesos

Resultados

Impacto




81

La evaluación es un instrumento de información y ayuda a la decisión pública. No obstante, es sólo uno de los insumos que el hacedor de política usa para orientar sus decisiones

La fortaleza de la evaluación dependerá de su calidad y de la capacidad de incidencia en las decisiones de política pública.


Que sean estudios técnicamente rigurosos con objetivos claros

Que sean documentos “accesibles” y “cortos” para distintos públicos

Que obtengan resultados oportunos y disponibles en tiempos políticos

clave (negociación del presupuesto, antes de expandir un programa)

Que proveen recomendaciones

Elaboración de una evaluación

Es importante tomar en cuenta los siguientes elementos en el desarrollo de evaluaciones.



82

Las evaluaciones son preferentemente realizadas por actores externos al programa para evitar conflictos de interés. Por su parte, el monitoreo puede ser realizado por la institución a cargo del programa

Quienes toman la iniciativa de efectuar una evaluación pueden ser responsables pertenecientes a la institución o externos a ella, pero quienes realizan la evaluación deben ser externos para garantizar objetividad .

Como el objetivo del monitoreo es distinto, puede ser realizado por: • Supervisores de la ejecución de la misma institución (áreas de planeación, evaluación y seguimiento). • El área central encargada de la ejecución, interesada en conocer cómo se opera el programa por las oficinas

regionales o delegaciones.

Evaluación

Monitoreo

Monitoreo

Evaluador externo

Supervisores de la ejecución

Ejecutores centrales del programa

Ejecutor 2 Ejecutor 1 Ejecutor 3

Evaluación



83

Fuente: UNFPA, 2012.

El diseño, monitoreo y evaluación de un programa son etapas del ciclo de una política pública que están estrechamente relacionadas entre sí

Diseño del programa Si un diseño adecuado y una articulación clara de los resultados deseados, no está claro lo que se debe monitorear ni la forma de hacerlo; por lo que no se puede hacer bien el monitoreo. Si el diseño no es eficaz, la base para la evaluación es débil. Esto

provoca que la evaluación sea mal hecha.

Presentación de informes A menos que exista un diseño sólido y un monitoreo periódico, no puede haber una presentación de informes eficaz. Lecciones

aprendidas y análisis de la planificación informada a través de los informes presentados. La evaluación proporciona una base sustentada en evidencias para la presentación de informes de calidad.

Evaluación

La evaluación de un programa puede conducir a cambios en el programa.

Monitoreo

Sin un monitoreo cuidadoso, no se pueden recopilar los datos necesarios, por lo que no se

puede hacer una evaluación adecuada. El monitoreo puede conducir a cambios en el

diseño original del programa

84

Fundación IDEA www.fundacionidea.org.mx

manual de monitoreo, seguimiento y evaluación de …fundacionidea.org/assets/files/usa010/manual...

Documents