Sistema de Seguimiento y Evaluación

“Aprender para Mejorar”

Evidencias para mejorar el Desarrollo

Indice• Estrategia de Seguimiento y Evaluacion:

Principios generales, razones, contexto

• Elementos que la componen y pasos para implementarla y llevarla a cabo

• Consejos para mejorar los Marcos de Seguimiento y Evaluacion de los Programas Conjuntos

Rationale: ¿ Porque es necesario hacer Seguimiento y Evaluación?

• Es un requisito incluido en el acuerdo legal entre el Donante y el PNUD

• Es una obligación asumida en la firma de cada uno de los programas conjuntos

• Es necesario: Si se quiere cumplir con uno de los objetivos del fondo: Escalar los programas conjuntos y expandir las soluciones que funcionen en pro del progreso hacia alcanzar los ODM

• Es útil: Como parte del ciclo de gestión del programa y es la mejor forma de medir el progreso y detectar problemas, corregirlos, y aprender y mejorar

Quienes son los usuarios potenciales del Sistema de S&E

Cuales son sus necesidades de información?

Usuarios Necesidades de información del usuario Naturaleza de la información necesitada

Beneficiarios

Ciudadanos del país Bienes y servicios suministrados con calidadProblemas ciudadanos resueltosMejoras en la vida de los ciudadanos

Rendición de Cuentas

Gobierno del país asociado Capacidades creadas y conservadasBienes y servicios suministrados con calidadMejoras en la vida de los ciudadanos

Aprendizaje en la rendición de cuentas

Agencias de la ONU Capacidades fortalecidas/Mejora en la coordinación/Incremento en la efectividad Aprendizaje en la rendición de cuentas: Organizacional

Tomadores de decisiones

Comité ejecutivo El fondo está logrando los resultados planeados Aprendizaje para la Rendición de cuentaspara la toma de decisiones

Donante El Fondo está logrando los resultados planeados La asociación con el PNUD ha agregado valor al propósito

Rendición de cuentasAprendizaje para la toma de decisiones y comunicación de procesos

Público en General

Sociedad civil Cambio y mejora en la vida de las personas Rendición de Cuentas

Ciudadanos El dinero de los impuestos fue utilizado bien porque se generaron resultados Rendición de cuentas

Opinión pública/Medios El dinero de los impuestos fue utilizado bien porque se generaron resultados Rendición de cuentas

Gestores

Secretariado del MDGF Contribución de los programas para lograr la MDGContribución de los programas para la implementación de One UNContribución de los programas a la Declaración de ParísProgramas suministrados como se planearonResultados alcanzados con el programa

Rendición de CuentasAprendizaje para la toma de decisiones:OrganizacionalGeneral

Equipo de país de la ONU Programas suministrados como se planearonResultados alcanzados con el programa

Rendición de cuentasAprendizaje organizacional y general

5 Minutos de comentarios:

¿Nos dejamos a alguién atrás?

¿Estan reflejados las cuestiones mas importantes de los interesados ?

¿Que tipo de principios deben inspirar el sistema de S&E?

Principios

¿En que tipo de principios se basa el sistema de S&E?

• De acuerdo a los estándares de UNEG y CAD/OCDE

• Orientado a un equilibrio entre el aprendizaje y la rendición de cuentas

• Basado en evidencias: los datos, la información y el conocimiento son coherentes y contrastados y son la base para apoyar los juicios de valor y las conclusiones que se extraigan del S&E

• Naturaleza y caracter participativo

¿En que tipo de principios se basa el sistema de S&E?

• Basado en el principio de agregación: Elementos de S&E (indicadores, informes + evaluaciones, etc) las unidades de análisis van sumando unas otras en orden ascendente

• Objetivo principal de medir (DELTA), describir, analizar, comprender el objeto de estudio (PC) y usar los resultados para mejorar los programas y las políticas

¿Que dimensiones de analísis se deben medir y estudiar ?

¿Que preguntas debe responder el sistema de S&E?

En 5 minutos

¿ Cuales son las 3 preguntas mas candentes que deberia reponder el sistema de S&E?

Programas conjuntos Países

1er Nivel M&EProgramas conjuntos

2o Nivel M&EPaíses

Medioambiente y Cambioclimático

Igualdad de género Empoderamiento de la mujer

Cultura y desarrollo

Gobernabilidad económica democrática

Juventud, empleo y migración

Prevención de conflictos y construcción de la paz

Infancia, Nutrición y Seguridad alimentaria

Desarrollo y el sector privado

3er Nivel M&EVentanas

Aspectos de MonitoreoInsumo-Productos-Resultados-ProcesosDimensiones de Evaluación-Calidad de la formulación del programa-Objetivos alcanzados con el programa-Contribución a los ODMs yotros indicadores de desarrollo, género-Replicación: Ampliación-Innovación -Coordinación del sistema de la ONU-Unidos en la Accion-Apropiación-Alineamiento-Armonización-GPRD-Rendición de cuentas mutua-Cambio Delta, efectos en la vida delciudadano

Aspectos de Monitoreo-Resultados (UNDAF+PRS)-Procesos (Coordinación)Dimensiones de EvaluaciónEfectos inducidos en:

-ODM a nivel del país-Otros indicadores de desarrollo-Coordinación del sistema de la ONU-Unidos en la Acción-Apropiación-Alineamiento-Armonización-GPRD-Rendición de cuentas mutua-Países piloto

4to Nivel M&EFondo de implementación ODM

Aspectos de Monitoreo-ResultadosDimensiones de EvaluaciónCalidad de la colaboración España/PNUD:Valor agregado como mecanismo para lograr el progreso de las ODMs El papel del secretariado y valor agregadoEfectos inducidos en:-Vínculo de ventanas y ODMs-Otros indicadores de desarrollo-Coordinación del sistema de la ONU -Unidos en la accion-Apropiación-Alineamiento-Armonización-GPRD-Rendición de cuentas mutua-Efectos en la vida del ciudadano

Programas conjuntos

Programas conjuntos

Países

Países

Aspectos de Monitoreo-Resultados como acumulación de los PC-RH/Género/MedioambienteDimensiones de EvaluaciónNuevos temas: Cultura & migraciónEfectos inducidos en :-ODM a nivel del país-Otros indicadores de desarrollo(Paz y Cultura)-Coordinación del sistema de la ONU-Unidos en la Acción-Apropiación-Alineamiento-Armonización-GPRD-Rendición de cuentas mutua

Elementos que componen el sistema de SyE• Marcos de Seguimiento y evaluacion del PC: Incluyen

indicadores para medir progresos a nivel de producto y resultados. Indicaodres generales de coordinacion y tematicos

• Visitas de campo: para revisar los PC en profundidad, y preparar las evaluciones intermedias asi como diseminar lecciones aprendidas

• Evaluaciones (intermedias, finales y de impacto): para revisar y juzgar el valor de las dimensiones de estudio en cada nivel (PC, Pais, Ventana, FODM )

• Meta analisis/evaluaciones: para buscar y agregar evidencias solidas sobre las ventanas tematicas que sean conducentes a vincular estas con los ODM

• Otras fuentes: de datos informacion y conocimiento existentes (Sistema de Gestion del conocimiento, estudios de pais, etc)

Diferencias entre Seguimiento, Evaluación y Reporting

• Para el propósito del F-ODM, el seguimiento se define como un proceso continuo de recogida y análisis de información, sobre todo en indicadores importantes (es decir, al nivel de actividad, producto y resultado)

• La función de Información / informes/reporting, por el contrario, tiene el objetivo principal de cumplir con los requisitos de responsabilidad prescritos por el Memorando de Entendimiento del F-ODM firmado por el donante y el PNUD en nombre de las Agencias de las Naciones Unidas participantes

• Por otra parte, la Evaluación es la valoración de una intervención de desarrollo, planificada, en curso o completada para determinar su relevancia, eficiencia, eficacia, impacto y sostenibilidad.  

Caracteristicas de la Funcion de Seguimiento

• Se orienta hacia los resultados, es decir, su principal objetivo es informar acerca del progreso de las fases superiores de la cadena causal lógica, sobre todo los cambios que se han producido a nivel de producto y resultado.

• Es de naturaleza sustantiva, en lo que se refiere a la medición de cambios en los ciudadanos, las instituciones u otro tipo de participante en el programa.

• Tiene intención agregativa. Es el primer elemento de una cadena causal en sistema de aplicación más amplia que incluye evaluaciones a mitad de período y evaluaciones finales. El conjunto del sistema está orientado a aprender y a saber qué funciona y qué no para mejorar los programas conjuntos.

Informes de Seguimiento

• Informes de seguimiento cuyo principal objetivo consiste en ofrecer avances y tendencias sustantivas sobre diversas dimensiones del PC (resultados, productos, ejecucion financiera, etc)

• Frecuencia; Dos veces al ano, sustituyen a al segundo y cuarto informes trimestrales

• Responsabilidad del coordinador del programa conjunto, especialista en S&E, otros……

Indice del informe de Seguimiento

• Pagina de identificacion • Marco de S&E del Programa Conjunto • Marco logico de resultados con informacion financiera

(comprometido y desembolsado)• MDGF General Progress (indicadores y preguntas)

– Coordinacion + One UN (2 indicadores)– Declaracion Paris ( 1 indicador)– indicadores Tematicos (3 por ventana)

• Breves comentarios narrativos

Pasos a seguir en Seguimiento y Evaluación1. Mejora y adaptación del marco de S y E:

2. Facilitar la participación en las actividades de S y E

3. Recolección de una línea de base

4. Preparación de las visitas de campo para supervisión

5. Adaptación de los términos de referencia generales a las evaluaciones a mitad de período

6. Facilitación del proceso de evaluación a mitad de período

7. Implementacion de la evaluacion de medio termino: fases

8. Integración de recomendaciones: Plan de Mejora

9. Preparación de los términos de referencia para las evaluaciones finales

10.Realización y coordinación de la diseminacion de las evaluaciones finales, incorporación general de las recomendaciones y ampliación de los programas

Ventanas temáticas

1er Nivel M&EProgramas Conjuntos

2o Nivel M&EPaíses

3er Nivel M&EVentanas

4to Nivel M&EFondo de Implementación ODM

Programas conjuntos Países

MGDS

Productos de monitoreo

-2 informes trimestrales (1 y 3 trimestre)

--2 Informes de seguimiento

100% de los programas conjuntos sonvisitados en campo

Productos de monitoreo

- Informes de seguimiento

Productos de evaluación

-9 Evaluaciones país (caso de estudio)

Productos de evaluación

-Evaluaciones rápidas de medio plazo

(proceso y resultados iníciales)

-Evaluaciones finales

(diseño, proceso y resultados)

-Al menos 3 evaluaciones de impacto

(se prefiere diseño experimental o cuasiexperimental)

Productos de monitoreo

-24 indicadores temáticos de ventana

Productos de evaluación

-8 meta-análisis/meta-evaluaciones

Productos de Monitoreo

-1 informe a medio plazo basado enevidencias, enfocado en los F-ODM como

un todo.

-100% de los países recibieron visitasM&E

Productos de Evaluación

- 1 informe final basado en la evidencia enfocado en la F-ODM como un todo

tomado de datos primarios y secundarios

Ventanas TemáticasProgramas conjuntos Países

ODMS

Resultados M&E

-Cuerpo de evidencia cuantitativa y cualitativa sobre el diseño del programa, sus procesos, resultados e impactos.

-Recomendaciones para que los dirigentesmejoren los programas

-Información y criterios para el proceso detoma de decisiones del Secretariado

-Cuerpo de conocimiento sobre políticas yprograma para ampliar y transferir las mejores prácticas y lecciones aprendidas

Resultados M&E

-Cuerpo de evidencia cuantitativa y cualitativa sobre el país, procesos yefectos inducidos en los resultados e impactos de las políticas, así como los principios de la Declaración de París -Recomendaciones sobre políticaspara agencias gubernamentales asociadas y toma de decisiones del Secretariado-Abre un proceso de aprendizaje general a nivel del país-Cuerpo de conocimiento sobre políticas yprogramas para ampliar y transferir lasmejores prácticas y LL

Resultados M&E

-Cuerpo consistente de evidencia cuantitativa y cualitativa sobre temas ysectores, y sus efectos inducidos sobrelos logros ODM

-Robustas recomendaciones para gobiernos asociados, donantes, agenciasde desarrollo, Secretariado, etc.

-Cuerpo de conocimiento consistentey robusto sobre políticas para ampliar,transferencia de mejores prácticas, LL y

Resultados M&E

-Cuerpo consistente de evidenciacuantitativa y cualitativa sobre temas ysectores, y sus efectos inducidos sobre loslogros ODM

-Robustas recomendaciones para gobiernos asociados, donantes, agenciasde desarrollo, Secretariado, etc.

-Cuerpo de conocimiento consistentey robusto sobre políticas para ampliar,transferencia de mejores prácticas, LL y

Principales Resultados de S&E

Consejos para Mejorar los Marcos de Seguimiento y

Evaluacion

“Aprender para Mejorar”

Evidencias para mejorar el Desarrollo

Consejo#1: Tener en cuenta las necesidades de informacion de los interesados a traves de la participacion

• Etapa de diseno: Seleccionar las preguntas que el sistema de S&E debe cubrir

• Etapa de implementacion: Los interesados contribuyen con sus comentarios e informaciones a contrastar las evaluaciones intermedias y finales

• Plan de Mejora: Seguir la integracion de las mejoras y recomendaciones provinientes de las fases anteriores

Consejo #2: Concentrarse en medir el cambio. Los efectos en beneficiarios y su

vinculacion con UNDAF y ODM

• Refinar la teoria del cambio del PC y debatirla con los interesados y el equipo de gestion. Describirla y hacerla explicita.

• Definir con claridad los beneficiarios y como los PC van a tener un efecto sobre ellos

• Describir los vinculos de los PC y su contribucion al UNDAF y a los ODM en el contexto local.

Resultados

Productos

Actividades • Cursos de alfabetizacion se llevan a cabo

Insumos • Instalaciones, materiales, profesores

Impactos• Se incrementan los niveles

de renta y las posilidades de la poblacion de mejorar su empleo

Resultados • Los adultos saben leer y escribir. Encuentran empleo

Productos • Los adultos reciben las ensenanzas del curso de alfabetizacion

Actividades • Cursos de alfabetizacion se llevan a cabo

Insumos • Instalaciones, materiales, profesores

Impactos• Se incrementan los niveles

de renta y las posilidades de la poblacion de mejorar su empleo

Consejo# 3 Integridad de la unidad de analisis

• El PC la unidad basica de analisis, lo que significa que los que medimos es un todo no divisible en estructuras menores (grupos de actividades o productos llevados a cabo por diferentes actores) El proposito es medir el cambio inducido por el PC en si mismo, en su conjunto.

Consejo #4 Indicadores

• Numero de indicadores 3 o 4 indicadores por producto y resultado

• Cuantitativos: Numeros absolutos, %

• Cualitativos: perceptions, descriptions, etc

• Que sean relevantes a los diversos usuarios del sistema de S&E

• Usar proxies cuando no haya otras posibilidades

Consejo #5 Indicadores SMART

• Especifico: que sea una medida tan proxima com sea posible del producto o resultado que se intente medir (datos desagregados si es necesario)

• Medible: No ambiguedad en lo que se esta midiendo• Alcanzable: Sea tecnicamente posible obtener los

datos a un coste razonable• Confiable: Acuerdo generalizado sobre la

interpretacion de los datos obtenidos• En tiempo: Que los datos puedan ser recogidos con la

suficiente frecuencia como para poder informar del progreso e influir la toma de decisiones

Consejo #6 Lista de Chequeo para valorar potenciales indicadores

• Es el indicador…:

– Una medida lo mas directa posible del fenomeno que se quiere medir (producto/resultado)

– Suficientemente preciso para asegurar una medicion objetiva

– La forma mas practica y costo/efectiva para recoger datos

– Sensible a cambios en (producto/resultado) pero relativamente no afectado por otros cambios

– Posible de desagregar si fuera necesario

Consejo # 7 Linea de base

• ¿ Cuales son las fuentes de datos?• ¿ Cuales son los metodos de recogida de

informacion?• ¿ Quien recogera la informacion?• ¿ Con que frecuencia se recogeran los datos?• ¿ Cual es el coste y las dificultades de recoger los

datos?• ¿ Quien analiza los datos?• ¿ Quien informara de los datos?• ¿ Quien y como se usaran los datos?

Consejo # 8 Identificando fuentes de datos

¿ Se puede acceder a la fuente con seguridad y con la frecuencia necesaria?

¿ La fuente puede proporcionar datos de calidad?

• Primaria: recogida de datos por el personal de gestion del PC

• Secudaria: recogida de datos recogidos por organizaciones ajenas al PC

Consejo # 9 Metodos de recoleccion de la informacion

Consejo # 10: Papeles y responsabilidades de los diversos actores en la implementacion del sistema de S&E

• El equipo gestor de PC: Llevar a cabo el plan de S&E recogido en el documento de PC y facilitar las actividades del Secretariado.

• El Coordinador Residente de la ONU: facilitar los aspectos más políticos de los ejercicios de S y E en el país.

• El Secretariado: Asesora y ofrece apoyo a los equipos de gestion del PC al homogeneizar el seguimiento y la evaluación con productos, datos e informacion. Asegura la funcion de Gestion del Conocimiento. Coordina y financia las evaluaciones de medio termino.

III. Example of good outcome indicators

Examples

Examples