fondo español para la evaluación de impacto...
TRANSCRIPT
Informe de Evaluación del Programa delFondo Español para la Evaluación de Impacto (SIEF)
Informe final 1
2 de Junio de 2012
1 Este informe fue preparado por Osvaldo Nestor Feinstein, consultor independiente. Carlos Asenjo Ruiz otorgó contribuciones y respaldo muy importante. Laura Rawlings, Adam Ross, Paloma Acevedo y Carlos Asenjo Ruiz brindaron comentarios muy útiles para una versión anterior. Se agradece también a las personas entrevistadas por su tiempo y sus percepciones (mencionados en el Anexo II). Los puntos de vista expresados en este informe son los del autor y no representan los puntos de vista del Banco Mundial o del Gobierno de España.
0
ABREVIATURAS Y ACRÓNIMOS
BNPP Programa de Asociación Banco-Países Bajos TMC Transferencias Monetarias CondicionadasCAD Comité de Ayuda al DesarrolloDEC Vicepresidencia de Desarrollo Económico del Banco Mundial DIME Iniciativa para la Evaluación de Impacto en DesarrolloDFID Departamento para el Desarrollo Internacional DPI Desarrollo en la Primera InfanciaE2P Documentos de política pública basadas en Evidencias AF Año FiscalGdE Gobierno de EspañaDH Desarrollo HumanoHDN Red de Desarrollo Humano del Banco MundialHDNCE Oficina del Economista Jefe para el Desarrollo HumanoHDNSP Unidad de Protección Social de la Red de Desarrollo Humano HRITF Fondo Fiduciario para la Innovación en los Resultados de SaludBID Banco Interamericano de DesarrolloICM Memorando de Término de la ImplementaciónEI Evaluación de ImpactoIEG Grupo de Evaluación IndependienteMAEC Ministerio de Asuntos Exteriores y CooperaciónBDM Bancos de Desarrollo Multilaterales MEH Ministerio de Economía y HaciendaGpRD Gestión para Resultados de DesarrolloM&E Monitoreo y EvaluaciónAOD Asistencia Oficial para el DesarrolloR ResultadoCD Comité DirectivoSIEF Fondo Español para la Evaluación de Impacto 3ie Iniciativa Internacional para la Evaluación de ImpactoFF Fondo FiduciarioTDR Términos de ReferenciaLET Líderes del Equipo de TareasVP Vicepresidencia BM Banco Mundial
1
Índice de Contenidos
Resumen ejecutivo
1. Introducción
2. Diseño
3. Procesos
4. Resultados
5. Conclusiones y recomendaciones
Anexos
I Términos de referencia
II Lista de personas entrevistadas
III Lista de evaluaciones de impacto financiadas por SIEF y sus productos (Archivo Excel adjunto)
IV Matriz de estrategia basada en resultados de SIEF (archivo Excel adjunto)
V Cuestionario de los LET
VI Preguntas para las reuniones en España
VI Indicadores de desempeño clave y resumen financiero
2
Resumen ejecutivo
El informe de evaluación del SIEF busca ser un insumo para la posible continuidad y/o escalamiento de este programa, o para programas similares; para el informe del Memorando de Término de la Implementación (Implementation Completion Memorandum, ICM); y con el propósito de llevar un registro. La meta del informe es examinar hasta qué punto el SIEF ha logrado sus objetivos estratégicos. Además, este informe se atiene a lo establecido en el Acuerdo Administrativo celebrado en julio de 2007 por el Gobierno de España y el Banco Mundial (fundadores del programa del SIEF): “Dentro de los seis meses siguientes a la fecha del desembolso final especificada en el párrafo 10.1, el Banco deberá proporcionar al donante un informe final de las actividades del proyecto".
La metodología
La metodología utilizada en este informe consiste en una combinación de diferentes enfoques: evaluaciones “de escritorio” de la documentación del SIEF; entrevistas a informantes clave; una encuesta a los líderes del equipo de tareas (LET), que se incluye en el anexo V, de la cual se obtuvo un tasa de respuesta de un 75%; una revisión a la literatura de evaluación de impacto; y una visita a terreno en Argentina. Además, se utilizaron criterios de evaluación generalmente aceptados. Por último, un conjunto de preguntas de evaluación, que se incluye en los Términos de Referencia (TDR), sirvieron como pauta para diseñar el cuestionario y preparar este informe. Cabe señalar que este informe no pretende evaluar el impacto del SIEF. Sin embargo, se hará referencia a evidencias de la influencia del SIEF en políticas públicas.
El diseño
El fondo SIEF se creó en julio de 2007 como resultado de las negociaciones entre el Gobierno de España (Ministerio de Asuntos Exteriores y de Cooperación y Ministerio de Economía y Hacienda) y el Banco Mundial (Red de Desarrollo Humano). En esa época el Gobierno de España (GdE) tenía un superávit presupuestario de aproximadamente 2% del PIB y debía cumplir el compromiso de aumentar la AOD al objetivo de 0,7% del Ingreso Nacional Bruto estipulado por la ONU. Además, el Gobierno de España (GdE) estaba interesado en promover la evaluación de impacto tanto en los países en desarrollo como en su propio porfolio de colaboración internacional (en especial en el área del desarrollo humano) y consideró al Banco Mundial como líder en este terreno. Asimismo, el GdE estaba interesado en contribuir con la generación de evidencia rigurosa de las actuaciones en el área de desarrollo humano como un bien público global.
Para el 2005, en el Banco Mundial (como en otras agencias de desarrollo) se intensificó el interés por la evaluación de impacto, lo que respondía a las exigencias de evidencia creíble en los resultados de intervenciones en desarrollo. Por lo tanto, en julio de 2007, el Banco Mundial y el GdE fundaron el Fondo Fiduciario para la Evaluación de Impacto y la Gestión basada en Resultados en los Sectores de Desarrollo Humano o Fondo Español para la Evaluación de Impacto (SIEF). El fin de SIEF es apoyar la Evaluación de Impacto (EI) de programas
3
innovadores para mejorar los resultados del Desarrollo Humano (DH). Su fin ulterior es que las políticas de desarrollo sean más eficaces, gracias al incremento de la base de evidencias que de cuenta del impacto de acciones que influyen en el DH.
El GdE otorgó una donación de EUR 10,4 millones al SIEF, que el Banco recibió en un solo monto en octubre de 2007 (USD 14,9 millones, de acuerdo al tipo de cambio en esa época). El monto del aporte se decidió en base a un número de evaluaciones de impacto2. Además, el GdE financió la contratación de dos profesionales por medio del Programa de Financiación Externa para Personal Funcionario para que trabajaran en el Banco Mundial en actividades relacionadas con el SIEF. El aporte del GdE luego fue complementado con un desembolso adicional de USD 2,1 millones (equivalente a GBP 1,5 millones en ese momento) entregado por el DFID, que partió en marzo de 2008 con un monto de USD 500.000. El SIEF es el fondo para evaluación de impacto más grande jamás creado en el Banco Mundial (en realidad, para cualquier tipo de evaluación). El periodo inicial operación del fondo era desde julio de 2007 hasta julio de 2010 y finalmente se extendió hasta junio de 2012.
Las metas estratégicas del SIEF fueron las siguientes: desarrollar capacidades para entender y utilizar las técnicas de evaluación de impacto; respaldar la instauración de técnicas de evaluación de impacto en programas de desarrollo seleccionadas para mejorar los resultados de Desarrollo Humano (DH); difundir los hallazgos del SIEF y ampliar el acceso a los conocimientos del impacto de los programas de desarrollo humano; utilizar el SIEF como una plataforma para fomentar la gestión de resultados para el desarrollo. Además, en el Anexo 1 del Acuerdo de Administración para el Fondo Fiduciario también se incluyó el fortalecimiento de la capacidad del donante (como parte del objetivo de desarrollar la capacidad para la planificación, la gestión y la evaluación de programas de desarrollo).
Los procesos
El programa SIEF ha sido gestionado por la Oficina del Economista Jefe para el Desarrollo Humano del Banco Mundial. Los recursos del SIEF respaldaron: (i) Programas de evaluación de impacto prospectivas y rigurosas en 11 sectores elegibles de Desarrollo Humano y Desarrollo Sostenible, y a 72 países en desarrollo elegibles de todas las regiones; (ii) Programas intensivos de capacitación sobre los métodos de evaluación de impacto para las contrapartes de gobierno, el personal del Banco y el personal de las agencias de desarrollo; y (iii) La publicación y difusión de los resultados de evaluación por medio de artículos, estudios de meta-análisis y materiales informáticos.
En julio de 2007, el SIEF ya había anunciado la primera convocatoria de propuestas para clústeres (áreas temáticas) de Evaluación de Impacto existentes de DH, con la intención de identificar estudios "Quick Win" (recompensa inmediata) de EI, " con el objetivo de garantizar un comienzo rápido y visible del SIEF y para cerciorarse de que los recursos españoles produzcan resultados tangibles lo antes posible." A estas propuestas se les llamó "quick wins", ya que se esperaba que capitalizaran el trabajo en temas de Desarrollo Humano que ya se estaba llevando a cabo. Para tal fin, se buscaron propuestas de evaluaciones de impacto de alta calidad y prospectivas que necesitaran fondos inmediatos. Las propuestas escogidas se presentaron al
2 El Anexo I del Contrato de Administración del Fondo Fiduciario se indica que cada año el Fondo Fiduciario respaldará al menos 5 evaluaciones de impacto rigurosas (con una meta de 15 evaluaciones en el periodo de 3 años).
4
Comité Directivo del SIEF. Las "quick wins" permitieron al SIEF contribuir con evaluaciones de alta calidad en el corto plazo, aunque no otorgó visibilidad al SIEF en esta primera fase. Por otra parte, esta asignación de fondos a las "Quick Wins" (aproximadamente 6% de los recursos del SIEF) permitió que los equipos consiguieran apalancar recursos de otras fuentes de financiamiento. En los años posteriores, se asignó la mayoría de los recursos del SIEF a nuevos clústeres de EI.
Si se consideran las actividades por sus categorías básicas, la tabla 3 muestra que el 69% de los recursos fueron destinados a la investigación de la evaluación de impacto y que la gestión del programa necesitó menos del 5% de los recursos.
La convocatoria de propuestas exigía una especificación rigurosa y correcta, y la técnica más utilizada por el SIEF en las EI fueron los diseños aleatorios (según el 74% de las respuestas de la encuesta de los LET). El resto de las EI financiadas por el SIEF utilizó la metodología de regresión discontinua, “matching propensity score” y otros enfoques cuasi experimentales u observacionales.
Como mecanismo de control de calidad, se creó un proceso de revisión entre pares de las propuestas que serían financiadas por SIEF. Este proceso integró un equilibrio entre rigor (con una revisión interna y externa) y flexibilidad.
La rotación de personas involucradas en los niveles operacionales y de liderazgo de la cooperación internacional del GdE y la escasez de personal en la unidad de evaluación del MAEC (véase la revisión realizada por expertos del CAD en España en 2011) que debía cumplir una función crucial para el donante, limitaron la participación activa de España en el seguimiento del SIEF. El instrumento de monitoreo clave del SIEF consiste en una hoja de cálculo dinámica, que cuenta con una herramienta de monitoreo en tiempo real. Este instrumento permitió una gestión activa de los recursos del SIEF, dando paso a una transferencia de fondos oportuna para las actividades del SIEF. Además, la hoja de cálculo se utilizó como una fuente de información base para los informes anuales y semestrales. Estos instrumentos fueron útiles en la toma de decisiones acerca de la asignación y reasignaciones de fondos, lo que facilitó la implementación del programa.
Los resultados
Una característica fundamental del SIEF es que los líderes del equipo de tareas apalancaron recursos para el fondo de otras fuentes de financiamiento. En algunos casos se trató de los aportes de colaboradores locales (p. ej., en el caso de una TMC en Indonesia, los recursos nacionales proporcionaron USD 2,8 millones, de los cuales SIEF contribuyó USD 300.000); pero también se apalancaron otras fuentes de financiamiento, tales como la Iniciativa Internacional para la Evaluación de Impacto (3ie) en el caso de la EI al proyecto anti-malaria en Kenia.
Notas para políticas públicas: “Evidencias para Mejores Políticas (E2P)": El SIEF ha respaldado la elaboración de este conjunto de documentos, con el fin de divulgar los resultados de EI en el área de Desarrollo Humano. La primera nota de E2P fue publicada en septiembre de 2010 y para febrero de 2012 se habían producido 11 notas de E2P.
5
Libros: Los resultados de la evaluación de impacto han sido publicados en los siguientes libros “Transferencias Monetarias Condicionadas: Reduciendo la pobreza actual y futura” (SIEF brindó apoyo para su traducción al español), "Making Schools Work: New Evidence on Accountability Reforms" [Como lograr que las escuelas funcionen: Nuevas evidencias de reformas de rendición de cuentas] y “No small matter: The Impact of Poverty, Shocks, and Human Capital Investments in Early Childhood Development” [No es un asunto sin importancia: el impacto de la pobreza, los shocks y las inversiones en capital humano en el desarrollo de la infancia temprana]. Además, se elaboró un manual de capacitación para la evaluación de impacto titulado “La evaluación de impacto en la práctica", que está disponible en inglés, español y francés.
Otras publicaciones: además de los apuntes y libros en materia de políticas, los equipos de evaluación de impacto apoyados por SIEF han elaborado 25 documentos y artículos de investigación.
Presentaciones: SIEF ha apoyado más de 47 presentaciones en conferencias internacionales y otros foros de discusión como una forma de compartir y divulgar el conocimiento.
Cobertura mediática: asimismo, como se menciona en la nota al pie de la tabla 1, algunas publicaciones prestigiosas e influyentes, como las revistas The Lancet, The Economist, Journal of Economic Literature, y periódicos como The Financial Times y The Wall Street Journal han mencionado los resultados producidos con los fondos del SIEF.
Bases de datos: Las evaluaciones de impacto del SIEF han generado datos útiles no solo para la evaluación, sino también para el diseño de nuevas intervenciones. Además, los bases de datos se han incorporado al catálogo de micro datos del Banco Mundial para facilitar su documentación y acceso.
La capacitación de la evaluación de impacto. El objetivo de los talleres de "Turning Promises to Evidence" [Transformar las promesas en evidencias], que son el principal medio por el cual SIEF capacita en evaluación de impacto, ha sido el de proporcionar a los participantes una visión general de la evaluación de impacto. Estos talleres son cursos regionales de una semana de duración que se enfocan en el diseño, implementación y gestión de las evaluaciones de impacto, hechos a medida para equipos de trabajo gubernamentales colaboradores en los países clientes, personal del Banco Mundial y personal de las agencias de desarrollo asociadas. La meta principal de estos talleres ha sido incrementar la eficacia de los programas de desarrollo humano por medio del desarrollo de capacidades en la evaluación de impacto y de la gestión basada en resultados en los países clientes y agencias asociadas. Desde enero de 2008, SIEF ha brindado apoyo a 17 talleres de este tipo con un aporte de USD 1.500.000. Los talleres se llevaron a cabo en todas las regiones del mundo en desarrollo y también tuvieron el patrocinio del Departamento para el Desarrollo Internacional del Reino Unido, el que donó USD 475.000 y el Programa de Asociación Banco-Países Bajos (BNPP). Se han capacitado a 2.406 participantes, lo que corresponde a 251 equipos de proyecto, de los países clientes y agencias asociadas en las técnicas de evaluación de impacto.3 En promedio,
3 El indicador meta para los participantes capacitados con EI, y el número de talleres regionales en la matriz GpRD de SIEF eran, respectivamente, 1893 y 12 (comparados con los actuales que suman 2406 y 17).
6
en cada taller participaron personas de 9 países. Los resultados del estudio de seguimiento sugieren que el programa de capacitación "Turning Promises to Evidence" [Transformar las promesas en evidencia] ha logrado desarrollar con eficacia las habilidades de evaluación de impacto en los países clientes, y ha logrado promover comunidades de práctica entre profesionales y expertos en evaluación de impacto y en desarrollo humano.
En la siguiente tabla se resumen los resultados obtenidos por el SIEF:
Tipos de productos NúmeroEstudios de evaluación de impacto 52Notas de concepto 47Encuestas de línea de base 10Informes de EI (sin publicar) 12Artículos o documentos de EI (publicaciones)
25
Libros (o capítulos de libros) 4Talleres regionales 17Participantes de los talleres regionales
2.406
Ejemplos del uso de EI respaldadas por el SIEF y de su influencia en las políticas públicas
En la última sección del capítulo 4 se incluyen varios ejemplos del uso de la EI respaldada por el SIEF y especialmente de su influencia en las políticas públicas, ya que son indicadores de sus resultados esperados.
Conclusiones y recomendaciones
El Fondo Español para la Evaluación de Impacto hizo una contribución importante al desarrollo de evidencias fiables sobre el impacto de las intervenciones de desarrollo humano en diferentes áreas temáticas, tales como las reformas de la contratación y pago por desempeño en la salud, las transferencias monetarias condicionadas, el control de la malaria, los programas activos de mercados de trabajo y de oportunidades laborales para jóvenes, la rendición de cuentas en educación básica, la prevención del VIH/SIDA y el desarrollo de la infancia temprana. Además, el SIEF contribuyó de manera significativa al desarrollo y consolidación de la práctica de la evaluación de impacto en el Banco Mundial y en países en desarrollo. A pesar de que estas actividades se llevaron a cabo en el contexto de países en desarrollo y en transición, también es posible que sean de interés para España. Además de ser interesante para sus programas y proyectos de cooperación internacional, para España el SIEF puede ser una fuente de información útil para el diseño de su políticas nacionales (por ejemplo, los resultados de los programas de capacitación laboral y oportunidades laborales para jóvenes4) y para fortalecer su capacidad de evaluación. Por otro lado, el SIEF ha tenido una menor participación en las revisiones sistemáticas de la evidencia generada por las evaluaciones de impacto, con excepción de una serie de libros y la organización de conferencias de clúster.
4 Un ejemplo de un producto generado por SIEF que podría ser útil para España según lo que se indica en este párrafo es http://siteresources.worldbank.org/EXTHDOFFICE/resources/5485726-1239047988859/5995659-1239048041095/cf4_zMisc_ALM_SummaryNotes_SIEF-IE-on-ALMP_Jan5_PA_110121.pdf
7
Se creó un proceso de revisión de propuestas entre pares, llevada a cabo por expertos y financiado por SIEF, como mecanismo de control de calidad. Este proceso se llevó a cabo con un equilibrio entre el rigor y la flexibilidad, con un énfasis en la transparencia.
El SIEF logró mejorar aún más sus recursos gracias al trabajo conjunto con otras fuentes de financiamiento. Sin embargo, la combinación de estos fondos vuelve prácticamente imposible distinguir la contribución del SIEF de la de otros donantes.
El modelo clúster del SIEF ha demostrado ser un enfoque útil y replicable5. La asignación de recursos a los clústeres temáticos de EI, en lugar de asignarlos a EI individuales, ha facilitado la consolidación de las comunidades de prácticas de EI. El SIEF contribuyó al fortalecimiento de las comunidades que practican la EI en diferentes áreas de DH, por medio de capacitaciones en el lugar de trabajo, talleres de capacitación y acciones de divulgación. Este fortalecimiento ha sido mayor en algunos clústeres, tales como en las reformas de la contratación y pago por desempeño en la salud y en el de mercados activos de trabajo y oportunidades laborales para jóvenes. Además, en menor medida hubo acciones de difusión del conocimiento entre clústeres, principalmente en los talleres regionales de EI y las reuniones realizadas cada seis meses (en un principio trimestrales), organizadas por el equipo de gestión del programa SIEF.
El enfoque en la capacitación introdujo un formato innovador en doble vía, que coincide con las diferentes demandas de los responsables de la elaboración de políticas, los gerentes de evaluación y los especialistas en evaluación. Este enfoque fortalece tanto la demanda como la oferta de evaluación de impacto a nivel de país, y también la Red de Desarrollo Humano del Banco Mundial, donde tuvo una función catalizadora. Por otro lado, el SIEF no ha sido exitoso en fortalecer las habilidades de evaluación del donante español (que fue uno de los objetivos incluidos en el acuerdo cuando se estableció el SIEF), a excepción del taller de evaluación de impacto realizado en Madrid y las asesorías técnicas proporcionadas a equipos de proyectos financiados por la cooperación española que estaban interesados en llevar a cabo evaluaciones de impacto. El libro "La evaluación de Impacto en la Práctica" elaborado por SIEF y traducido al español y al francés, es un recurso muy valioso que puede ser utilizado en el desarrollo de la habilidad de evaluación de impacto en los países en desarrollo, en el Banco Mundial y en España.
Si se aplica una escala de seis puntos para los resultados (muy satisfactorio, medianamente satisfactorio, medianamente insatisfactorio, insatisfactorio y muy insatisfactorio) a la implementación de las cuatro metas del SIEF, combinando evidencias de diferentes fuentes (encuesta a los LET, revisión de documentación y el sitio web, entrevistas), las calificaciones son las siguientes (en el capítulo 4 se encontrarán calificaciones para cada resultado acordado que corresponde a cada una de las metas diferentes y los argumentos y evidencia tras las calificaciones): Objetivo 1. desarrollar capacidades para mejorar la comprensión y el uso de técnicas de Evaluación de Impacto (EI) Muy Satisfactorio; Objetivo 2. Respaldar la instauración de técnicas de evaluación de impacto en programas de desarrollo seleccionados para mejorar los
5 El enfoque de clúster para la evaluación de subvenciones fue introducido por Kellogg Foundation [Fundación Kelloggs] en la década de 1990, especialmente para pequeñas subvenciones. Algunas lecciones aprendidas de esta experiencia podrían ser útiles en SIEF II. Véase http://www.hfrp.org/evaluation/the-evaluation-exchange/issue-archive/evaluation-in-the-21st-century/cluster-evaluation http://www.wkkf.org/knowledge-center/resources/2010/W-K-Kellogg-Foundation-Evaluation-Handbook.aspx
8
resultados de Desarrollo Humano (DH): Muy satisfactorio; Objetivo 3. Divulgar los hallazgos del SIEF, y promover el acceso al conocimiento sobre el impacto de los programas de DH, Satisfactorio; y Objetivo 4. Utilizar el SIEF como plataforma para promover la Gestión para resultados de desarrollo (GpRD), Satisfactorio.
Un indicio del éxito del SIEF es que, al aproximarse su fin, se estableció en el Banco Mundial un nuevo fondo fiduciario Multidonante para evaluaciones de impacto, con un aporte inicial del Departamento para el Desarrollo Internacional del gobierno Británico (una fuente secundaria de fondos del SIEF I) de un monto que triplica el financiamiento del SIEF. Además, es interesante que el nuevo fondo mantiene el acrónimo SIEF en inglés (en el cual la "S" ahora significa "Strategic" [estratégico]), lo que es un reconocimiento a la calidad de las operaciones y visibilidad logradas por el Fondo Español para la Evaluación de Impacto. Como se mencionó en la presentación del nuevo SIEF: "se construirá sobre la base del conocimiento e investigación generados por el Fondo Fiduciario para la Evaluación de Impacto".
Recomendaciones
Una nueva fase del SIEF podría centrarse en las revisiones sistemáticas de resultados de EI, al tiempo que se combina la evidencia generada por las EI financiadas por el SIEF con la evidencia de otras EI o estudios. Este cambio permitiría ir más allá de "lo que funciona" (una frase utilizada con frecuencia en las publicaciones del SIEF) para llegar a "lo que funciona, en qué circunstancias y por qué". De esta manera, se estaría fortaleciendo la validez externa y la utilidad de los hallazgos de las EI. Todavía existe un gran porcentaje de EI financiadas por el SIEF que se encuentran en proceso de entrega de resultados finales. A medida que se obtengan tales resultados, será necesario y conveniente llevar acabo revisiones sistemáticas de los resultados de la EI.
Mientras más las evaluaciones de impacto estén diseñadas e implementadas para el mismo tipo de intervenciones en diferentes contextos, mayor será la posibilidad de sacar conclusiones en relación a la validez externa (o generalización) de los resultados de la evaluación de impacto.
Valdría la pena también brindar apoyo a evaluaciones innovadoras (que se distinguen de las evaluaciones de intervenciones innovadoras), tales como, por ejemplo, "los procesos selectivos."
Con el fin de aumentar la flexibilidad de un fondo de evaluación de impacto, valdría la pena complementar las convocatorias de propuestas periódicas con una ventana que se mantenga siempre abierta para aportar pequeñas contribuciones al diseño de las evaluaciones (una especie de capital semilla), lo que podría facilitar la finalización del diseño de propuestas de EI esbozado en los talleres de EI.
En un nuevo fondo, sería conveniente promover una competencia más amplia para estos fondos, para así facilitar que personal que no sea del Banco pueda participar con más facilidad en los equipos seleccionados en la convocatoria de propuestas. Esto podría complementarse con la participación de académicos y responsables de las políticas de desarrollo, que no son del Banco, como asesores externos del comité técnico, y de esta forma garantizar una percepción de total transparencia y atraer a una fuente de conocimientos más amplia.
Compartir la experiencia y el conocimiento adquirido en los clústeres temáticos a durante las reuniones periódicas, o durante los foros, podría contribuir favorablemente al desarrollo de una
9
comunidad de practicas en evaluación de impacto, al tiempo que se avanzaría en el aprovechamiento de economías de escala. Un medio adicional para compartir el conocimiento sería un sitio web adecuado (como se indica en la siguiente recomendación).
Uno de los principales medios para compartir el conocimiento generado por el programa debería ser la creación y mantenimiento de un sitio web actualizado, completo y apto para todo usuario que contiene información del programa sobre evaluaciones de impacto y los resultados obtenidos. Con el fin de garantizar que el sitio web cumpla esta función, valdría la pena llevar a cabo revisiones periódicas del sitio y asignar adecuadamente los recursos para su diseño, mantenimiento y revisión. Asimismo, sería conveniente estudiar la posibilidad de crear un sitio web independiente (por ejemplo, www.sief.org), que no estuviera sujeto a las limitaciones derivadas por pertenecer al sitio del Banco Mundial (www.worldbank.org), pues se trata de un programa de asociación financiado por un donante. El sitio web del programa podría tener una intranet para supervisar el programa de manera interna y para que sea más fácil compartir la información acerca de los procesos que se deben seguir y los productos intermediarios.
Durante la implementación de evaluaciones de impacto, un enfoque proactivo frente a la divulgación podría incluir un conjunto de actividades (tales como videos y fotografías) que, con un costo marginal muy bajo, podrían mejorar significativamente la calidad de la divulgación y al mismo tiempo quedar como material de capacitación.
En relación al desarrollo de la capacidad para la evaluación de impacto, valdría la pena complementar los exitosos talleres de capacitación de evaluación de impacto diseñados e implementados por el SIEF, con el apoyo al desarrollo de capacidades institucionales para la evaluación de impacto independiente a nivel nacional.
Finalmente, valdría la pena promover un mayor compromiso con las comunidades de evaluación ajenas al Banco Mundial, tales como la Asociación Americana de Evaluación, la Sociedad Europea de Evaluación, la Asociación Internacional de Evaluación del Desarrollo, el Grupo de evaluación de las Naciones Unidas y los Grupos de Evaluación y Cooperación de los BDM. Se podrían divulgar las revisiones sistemáticas y de EI a estos y se podrían hacer presentaciones en sus conferencias o reuniones para obtener su retroalimentación.
10
1. Introducción
Propósito de la evaluación
El informe final del SIEF tiene como objetivo ser un aporte para una posible continuación o perfeccionamiento para el presente programa y para otros similares; para el Memorando de Término de la Implementación (ICM); y con fines de registro y documentación.
La meta del informe es examinar hasta qué punto el SIEF ha logrado sus objetivos. Además, este informe se atiene a lo establecido en el Acuerdo Administrativo celebrado en julio de 2007 por el Gobierno de España y el Banco Mundial (fundadores del programa del SIEF): “Dentro de los seis meses siguientes a la fecha del desembolso final especificada en el párrafo 10.1, el Banco deberá proporcionar al donante un informe final de las actividades del proyecto".
La metodología
La metodología utilizada en este informe es una combinación de diferentes enfoques: un estudio preliminar de la documentación del SIEF; entrevistas a informantes claves; una encuesta a los Líderes del Equipo de Tareas (LET), que se incluye como el anexo V y que obtuvo un tasa de respuesta del 75%; una revisión de la literatura de la evaluación de impacto; y una visita a terreno en Argentina. Además, se utilizaron criterios de evaluación generalmente aceptados. Por último, un conjunto de preguntas de evaluación, que se incluye en los TDR (véase anexo 1), sirvieron como pauta para diseñar el cuestionario y preparar este informe.
Cabe señalar que este informe no pretende evaluar el impacto del SIEF.6 Sin embargo, se señalarán evidencias de la influencia de las políticas de desarrollo del SIEF.
2. El diseño
El fondo SIEF se creó en julio de 2007 como resultado de las negociaciones entre el Gobierno de España (Ministerio de Asuntos Exteriores y Cooperación y Ministerio de Economía y Hacienda) y el Banco Mundial (Red de Desarrollo Humano). En esa época el Gobierno de España (GdE) tenía un superávit presupuestario de aproximadamente 2% del PIB y debía cumplir el compromiso de aumentar la AOD al objetivo de 0,7% del Ingreso Nacional Bruto estipulado por la ONU. Además, el GdE estaba interesado en promover la evaluación de impacto tanto en el mundo en desarrollo como en su propia agenda de ayuda (en especial en el área de desarrollo humano) y consideró al Banco Mundial como líder en este terreno. Asimismo, el GdE estaba interesado en contribuir con la producción de evidencia rigurosa de las actuaciones en el área de desarrollo humano como un bien público mundial.
Para el 2005, en el Banco Mundial (como en otras agencias de desarrollo) se intensificó el interés por la evaluación de impacto, lo que respondía a las exigencias de evidencia rigurosa en los
6 Para información sobre las dificultades al llevar a cabo una evaluación de impacto véasehttp://siteresources.worldbank.org/INTISPMA/Resources/383704-1146752240884/Doing_ie_series_14.pdf and for the more general issue of evaluating the use of evaluations, see Feinstein, O.N. (2002) “Use of evaluations and the evaluation of their use” [Uso de evaluaciones y la evaluación de su uso].
11
resultados de las actuaciones de desarrollo. Así, en el 2006, se establecieron las evaluaciones de impacto como "una nueva línea de productos”. 7
Por lo tanto, en julio de 2007, el Banco Mundial y el GdE fundaron el Fondo Fiduciario para la Evaluación de Impacto y la Gestión basada en Resultados en los Sectores de Desarrollo Humano o Fondo Español para la Evaluación de Impacto (SIEF). El fin de SIEF es apoyar la Evaluación de Impacto (EI) de programas innovadores para mejorar los resultados del Desarrollo Humano (DH). Su fin ulterior es que las políticas de desarrollo sean más eficaces, gracias al incremento de la base de evidencias que de cuenta del impacto de las acciones que influyen en el DH. El siguiente diagrama describe brevemente la "teoría del cambio" adoptada por el SIEF
Diagrama 1: "Teoría del cambio “de SIEF
RECURSOS DEL SIEF
ACTIVIDADES RESULTADOS
EvaluacionesConocimiento Mejora
DesarrolloEficacia
Talleres
Divulgación Capacidades
El GdE otorgó un subsidio de EUR 10,4 millones al SIEF, que el Banco recibió en un solo monto en octubre de 2007 (USD 14,9 millones, de acuerdo al tipo de cambio en esa época). El monto del subsidio se decidió de acuerdo con varias evaluaciones de impacto. Asimismo, el GdE financió a dos profesionales a través del Programa de Financiamiento Externo de Personal para trabajar en el Banco Mundial a tiempo completo en actividades relacionadas con el SIEF.
El aporte del GdE luego fue complementado con un subsidio adicional de USD 2.1 millones (equivalente a GBP 1,5 millones en ese momento) entregado por el DFID, que partió en marzo de 2008 con un monto de USD 500.000. SIEF se ha convertido en el fondo más grande que jamás se haya establecido en el Banco Mundial, destinado para la evaluación de impacto (y para cualquier tipo de evaluación).8 El periodo inicial del subsidio era desde julio de 2007 hasta julio de 2010 y se extendió hasta junio de 2012.
Las metas estratégicas del SIEF fueron las siguientes:
7 Para la acceder a la información de una breve presentación sobre la evolución de la evaluación de impacto en el Banco Mundial, en el que se destaca la importancia de SIEF, véase la presentación “Assessing the Use and Influence of Impact Evaluations: Evidence from the World Bank Group [Evaluar el uso e influencia de las evaluaciones de impacto: evidencia del grupo del Banco Mundial]” por Izlem Yenice, Grupo de Evaluación Independiente del Banco Mundial, en la Conferenica de la Asociación de Evaluación Norteamericana en 2011, que incluye hallazgos preliminares del próximo estudio de EI.8 Como un punto de comparación, el Grupo de Evaluación Independiente del Banco Mundial tenía en el años fiscal 12 un total de USD 12 millones como fondos fiduciarios para todo tipo de evaluaciones, y su presupuesto para ese año incluía solamente una evaluación de impacto y una evaluación de impacto meta. Para el año fiscal 13 se planificaron el mismo número de evaluaciones de impacto. Véase http://ieg.worldbankgroup.org/content/dam/ieg/IEGWorkPgrmAndBudget2011.pdf
12
1. Desarrollar capacidades para entender y usar técnicas de evaluación de impacto;
2. Respaldar la instauración de técnicas de evaluación de impacto en programas de desarrollo seleccionados para mejorar los resultados de Desarrollo Humano (DH)
3. Divulgar los hallazgos del SIEF, y promover el acceso al conocimiento del impacto de los programas de desarrollo humano;
4. Utilizar el SIEF como una plataforma para promover la gestión para el desarrollo de resultados.
El grado de cumplimiento de estas metas tiene una calificación que se encuentra al final de la sección 5 (véase también el anexo iii), de acuerdo con los resultados acordados para cada una de las metas, según la estrategia basada en resultados del SIEF (que también incluye indicadores para los diferentes resultados).
En las siguientes secciones de este capítulo se abordarán las preguntas sobre el diseño que se incluyen en los TDR.
Coherencia entre el diseño del SIEF y sus metas
– ¿Hasta qué punto el diseño y los recursos del SIEF fueron coherentes con las metas planteadas?
Se registró una alta coherencia entre las metas del SIEF y su diseño y recursos.
Puede obtenerse una respuesta parcial a esta pregunta a nivel local, por medio de las respuestas a la encuesta posterior al uso de la subvención, que incluyen la siguiente pregunta: “¿Se asignaron los recursos a su tarea(s) en consonancia con las metas propuestas?”. 33 de 34 respuestas fueron afirmativas (la respuesta negativa corresponde a un caso en Senegal donde el líder del equipo de tareas tuvo la opción de reasignar los recursos a otra EI en Kenia)
Asimismo, para una consideración más global de esta pregunta, es útil tomar en cuenta el presupuesto de 5 años de USD 100 millones de la 3ie, lo que permite realizar de 50 a 60 nuevos estudios cada año (combinación de "quick wins", estudios a gran escala y el diseño de evaluación) 9. A pesar de que el número de estudios anuales excede los del SIEF (corresponde al número de estudios financiados por el SIEF durante su periodo pleno, como se detalla en la tabla 2), el presupuesto anual de la 3ie sería de USD 20 millones sin incluir actividades para desarrollar capacidades. Este es un presupuesto que sobrepasa los recursos del SIEF para su periodo inicial de 3 años (que se convirtieron en 5 años con la extensión hasta junio de 2012).
Plan estratégico y de M&E
– ¿Hasta qué punto tuvo el SIEF un plan estratégico y de M&E útil y confiable que contribuyó a fijar prioridades y rastrear el progreso hacia el cumplimiento de sus metas?
Luego de sus primeros 2 años, el SIEF desarrolló un plan estratégico y de M&E útil y confiable.
9 Véase http://www.google.es/url?sa=t&rct=j&q=&esrc=s&source=web&cd=10&ved=0CHwQFjAJ&url=http%3A%2F%2Fwww.oecd.org%2Fdataoecd%2F4%2F54%2F41681801.ppt&ei=rztrT_y2M-mp0QWB29ndBg&usg=AFQjCNEP8Qui0B9FYL_-CzGmgxJraomDdA&sig2=qx2M1PA64k-riHWE0yWEaw
13
La matriz de la estrategia basada en resultados del SIEF (véase anexo iv) creada luego de sus primeros 2 años (cuando el equipo central del SIEF se fortaleció) proporcionó al SIEF una estrategia y marco útil y funcional para el M&E, el que se completó con el uso de una hoja de cálculo dinámica utilizada como herramienta de monitoreo en tiempo real. La matriz conectaba de una manera explícita las metas con los resultados esperados y los correspondientes indicadores, productos, actividades y recursos según los plazos iniciales del Fondo (no se actualizó para cubrir el periodo de extensión del SIEF).
Plan de divulgación de resultados y conocimiento compartido
– ¿Hasta qué punto tuvo el SIEF un plan de divulgación de resultados y conocimiento compartido útil y confiable?
El plan fue útil y confiable pero no consideró explícitamente al GdE.
El plan de divulgación de resultados y conocimiento compartido fue aprobado por el CD e identificó bien a los destinatarios (con una excepción) como se muestra en el diagrama 2. El público que no fue identificado en el diagrama es el GdE (la excepción que se mencionó anteriormente). Podría haber sido útil identificar organizaciones españolas (tanto las dedicadas a la cooperación como las que lidian con temas de desarrollo humano) entre los destinatarios del SIEF.
Una forma más general de encuadrar este punto es que en un programa de fondo fiduciario es conveniente incluir a donantes o socios como uno de los destinatarios para la divulgación de los resultados del programa.
La implementación del plan de divulgación del SIEF se descentralizó. Se presentaron propuestas de divulgación con un límite máximo inicial de USD 100.000 (se les permitió a los dirigentes de clúster presentar propuestas que no sobrepasaran los USD 185.000 para las actividades de divulgación y coordinación del clúster). En estas propuestas se indicaba el destinatario meta, el cronograma (junio de 2012 como plazo final) y la asignación presupuestaria propuesta para la actividad de divulgación de cada clúster, indicando el LET correspondiente a cargo de la actividad. El tipo de actividades comprendía la producción, edición y traducción de los informes finales de las EI financiadas por los clústeres, organización de (y participación en) conferencias y talleres, apuntes breves y mantenimiento del sitio web. Los objetivos de los talleres consistían en presentar resultados clave, discutir sus consecuencias para las políticas, así como su validez externa, reuniendo a los responsables de elaborar políticas, los investigadores y el personal en funcionamiento, en algunos casos patrocinados por el SIEF y otras fuentes. Estos talleres eran un complemento para los talleres regionales del SIEF y en algunos casos se basaban parcialmente en ellos (los que se discuten en la sección 4 más adelante).
14
DFID EI FF
Diagrama 2 Tipos de destinatarios del SIEF como fue presentado en el Plan de Divulgación el SIEF.
3. Los Procesos
En este capítulo se abordan las preguntas de los TDR en relación a los procesos:
Eficiencia del modelo de gestión del programa del SIEF
– ¿Hasta qué punto el modelo de gestión del programa del SIEF (por ejemplo, instrumentos, recursos económicos, técnicos y humanos; estructura organizacional, flujos de información; toma de decisiones en la gestión) han sido eficientes en comparación con los resultados obtenidos?
El modelo de gestión del programa del SIEF fue eficiente.
15
Unidades de gestión de
evaluación y conocimiento
del GBM: IEG,
PREM,DEC
Comunidad de EI del GBM:
DIME
Sectores y regiones asociados
al DH
Otrasunidades
delGBM
Red de Desarrollo Humano:
HDN
Países clientes
Universidades y centros de investigación
Redes internacionales de EI
Otras organizaciones internacionales
SIEF
El programa SIEF ha sido gestionado por la Oficina del Economista Jefe para el Desarrollo Humano del Banco Mundial. Los recursos del SIEF brindaron apoyo a:
(i) Programas de evaluación de impacto prospectivos y rigurosos en 11 sectores elegibles de Desarrollo Humano y Desarrollo Sostenible, y a 72 países en desarrollo elegibles de todas las regiones;
(ii) Programas de capacitación intensivos en los métodos de evaluación de impacto para los gobiernos colaboradores, personal del Banco y de agencias de desarrollo asociadas; y
(iii) Publicación y divulgación de los resultados de evaluación a través de artículos, meta estudios y materiales informáticos.
El 94% de las respuestas de la encuesta indicó que el modelo de gestión fue eficiente o muy eficiente.10 Los LET valoraron especialmente la flexibilidad para aceptar adaptaciones a cambios en el contexto.
El aprovechamiento de los recursos de SIEF también contribuyó a la eficiencia, ya que permitió mejorar los resultados con los mismos recursos 11. Una característica fundamental del SIEF es el uso, por parte de los líderes del equipo de tareas, de otras fuentes de financiamiento para obtener resultados. En algunos casos se trató de los aportes de colaboradores locales (p. ej., en el caso de una TMC en Indonesia, los recursos nacionales proporcionaron USD 2,8 millones, de los cuales SIEF contribuyó USD 300.000); pero también se recurrió a otras fuentes de financiamiento, tales como la Iniciativa Internacional para la Evaluación de Impacto (3ie) en el caso de la EI de la malaria en Kenia.
Contribución de los dirigentes de clúster
– ¿Hasta qué punto los dirigentes de clúster han contribuido a garantizar la implementación exitosa del programa del SIEF y a promover las comunidades de práctica de la evaluación de impacto en las áreas temáticas claves del programa?
El alcance de la contribución de los dirigentes de clúster fue significativa en algunos equipos de clúster, donde las condiciones iniciales eran favorables y donde los dirigentes cumplían una función más importante para el apoyo.
La encuesta muestra claramente la medida en que los dirigentes de clúster contribuyeron a garantizar la implementación exitosa del programa del SIEF y a promover las comunidades de prácticas de evaluación de impacto en las áreas temáticas clave (aunque el número de respuestas fue demasiado bajo, dado que algunas de las EI no eran parte de un clúster específico, p. ej., eran parte del "fondo de innovación" y en otros casos, la persona que contestó la encuesta fue un dirigente de clúster que se rehusó a responder). Sin embargo, en base a las respuestas de la encuesta y de las entrevistas a los LET, se puede afirmar que los líderes del equipo de tareas valoran el apoyo de los dirigentes de clúster en las actividades de divulgación, especialmente en algunos clústeres, tales como mercados activos de trabajo y oportunidades laborales para jóvenes y Desarrollo de la educación y de la infancia temprana. Esto puede tener su causa en las prácticas
10 En la encuesta se utilizó una escala de seis puntos. Las respuestas mencionadas en este párrafo (y en los que siguen en esta sección) son aquellas mostradas en los dos niveles superiores de la escala.11 Dada la definición del glosario de OCDE “Eficiencia: es "una medida de cómo losrecursos/insumos (fondos, tiempo, etc) se transforman en resultados", http://www.oecd.org/dataoecd/29/21/2754804.pdf.
16
anteriores en las diferentes áreas temáticas y de clúster (en especial su experiencia con las evaluaciones de impacto) y en la medida en que los dirigentes de clúster dieron su apoyo.
La distribución de los Estudios de Evaluación de Impacto (EI) según temas, clústeres y modalidades se presenta en la tabla a continuación.
Tabla 1 Número de estudios de Evaluación de Impacto (EI) financiados por el SIEF
Tipos de estudios de evaluación de impacto Nº1.1. Estudios de EI "Quick wins" 5 *1.2. Estudios de EI del Fondo de Innovación
1.2.1. Desarrollo humano 4 1.2.2. Desarrollo sostenible 7 1.3. Estudios de EI de clúster 1.3.1 - Reformas de la contratación/Pago por desempeño en la Salud 6 1.3.2 - Transferencias Monetarias Condicionadas 5 1.3.3 - Control de la malaria 5 1.3.4 – Mercados activos de trabajo y oportunidades laborales para jóvenes 8 1.3.5 - Responsabilidad respecto a la educación básica 5 1.3.6 - Prevención del VIH y SIDA 3 1.3.7 - Desarrollo de la infancia temprana
4 NÚMERO TOTAL DE IE 52* Para evitar la doble contabilización, 5 Estudios “Quick Win” que recibieron financiamiento de los fondos de clúster no se incluyeron en el número del total de los estudios "Quick Win". Para obtener más detalles de los 52 estudios, véase el anexo VII, Tabla 9.
Gobernanza del SIEF
– ¿En qué medida la gobernanza del fondo a nivel del fiduciario contribuyó a la eficiencia y efectividad del SIEF? ¿En qué medida fue útil para construir una asociación eficaz entre el Banco y los donantes? ¿Permitió el Comité Directivo que la gestión del SIEF hiciera una entrega eficaz de los productos y resultados?
La gobernanza del fondo contribuyó tanto a la eficiencia y eficacia del SIEF, como a construir una asociación bien lograda entre el Banco y los donantes, mientras que el CD proporcionó un entorno propicio para la gestión del SIEF (aunque no se reunió luego del 2009)
Con respecto a la gobernanza del SIEF, los acuerdos que se hicieron fueron los siguientes: Un Comité Directivo del Fondo Fiduciario se reuniría anualmente para confirmar la asignación general de los recursos para el programa de trabajo propuesto, revisar las actividades realizadas y en ejecución, y proporcionar una orientación estratégica al equipo de gestión del programa acerca de los temas prioritarios para futuras evaluaciones. El Comité tendría 7 miembros y su presidencia sería compartida entre el Vicepresidente de la HDN y el Secretario de Estado para la Cooperación Internacional Española, incluyendo a dos representantes españoles y 3 miembros del Banco adicionales, nombrados por el Vicepresidente de la HDN: el Economista Jefe de DH, un representante de la DEC (ya sea un asesor de la DIME o el gerente de la DECRG para las políticas de DH) y un director regional de DH. Asimismo, el vicepresidente de la HDN
17
nombraría a un Comité Técnico con 7 trabajadores expertos del personal del Banco con una amplia experiencia en la investigación y evaluación de impacto en DH y SD, con el fin de brindar apoyo al equipo de Gestión del Programa en el examen y evaluación de las propuestas de evaluación de impacto. Se esperaba que el Comité Técnico estuviera presidido por el Economista Jefe de DH. Algunos de los miembros del Comité Técnico también serían miembros del Comité Directivo.
En la práctica, solo uno de los Comités Directivos (CD) fue copresidido por el Vicepresidente de la HDN y el Secretario de Estado para la Cooperación Internacional Española, quién delegó la presidencia de otras reuniones al Director General y al Economista Jefe de la HDN.
Se llevaron a cabo 6 reuniones con el CD. La última se realizó el 25 de abril de 2012. En la penúltima reunión del CD se aprobó la extensión del SIEF hasta junio de 2012 y la creación del clúster para el Desarrollo de la infancia temprana. Desde entonces y hasta la reunión del CD en abril de 2012, las comunicaciones entre el GdE y el SIEF fueron informales con dos excepciones importantes:
i. en noviembre de 2010 el vicepresidente de DH se reunió con el Secretario de Estado para la Cooperación Internacional con el fin de confirmar el interés de España en continuar respaldando al SIEF, aunque a un nivel presupuestario inferior, y se acordó que se realizaría una última conferencia en España sobre los resultados del SIEF.
ii. en marzo de 2011, como una continuación de la reunión de noviembre, el Economista Jefe de DH se reunió con el Director General de Planificación y Desarrollo de Políticas para el Desarrollo del MAEC y con representantes del MEH. Uno de los resultados de esta reunión fue la decisión de incluir un reconocimiento al financiamiento del SIEF en todos productos para los que se utilizaron fondos del SIEF (véase más adelante la referencia a esta instancia en el caso de los Apuntes E2P) y un acuerdo para mandar al GdE informes mensuales acerca de los resultados del SIEF y su divulgación. En la siguiente tabla se muestra la información sobre los productos del SIEF que se incluyen en estos informes mensuales.
Tabla 2 Información sobre los productos del SIEF que se incluyen en los informes mensuales el SIEF
PRODUCTOS NÚMERO
ACONTECIMIENTOS
23
PUBLICACIONES* 25APUNTES** 6
Fuente: informes mensuales del SIEF, marzo 2011 a marzo 2012
* Se incluyen los informes de EI, documentos y apuntes de divulgación.** Apuntes sobre los productos elaborados con fondos del SIEF (tales como informes de evaluación y libros) en prestigiosas publicaciones (tales como The Lancet, The Economist and the Journal of Economic Literature). Estos apuntes son representantes de la influencia y el reconocimiento a la calidad de los productos.
18
Las entrevistas realizadas en Madrid, en particular aquellas con el MEH, ponen de manifiesto una falta de comunicación con el SIEF, ya que los representantes del GdE querían conocer la información sobre los productos y su costo. Sin embargo, contrario a la percepción general de los funcionarios del GdE en relación a los contenidos de los informes mensuales de los acontecimientos, en la tabla 1 se muestra que estos informes han incluido un mayor número de artículos publicados que de acontecimientos.12 La rotación de personas involucradas en los niveles de funcionamiento y de liderazgo de la cooperación internacional del GdE y la escasez de personal en la unidad de evaluación del MAEC (véase la revisión realizada por expertos del CAD en España el 2011), que debe haber cumplido una función crucial por el lado del donante, limitaron la participación de España en el SIEF. Como lo señala J.A.Alonso: “en (…) aspectos relacionados con la evolución reciente de la cooperación española se ha evidenciado el desequilibrio existente entre el dinamismo de los compromisos suscritos y las limitadas capacidades humanas, técnicas e institucionales”.13
El monto de los gastos incurridos por las diferentes actividades del SIEF se presentan en la tabla 3. Para julio de 2007, el SIEF hizo la primera convocatoria de propuestas a partir de los clústeres de Evaluación de Impacto de HDN existentes, con el fin de identificar los estudios "Quick Win" de EI. Asimismo, como lo expresó el primer gerente del programa del SIEF, esta convocatoria también sirvió " para garantizar un comienzo rápido y visible del SIEF y para cerciorarse de que los recursos españoles produjeran algunos resultados tangibles lo antes posible". A estas propuestas se les llamó "quick wins", ya que se esperaba que capitalizaran el trabajo en temas de Desarrollo Humano que ya se estaba llevando a cabo. Para tal fin, se buscaron propuestas de evaluaciones de impacto de alta calidad y prospectivas que necesitaran fondos inmediatos. Las propuestas escogidas se presentaron al Comité Directivo del SIEF.
A pesar de que las "quick wins" permitieron al SIEF contribuir con evaluaciones de alta calidad en el corto plazo, éstas no otorgaron visibilidad al SIEF en esta primera fase. Por otra parte, la asignación de fondos a las "Quick Wins" (aproximadamente 6% de los recursos del SIEF), como se muestra en la tabla anterior, permitió que el SIEF se valiera de otras fuentes de financiamiento. Durante los siguientes años, como se indica en la tabla 3, se asignó la mayoría de los recursos del SIEF a nuevos clústeres de EI.
Si se consideran las actividades por sus categorías básicas, en la tabla 3 se muestra que el 69% de los recursos fueron destinados a la investigación de la evaluación de impacto y que la gestión del programa gastó menos del 5% de los recursos.
12 En este contexto es importante mencionar la observación hecha en la revisión de expertos CAD 2011 de España, que estipula que existe una "necesidad de garantizar que la agencia de Desarrollo de España tenga suficiente capacidad de dirigir y utilizar un volumen creciente de evaluaciones de proyectos y programas”. (p.62). http://www.oecd.org/dataoecd/23/45/49356882.pdf. 13 Alonso, J.A. (2012) “España y el sistema multilateral: luces y sombras de un proceso de cambio” en de la Iglesia-Caruncho (coordinador) La eficacia de la ayuda y la cooperación española Madrid: Editorial Complutense, p. 179
19
Tabla 3 Montos asignados y gastos según el tipo de actividad
Actividades Asignado
s
% del total
asignado
Gasto
% of total de gasto
1. Estudios de Evaluación de Impacto (EI)
9.817.968 66% 9.817.9
68 69%
1.1 Estudios "Quick wins" de EI 879.851 6% 879.851 6% 1.2 Estudios de EI del Fondo de
Innovación 2.009.2
23 13% 2.009.223 14%
1.3. Estudios de EI de clúster 6.928.894 46% 6.928.8
94 49% 1.3.1 - Reformas de contratación y pago por desempeño en la salud
1.250.539 8% 1.250.53
9 9% 1.3.2 - Transferencias Monetarias
Condicionadas 895.086 6% 895.086 6%
1.3.3 - Control de la malaria 762.790 5% 762.790 5%
1.3.4 – Mercados activos de trabajo y oportunidades laborales para jóvenes
1.276.350 9% 1.276.35
0 9%
1.3.5 - Responsabilidad respecto a la educación básica
1.022.601 7% 1.022.60
1 7%
1.3.6 - Prevención del VIH/SIDA 981.561 7% 981. 561 7%
1.3.7 - Desarrollo de la infancia temprana 739.966 5% 739.966 5%
2. Desarrollo de capacidades 1.700.000 11% 1.681.2
15 12%
3. Resultados de divulgación 1.533.000 10% 1.156.9
06 8% 3.1. Alcance del programa y
resultados de divulgación 600.000 4% 437.519 3% 3.2. Divulgación de los resultados de
clúster 933.000 6% 719.387 5%
4. Otras actividades 1.859.341 12% 1.504.4
42 11%
4.1. Gestión del programa 781.923 5% 597.201 4%
4.2. Coordinación del clúster 510.000 3% 339.822 2%
4.3. Servicios de asesoría 567.418 4% 567.418 4%
5. Total (5=1+2+3+4) 14.910.309 100% 14.160.
530 100%
Transparencia en la asignación de fondos a los equipos de EI
– ¿Qué tan transparente fue la asignación de los recursos del SIEF a los equipos de evaluación de impacto?
La asignación de fondos a los equipos de EI fue transparente.
Respecto al nivel de la transparencia en la asignación de recursos a los equipos de evaluación, un 97% de los LET encuestados respondieron "muy transparente" o "transparente." La convocatoria de propuestas fue un proceso transparente, con "reglas del juego" explícitas.
20
Mecanismos y procesos de control de calidad
– ¿Qué tipos de mecanismos y procesos de control de calidad se establecieron para garantizar la calidad de la cartera de la evaluación de impacto del SIEF?
Se estableció un proceso de estudio por expertos con una revisión interna y externa.
Como mecanismo de control de calidad, se creo un proceso de revisión por expertos de propuestas presentadas para obtener financiamiento del SIEF. Este proceso integró un equilibrio entre rigor (con una revisión interna y externa) y flexibilidad, con dispensa del proceso en caso de que ya se hubiese realizado una revisión rigurosa por el donante o una institución o revista académica; la mayoría de las respuestas a la encuesta del LET indicaron que fue un proceso transparente. La siguiente cita del LET compara el proceso del SIEF con el de otros fondos:
“He recibido apoyo para las labores de investigación de muchas otras fuentes de financiamiento a lo largo de los años (el presupuesto de apoyo a la Investigación del BM, el programa de BNPP, de SFLAC, DFID, ERO, el fondo de la preparación del programa EFA FTI) y creo que el SIEF es un referente por haber instaurado un proceso de revisión competitivo, y que es riguroso, tanto sustancial como analíticamente, pero al mismo tiempo "ligero", flexible y eficiente en su administración. No es fácil llegar a este equilibrio, pero creo que el SIEF lo ha logrado”.
En la revisión entre pares, tanto los revisores externos como internos revisan el apunte de concepto preliminar y, cuando es necesario, piden más información o sugieren cambios. El líder del clúster comunica los comentarios de los revisores a los LET y corrobora los apuntes de concepto corregidos. La gestión del SIEF aprueba el proceso de revisión por expertos y autoriza (o no) al LET a presentar la propuesta para financiamiento.
El llamado a las propuestas exigía una especificación rigurosa y correcta, y la técnica más utilizada por el SIEF en las EI fueron los diseños aleatorios (según el 74% de las respuestas de la encuesta de los LET). El resto de las EI subsidiadas por el SIEF utilizó la regresión discontinua, el apareamiento de las propensiones y otros enfoques cuasi experimentales u observacionales. Por ejemplo, la EI centrada en la instalación en hogares de cañerías para el sistema de aguas residuales en Uruguay y la EI del caso de "Contigo Vamos por Más" en Guanajuato, México, utilizaron un diseño cuasi-experimental con una muestra de localidades de tratamiento y de control, así como el apareamiento de las propensiones y los métodos de diferencia en diferencias combinados con entrevistas semi estructuradas a las partes interesadas importantes.
Instrumentos de monitoreo del SIEF
– ¿En qué medida y en qué formas se utilizaron y fueron útiles los instrumentos de monitoreo del SIEF (informes anuales y semestrales)?
Los instrumentos de monitoreo del SIEF se usaron de manera provechosa.
La hoja de cálculo facilitó una gestión útil de los recursos del SIEF, lo que derivó en la transferencia oportuna de los fondos a las actividades del SIEF. Además, se utilizó la hoja de cálculo como una fuente base de información para los informes anuales y semestrales. Estos instrumentos fueron útiles en la toma de decisiones acerca de la asignación y reasignación de fondos, lo que facilitó la implementación del programa.
21
4. Resultados
Las preguntas de TDR acerca de los resultados del SIEF son las siguientes:
– ¿En qué medida el programa de SIEF ha logrado alcanzar sus objetivos estratégicos?– ¿En qué medida las actividades de desarrollo de capacidades de SIEF han contribuido a una
mejor comprensión y uso de las evaluaciones de impacto?– ¿En qué medida las actividades de investigación y divulgación de SIEF han contribuido a un
mejor acceso al conocimiento sobre el impacto de los programas de Desarrollo Humano? – Cuando los resultados previstos no fueron logrados, ¿cuáles fueron las principales razones? – ¿Hubo algún resultado imprevisto?– ¿Hay alguna enseñanza en cuanto a cómo el SIEF u otros programas similares podrían
haber obtenido mejores resultados? – Si el programa del SIEF continuara o se modernizara, ¿qué posibles resultados podrían
obtenerse? ¿Qué cambios se podrían recomendar para que sea más eficaz?
En lugar de contestar cada pregunta, este capítulo está organizado en torno a la matriz basada en resultados del SIEF. Esta consta de cuatro secciones que corresponden a las 4 metas estratégicas del SIEF: Se calificarán las diferentes metas y sus respectivos resultados o resultados esperados de acuerdo a una escala de 6 puntos y se interpretarán de la siguiente forma (a continuación se muestran las calificaciones específicas a la derecha de las metas GpRD de la matriz del SIEF y los resultados correspondientes) 14:
Muy satisfactorio, Satisfactorio, Medianamente satisfactorio, Medianamente insatisfactorio, Insatisfactorio, Muy insatisfactorio
Desarrollo de la capacidad
– Meta 1: desarrollar capacidades que permitan mejor entender y utilizar las técnicas de evaluación de impacto;
Muy satisfactorio 15 .
Resultado 1.1 (R11): tanto los evaluadores expertos como los investigadores del BM y sus países cliente, como otras organizaciones públicas y privadas, utilizaron las habilidades adquiridas en los talleres y los materiales de capacitación del SIEF para diseñar y realizar los estudios de EI.
Muy Satisfactorio.
Fundamento o evidencia: el objetivo era capacitar a 1893 personas y realizar 12 talleres regionales, pero en realidad se capacitaron a 2403 personas y se realizaron 17 talleres. El estudio de seguimiento proporciona evidencia del uso de habilidades adquiridas en los talleres del SIEF; véase el cuadro A.
14 Véase “calificación de los resultados en http://ieg.worldbankgroup.org/content/dam/ieg/ratings/HarmonizeEvalCriteria.pdf15 La calificación de cada objetivo es el modo de las calificaciones en que se descompone el objetivo (la alta frecuencia de calificación de un conjunto de calificaciones asociadas con un objetivo correspondiente)
22
R12: los gerentes del BM y sus países clientes utilizaron las habilidades de gestión adquiridas en los talleres del SIEF y los materiales de capacitación del SIEF para ayudar en el diseño e implementación de los estudios de EI en sus programas.
Muy Satisfactorio.
Fundamento o evidencia: El estudio de seguimiento y los siguientes párrafos en esta misma subsección corresponden a los R12:
El objetivo de los talleres de "Turning Promises to Evidence" [Transformar las promesas en evidencias], el principal medio por el que el SIEF promovió el desarrollo de la habilidad y la capacitación en la evaluación de impacto, ha sido el de proporcionar a los participantes una visión general de la evaluación de impacto. Estos talleres son cursos regionales de una semana de duración que se enfocan en el diseño, implementación y gestión de las evaluaciones de impacto, personalizados para equipos de trabajo gubernamentales colaboradores en los países clientes, personal del Banco Mundial y personal de las agencias de desarrollo asociadas.
La meta principal de estos talleres ha sido incrementar la eficacia de los programas de desarrollo humano por medio del desarrollo de capacidades en la evaluación de impacto y en la gestión basada en resultados en los países clientes y agencias asociadas. Esto incluye técnicas avanzadas para la evaluación de impacto y la comprensión de su importancia en la elaboración de políticas y diseño de programas, un claro entendimiento de cómo construir una cadena de resultados y habilidades prácticas para aplicar las técnicas de evaluación de impacto en sus propios proyectos. Los talleres consistían en una combinación interactiva de sesiones grupales pequeñas y grandes durante las cuales se practicaba lo aprendido durante la semana.
Una innovación creada por estos talleres ha sido ofrecer a los participantes la posibilidad de escoger entre dos itinerarios formativos alternativos: uno enfocado a los responsables de elaborar las políticas y otro a los investigadores. Ambos itinerarios, impartidos en paralelo, fueron diseñados para garantizar la coherencia y difusión de mensajes claves para ambos grupos. Las sesiones enfocadas a los responsables de elaborar políticas fue primordial para el desarrollo de capacidades orientadas a administrar la evaluación de impacto (y para fomentar su demanda), mientras que las sesiones técnicas desarrollaron capacidades para realizar las evaluaciones de impacto.
Durante los talleres, los responsables de elaborar políticas, el personal técnico y los líderes del equipo de tareas del BM participantes trabajaron juntos en sesiones grupales como equipos de proyecto con evaluaciones de impacto de alta calidad e implementaron planificaciones para sus proyectos. En el último día del taller, los equipos presentaron sus propuestas de diseños de evaluación a todos los grupos y recibieron aportes de ellos y de los moderadores del curso.
Desde enero de 2008 el SIEF ha patrocinado 17 talleres de este tipo con USD 1.500.000. Los talleres se realizaron en todas las regiones en desarrollo y también recibieron apoyo económico del Departamento para el Desarrollo Internacional del Reino Unido (DFID), con un monto de USD 475.000, del programa de Asociación Banco-Países Bajos (BNPP) y de otras unidades y fondos del BM (por ejemplo, los talleres en Rio de Janeiro también fueron patrocinados por la DIME y por la oficina del BM en Brasil).
23
Por medio de estos talleres, se han capacitado a 2406 participantes, lo que corresponde a 251 equipos de proyecto, de los países clientes y agencias asociadas en las técnicas de evaluación de impacto. En promedio, en cada taller participaron personas de 9 países. Se presenta información detallada acerca de estos talleres en la tabla 4.
Tabla 4: Talleres de Evaluación de Impacto regionales
Lugar Fecha Países asistentes Participantes
Equipos de
proyectoCalidad* Utilidad**
Cairo, Egipto 13 a 17 de enero de 2008
12 160 17 4,07 4,14
Managua, Nicaragua 3 a 7 de marzo de 2008
11 104 15 4,83 4,84
Madrid, España 23 a 27 de junio de 2008
1 196 9 3,94 3,51
Manila, Filipinas 1 a 5 de diciembre de 2008
6 137 16 - -
Lima, Perú 26 a 30 de enero de 2009
9 182 18 4,43 4,54
Amán, Jordania 8 a 12 de marzo de 2009
9 206 17 3,93 3,88
Beijing, China 20 a 24 de julio de 2009
1 212 12 4,38 4,10
Sarajevo, Bosnia 21 a 25 de septiembre de 2009
17 115 12 4,37 4,35
Ciudad del Cabo, Sudáfrica.
7 a 11 de diciembre de 2009
10 108 11 4,29 4,16
Katmandú, Nepal 22 a 26 de febrero de 2010
7 118 15 4,33 4,22
Rio de Janeiro, Brasil 26 a 30 de abril de 2010
3 224 22 4,37 4,38
Accra, Ghana 24 a 28 de mayo de 2010
17 143 19 4,37 4,38
Túnez, Túnez 18 a 22 de octubre de 2010
10 80 10 4,63 4,50
Seúl, Rep. de Corea 6 a 10 de diciembre de 2010
10 134 12 4,37 4,42
Seúl, Rep. de Corea 29 de ago. a 2 de sept. de 2011
6 60 13 4,71 4,49
Dacca, Bangladesh 13 a 23 de octubre de 2011
6 127 16 3,90 4,06
Santiago, Chile 16 a 27 de enero de 2012
9 100 17 - -
Total 17 talleres regionales 9,11 2.406 251 4,33 4,26
Respuestas de los participantes al final de los talleres, en promedio, según fue calificado al final de cada taller por los participantes en la escala de 1 (mínimo) a 5 (máximo):* ¿Cómo calificaría la calidad general de la actividad? ** ¿Cómo calificaría la utilidad general de la actividad??
24
La Oficina del Economista Jefe de HDN preparó un informe de seguimiento de estos talleres; sus principales hallazgos se presentan en el siguiente cuadro.
Cuadro A. Hallazgos del informe del estudio de seguimiento del programa de capacitación para la Evaluación de Impacto patrocinado por SIEF
Los resultados del estudio de seguimiento sugieren que el programa de capacitación "Turning Promises to Evidence" [Transformar las promesas en evidencias] ha logrado desarrollar con eficacia las habilidades de evaluación de impacto en los países clientes, y ha logrado promover comunidades de prácticas entre profesionales y expertos en evaluación de impacto y en desarrollo humano. Más concretamente, los resultados de esta encuesta sugieren que:
- Los participantes de estos talleres están utilizando las destrezas que aprendieron al diseñar, implementar y utilizar evaluaciones de impacto en su trabajo. La mayoría de las personas que respondieron declaran que, después del taller, han diseñado evaluaciones de impacto (56%), han ayudado a gestionar estudios de evaluación de impacto (71%) y han desarrollado cadenas de resultados (74%). La gran mayoría de los participantes (93%) informa que han leído evaluaciones de impacto.
- Desde que comenzaron los talleres, un número importante de participantes continúa estando involucrado con el estudio de evaluación de impacto a cuyo diseño contribuyeron durante las sesiones de grupo;
- Los talleres han contribuido a consolidar comunidades de prácticas en los países clientes respecto a la evaluación de impacto en áreas temáticas clave de desarrollo humano;
- Los participantes respaldan encarecidamente la aplicación de técnicas de evaluación de impacto y gestión basada en resultados en sus organizaciones.
La conclusión general de este estudio es que los talleres "Turning Promises to Evidence" han demostrado ser útiles en desarrollar las habilidades de evaluación de impacto de funcionarios de gobierno, profesionales encargados del desarrollo y expertos en evaluación de los países clientes. Los resultados del estudio coinciden con las calificaciones de alta calidad y utilidad asignadas por los participantes al final de cada taller (4,3 en promedio en la escala de 1 a 5, como se ha presentado en la Tabla 4).
Conclusión relacionada con el desarrollo de la habilidad de IE:
El enfoque en la capacitación introdujo un formato innovador de doble itinerario, que coincide con las diferentes demandas de los responsables de la elaboración de políticas, los gerentes de evaluación y los especialistas en evaluación. Este enfoque fortalece tanto la demanda como la oferta de evaluación de impacto a nivel de país, y también en la Red de Desarrollo Humano del Banco Mundial, donde tuvo una función catalizadora. Por otro lado, el SIEF no ha fortalecido las habilidades de evaluación del donante español (que fue uno de los objetivos incluidos en el acuerdo cuando se estableció el SIEF), a excepción de los talleres de evaluación de impacto realizados en Madrid y de las asesorías técnicas proporcionadas a equipos de proyectos financiados por la cooperación española que estaban interesados en llevar a cabo EI. El libro "La evaluación de Impacto en la Práctica" elaborado por SIEF y traducido al español y al francés, es un recurso muy valioso que puede ser utilizado en el desarrollo de capacidades de evaluación de impacto en los países en desarrollo, en el Banco Mundial y en España. El enfoque del SIEF se ha concentrado en desarrollar habilidades de evaluación de impacto en las personas más que en desarrollar capacidades de EI en instituciones.
25
Recomendaciones para el desarrollo de las habilidades de EI:
El nuevo programa de EI podría centrarse no solamente en las habilidades de EI de cada persona, sino también abarcar las capacidades de EI de las instituciones. Por ejemplo, cooperar en la implementación de mecanismos institucionales para gestionar la EI (como en los casos de México y Chile) en organizaciones que no son responsables de la implementación de programas que son evaluados. De esta manera, se estaría fortaleciendo la credibilidad de la evidencia generada por las evaluaciones de impacto.
En relación con la capacitación en EI, en un programa futuro podría ser útil tomar en cuenta las siguientes recomendaciones del informe del estudio de seguimiento de SIEF.
Cuadro B. Recomendaciones para la capacitación de EI
i) Incorporar suficientes recursos con el objetivo de ajustarse a la creciente demanda de capacitación de evaluación de impacto y de servicios de asesoría, de los países clientes y de las agencias asociadas, que se esperan en los próximos años. Aumentar la capacidad de evaluación de impacto de las unidades regionales y promover asociaciones con universidades locales y centros de investigación para permitir que tengan una función cada vez más importante en la satisfacción de la demanda de EI.
ii) Monitorear el progreso de los estudios de evaluación de impacto que se diseñan en los talleres para detectar las necesidades de capacitación y los beneficios potenciales de las actividades de servicio de asesoría que podrían ayudar a reducir el número de estudios de evaluación de impacto que no continúan después del taller. Involucrar a los altos directivos y los responsables de formular políticas en la difusión de resultados para aumentar el apoyo de los altos directivos y los recursos para EI en los países clientes y en las agencias socias.
iii) Diseñar herramientas para proporcionar capacitar a los participantes sobre cómo convencer a sus jefes para que inviertan recursos que permitan realizar evaluaciones de impacto.
iv) Involucrar a los ex participantes de talleres en actividades de capacitación e investigación para consolidar la expansión de las comunidades de prácticas de la evaluación de impacto. Estimular la participación de ex participantes de talleres regionales como profesores/as o moderadores/as para facilitar su transición de miembros activos a miembros "en el corazón mismo" de la comunidad de prácticas .
v) Adaptar la duración y el contenido de los talleres a las necesidades de los países clientes; por ejemplo, se pueden ofrecer talleres de segunda generación que se centren en asuntos técnicos o de políticas específicos, o se puede expandir el componente estatal cuando se detecta la demanda de esa capacitación.
vi) Llevar a cabo actividades de seguimiento y servicios de asesoría para consolidar y mejorar los resultados de aprendizaje de los talleres. Incorporar recursos para entregar actividades de capacitación periódicamente. vii) Mejorar el monitoreo y la evaluación de los talleres de impacto futuros al agregar en el formulario de registro en línea algunas preguntas que registren algunos datos del postulante, como la edad, tipo de organización e idiomas que habla, así como un segundo correo electrónico, y teléfonos. Al comienzo de la capacitación, recoger la información sobre el nivel de destrezas y la participación con trabajo de evaluación de impacto de los participantes, de modo que los resultados del aprendizaje puedan ser medidos en el futuro. Traducir el instrumento de encuesta a otros idiomas, de acuerdo con los idiomas que manejan los participantes y la disponibilidad de recursos. Cuando sea posible, personalizar las solicitudes y recordatorios de la encuesta de acuerdo con el idioma de cada participante.
Apoyo para la EI
– Objetivo 2. Respaldar la instauración de técnicas de evaluación de impacto en programas de desarrollo seleccionados para mejorar los resultados de Desarrollo Humano (DH)
26
Muy satisfactorio
R21. Expertos e investigadores del Banco Mundial y sus países clientes han aplicado cada vez más métodos para medir el impacto que tienen los programas seleccionados en términos de resultados de DH. Responsables del Banco Mundial y sus países clientes están participando cada vez más en el diseño y la conducción de estos estudios.
Muy Satisfactorio
Fundamento o evidencia: el SIEF financió 55 estudios (véase tabla 2), cuando la meta era 5016; además se cuenta con la evidencia de las respuestas a la encuesta de los LET (véase también los ejemplos en la última sección en este capítulo). Estudio de seguimiento (véase Cuadro A)
R22. Directores de áreas seleccionadas relacionadas con el DH perstan cada vez más apoyo a la evaluación del impacto de sus programas.
Muy Satisfactorio
Fundamento o evidencia: tabla 3 y entrevistas.
R23. Los responsables de formular políticas y directores de los países donantes están considerando la aplicación de métodos de EI para medir el impacto de algunos de sus programas de DH.
Satisfactorio
Fundamento o evidencia: respuestas a la encuesta de los LET y entrevistas.
Conclusión sobre el apoyo a las EI: SIEF proporcionó apoyo valioso para la aplicación de la EI en programas de desarrollo para el DH, y excedieron sus metas.
Recomendación: dada la brecha aún significativa en la EI sería importante ampliar el trabajo realizado por SIEF con el objeto de ampliar su alcance. Para este fin, se podría retomar la experticia en EI disponible, otorgada por SIEF, así como los recursos materiales creados por SIEF para desarrollar la capacidad de EI.
16 De hecho, en el Anexo I del Contrado de Administración del Fondo Fiduciario se indicaba cada año que el Fondo Fiduciario respaldará al menos 5 evaluaciones de impacto rigurosas (con una meta de 15 evaluaciones en el periodo de 3 años),
27
Difusión de los hallazgos de SIEF y fomento del acceso al conocimiento
– Objetivo 3. Difundir los hallazgos de SIEF, y promover el acceso al conocimiento respecto al impacto de los programas de DH
Satisfactorio
R31. Expertos e investigadores en evaluación en áreas seleccionadas relacionadas con el DH utilizan la evidencia proporcionada por las publicaciones de SIEF para su trabajo de investigación; comparten conocimiento por medio de las comunidades de práctica de SIEF para diseñar o para progresar en su investigación, y utilizar recursos financiados por SIEF (publicaciones, instrumentos, sitio web) para diseñar o perfeccionar su investigación.
Satisfactorio
Fundamento o evidencia: se muestran ejemplos en los últimos párrafos de esta sección. Existe evidencia adicional en las respuestas de los LET en las encuestas y en las entrevistas. La última sección de este capítulo proporciona algunos ejemplos (como los casos de México, Burkina Faso y Nigeria en el proyecto ampliado de control del paludismo).
R32. Responsables del Banco Mundial y sus países clientes toman en consideración la evidencia mostrada en las publicaciones de SIEF para explorar los cambios posibles respecto a los tipos de procesos de gestión que podrían aumentar el impacto de sus programas; comparten experiencias a través de las comunidades de prácticas de SIEF y utilizan algunos de los recursos otorgados por SIEF para aumentar el impacto de sus programas
Satisfactorio
Fundamento o evidencia: En la última sección de este capítulo se muestran algunos ejemplos (los casos de evaluaciones sobre programas de prevención del VIH/SIDA de Brasil, Malaui y Tanzania) . Existe evidencia adicional en las respuestas de los LET respecto a las encuestas y en las entrevistas.
R33. Directores de las oficinas del Banco Mundial y de los países cliente están utilizando la evidencia proporcionada por SIEF con el objetivo de cambiar el enfoque de sus programas hacia acciones que tengan un impacto mayor en el desarrollo.
Satisfactorio
Fundamento o evidencia: respuestas de los LET respecto a la encuesta y en las entrevistas.
R34. Los responsables de formular políticas son conscientes de la existencia de un cuerpo de evidencias para una mejor toma de decisiones en áreas que tengan efecto en el DH basado en el impacto de los programas.
Medianamente satisfactorio
Fundamento o evidencia: Las notas E2P son instrumentos útiles para que los responsables de formular políticas sean conscientes de la existencia de evidencias relevantes, pero al momento de realizar este informe de evaluación no se encuentran en el sitio web de SIEF y no existe evidencia de que sean utilizadas por los
28
responsables de formular políticas17. Por otro lado, los siguientes párrafos de esta sub-sección se refieren a los productos de SIEF que han sido utilizados (y que podrían ser utilizados incluso más) para la difusión de resultados de EI.
Notas de políticas", “Evidencias para Mejores Políticas (E2P)": El SIEF ha brindado apoyo a la elaboración de esta serie de notas de políticas, para difundir los resultados de EI en el área de Desarrollo Humano. El primer apunte E2P se publicó en septiembre de 2010, y se redactaron 11 notas E2P hasta febrero de 2012 (el anexo iv incluye todos los títulos). Las últimas 7 notas (es decir, aquellas publicados desde marzo de 2011) reconocen explícitamente el apoyo otorgado por el SIEF. Este es un instrumento de difusión valioso que facilita el proceso de entregar los resultados de la investigación y de la evaluación del impacto a los responsables de formular políticas. La información es presentada en una forma agradable para el lector. Una posible limitación de algunas de estas notas es que, a pesar de que sus mensajes corresponden frecuentemente a estudios de casos únicos, son enmarcados de forma que el lector puede no darse cuenta de que su validez externa es limitada.
Libros: Los resultados de la evaluación de impacto han sido publicados en los siguientes libros: “Transferencias Monetarias Condicionadas: Reduciendo la pobreza actual y futura ” (el SIEF financió su traducción al español), "Making Schools Work: New Evidence on Accountability Reforms" [Cómo lograr que las escuelas funcionen: Nuevas evidencias de reformas de rendición de cuentas] y “No small matter: The Impact of Poverty, Shocks, and Human Capital Investments in Early Childhood Develop [“No es un asunto sin importancia: el impacto de la pobreza, los shocks y las inversiones en capital humano en el desarrollo de la infancia temprana”].
Además, se elaboró un manual de capacitación para la evaluación de impacto titulado La evaluación de impacto en la práctica, que está disponible en inglés, español y francés. Este libro ha obtenido críticas positivas en la revista Journal of Economic Literature de la Asociación Estadounidense de Economía (septiembre 2011). La descarga de este manual es gratuita y se puede encontrar con Google o cualquier otro buscador, o directamente en www.worldbank.org/ieinpractice. En el mismo sitio web se encuentra un conjunto completo de herramientas como presentaciones PowerPoint y videos con los contenidos básicos. El libro se encuentra en inglés, español y francés. Este material puede ser utilizado por las personas que no puedan asistir a los talleres regionales. Este libro, como indica el Director del Centro de Evaluación de Políticas de Desarrollo en el Instituto de Estudios Fiscales del Reino Unido, proporciona "una pauta accesible, integrada y clara para la evaluación de impacto".
Otras publicaciones: Además de los apuntes y libros en materia de políticas, los equipos de evaluación de impacto apoyados por SIEF han elaborado 25 documentos y artículos de investigación.
17 Nota del SIEF: en el momento de realizarse esta traducción las notas de políticas E2P están disponibles en la pagina web del SIEF: www.worldbank.org/SIEF
29
Presentaciones: SIEF ha respaldado a más de 47 presentaciones en conferencias internacionales y otros foros de discusión como una forma de compartir y divulgar el conocimiento.
Cobertura mediática: asimismo, como se menciona en la nota al pie de la tabla 1, algunas publicaciones prestigiosas e influyentes, como las revistas The Lancet, The Economist, Journal of Economic Literature, y periódicos como The Financial Times y The Wall Street Journal han mencionado los resultados producidos con los fondos del SIEF.
Tabla 5 Tipo de producto proporcionado por las EI financiadas por SIEF
Tipos de productos Número
Notas conceptuales 47
Encuestas de línea de base 10
Informes de EI (sin publicar) 12
Artículos o documentos de EI (publicaciones)
25
Libros (o capítulos de libros) 4
En el Anexo iii se puede encontrar información detallada sobre los productos proporcionados por las EI financiadas por SIEF. Es importante mencionar que, además de los productos incluidos en la tabla 5, las evaluaciones de impacto financiadas por SIEF han generado datos útiles no solo para la evaluación, sino que también para el diseño de nuevas intervenciones. Además, los bases de datos se han incorporado al catálogo de micro datos del Banco Mundial para facilitar su documentación y acceso.
Sitio web : el sitio web no está actualizado (por ejemplo, no se han mencionado los últimos talleres realizados en 2010, que como se presenta en la tabla 4, se han realizado 3 talleres adicionales desde entonces); no se incluye información detallada sobre las EI que fueron implementadas (prácticamente ninguno de los productos incluido en la tabla 5 se muestran en el sitio web). En la actualidad, el sitio solo muestra parte de la información general sobre SIEF, lo que no es suficiente como para que este sitio funcione como un portal en donde se comparte información sobre las EI financiadas por SIEF. A pesar de que es importante que el sitio haya sido traducido al español, el sitio en español presenta un problema adicional pues la primera página tiene un diseño borroso. Por último, su URL es algo complicado y largo:http://web.worldbank.org/WBSITE/EXTERNAL/EXTABOUTUS/ORGANIZATION/EXTHDNETWORK/EXTHDOFFICE/0,,contentMDK:23150708~menuPK:6508083~pagePK:64168445~piPK:64168309~theSitePK:5485727,00.html
30
Conclusión sobre la difusión y promoción del acceso al conocimiento: SIEF ha producido material valioso que ha sido divulgado principalmente por diferentes medios que no incluyen internet. El sitio web del SIEF no está actualizado ni completo y no ha tenido una función útil en la divulgación del conocimiento generado por SIEF. Existen oportunidades para mejorar en esta área18.
Recomendaciones
Uno de los principales medios para compartir el conocimiento generado por el programa debería ser la creación y mantenimiento de un sitio web actualizado, completo y apto para todo usuario que contenga información del programa sobre evaluaciones de impacto y los resultados obtenidos. Con el fin de garantizar que el sito web cumpla esta función, valdría la pena llevar a cabo revisiones periódicas del sitio y asignar adecuadamente los recursos para su diseño, mantenimiento y revisión. Asimismo, sería conveniente estudiar la posibilidad de crear un sitio web independiente (por ejemplo, www.sief.org), que no estuviera sujeto a las limitaciones derivadas por pertenecer al sitio del Banco Mundial (www.worldbank.org), pues se trata de un programa de asociación financiado por un donante. El sitio web del programa podría tener una intranet para supervisar el programa de manera interna y para que sea más fácil compartir la información acerca de los procesos que se deben seguir y los productos intermediarios.
Un enfoque proactivo respecto a la divulgación (y no tanto a la elaboración de planes de divulgación para cuando se hayan completado las evaluaciones) podría incluir, durante la implementación de las evaluaciones, un conjunto de actividades (como videos y fotografías) que, con un costo marginal muy bajo, podrían realzar significativamente la calidad de la divulgación y al mismo tiempo quedar como material de capacitación.
El uso del SIEF como plataforma para promover la Gestión para Resultados de Desarrollo
– Objetivo 4. Utilizar SIEF como una plataforma para promover la Gestión para Resultados de Desarrollo (GpRD).
Satisfactorio
R41a. Los expertos e investigadores en evaluaciones de países cliente lideraron el diseño y la conducción de algunos estudios de EI.
Satisfactorio
Fundamento o evidencia: Las encuestas a los LET ofrecen evidencia, complementada con la información que se incluye en los informes de EI.
R41b. Los ejecutivos de países clientes del Banco Mundial lideraron la gestión de algunos estudios de EI, e identificaron programas con potencial para ser evaluados en términos del impacto.
Medianamente satisfactorio
18 Nota del SIEF: en el momento de la finalización de esta traducción, el sitio web del SIEF ha sido actualizado y mejorado, incorporando la información y sugerencias señaladas por el autor del informe.
31
Fundamento o evidencia: La forma de proceder de los fondos fiduciarios (FF) en el Banco Mundial limitaron el alcance al cual los responsables de países clientes del Banco Mundial podrían liderar la gestión de estudios de EI financiados por los FF. Sin embargo, existen casos en los cuales los países clientes han identificado programas con potencial para las EI, como se muestra en las entrevistas.
R41c. Los directores y responsables de formular políticas de países clientes del Banco Mundial sugieren programas para ser evaluados por SIEF, de acuerdo con sus prioridades estratégicas de desarrollo; y considerar la posibilidad de integrar periódicamente evaluaciones de impacto en sus organizaciones.
Medianamente satisfactorio
Fundamento o evidencia: igual que R41b.
R42a. Los expertos e investigadores del Banco Mundial comparten recursos para elaborar estudios de EI y divulgar sus resultados. Los expertos en EI del Banco Mundial y sus países clientes, además de otras organizaciones y países, comparten su experiencia y desarrollan esquemas informales de normalización.
Satisfactorio
Fundamento o evidencia: los talleres proveen un foro para compartir recursos, que ayudan a elaborar estudios de EI, y conferencias de clúster (o conferencias en las cuales líderes de clúster participan) los que se utilizaron, entre otros objetivos, para divulgar los resultados de EI y las experiencias compartidas. Existen algunos casos, como la evaluación de impacto del programa de agua potable y saneamiento en Paraguay y la del Programa Juventud y Empleo en República Dominicana, en los que los equipos de EI que reci vieron apoyo del SIEF se coordinan con otras organizaciones internacionales.
R42b. Responsables del BM desarrollan mecanismos de coordinación para evitar la duplicación de esfuerzos entre los estudios de EI que gestionan. Responsables del Banco Mundial y de países clientes, junto a responsables de otras organizaciones internacionales y países, consideran la posibilidad de diseñar evaluaciones conjuntas.
Satisfactorio
Fundamento o evidencia: igual que R42a y el informe de progreso de DIME.
R42c. Los directores y responsables de formular políticas en el BM siguen apoyando iniciativas de coordinación interna para las EI o para la gestión basada en resultados. Los directores y responsables de formular políticas del BM y de sus países clientes, junto a otras organizaciones internacionales, promueven esquemas de normalización de las EI y la gestión basada en resultados.
Satisfactorio
Fundamento o evidencia: Participación en acontecimientos conjuntos con otras organizaciones, centrados en la evaluación de impacto, como la Conferencia en Cuernavaca de 3ie y las reuniones de Redes de Iniciativa de Evaluación de Impacto (Network of Impact Evaluation Initiatives, NONIE). Informe de progreso de la DIME.
32
R43a. Expertos e investigadores en evaluaciones de países clientes del BM contribuyen, a través de las comunidades de prácticas promovidas por el SIEF, a diseñar e implementar planes de gestión basada en resultados.
Satisfactorio
Fundamento o evidencia: Expertos e investigadores en evaluaciones de países clientes del BM participan en la capacitación de evaluación de impacto de SIEF (véase tabla 4). La creación de una cadena de resultados fue uno de los componentes clave en la capacitación de evaluación de impacto de SIEF. El estudio de seguimiento de los talleres del SIEF evidenció que un 74% de las personas que contestaron la encuesta han elaborado cadenas de resultados para sus proyectos desde que participaron en el taller, y un 97% manifestaron que están de acuerdo con que la gestión para resultados puede mejorar el grado en que se logran los objetivos de sus organizaciones.
R43b. Por medio de las comunidades de prácticas promovidas por el SIEF, los ejecutivos de organizaciones internacionales y de países, en especial del BM y sus países clientes, contribuyeron al diseño e implementación de los planes de gestión para resultados.
Satisfactorio
Fundamento o evidencia: Los ejecutivos de organizaciones internacionales y de otros países participaron en la capacitación de evaluación de impacto de SIEF (véase tabla 4). La creación de una cadena de resultados fue uno de los componentes clave en la capacitación de evaluación de impacto de SIEF. En el estudio de seguimiento del taller de SIEF se dejó en evidencia que un 74% de las personas que contestaron la encuesta han elaborado cadenas de resultados para sus proyectos desde que participaron en el taller, y un 97% manifestaron que están de acuerdo con que la gestión para el desarrollo de resultados puede mejorar el grado en que se logran los objetivos de sus organizaciones.
R43c. Los directores y responsables de formular políticas de organizaciones internacionales y de países en desarrollo, y especialmente del BM y de sus países cliente, consideraron la posibilidad de centrar sus esfuerzos para lograr resultados. El BM y los miembros de países donantes del Comité Directivo de SIEF analizaron la información mostrada en los informes de seguimiento y de evaluación de SIEF, con el fin de considerar la posibilidad de redactar una proposición para extender el SIEF, de acuerdo con el marco de gestión basada en resultados.
Satisfactorio
Fundamento o evidencia: el lanzamiento reciente del SIEF II (multidonante) proporciona un marco apropiado para la proposición de extender el SIEF original que se guía según el marco de gestión basado en resultados.
Conclusión: gracias a diferentes iniciativas, SIEF ha sido utilizado para promover la GpRD.
Recomendación: con el objeto de destacar el uso de SIEF como plataforma para promover la gestión basada en resultados, sería importante impulsar las comunidades de prácticas regionales en materia de GpRD, http://www.mfdr.org/CoP/index.html, además del sector y las comunidades de práctica de EI.Ejemplos del uso de EI apoyadas por el SIEF y de su influencia en las políticas públicas.
33
A pesar de que una evaluación completa de la influencia en las políticas podría necesitar estudios de caso, y con la salvedad que podrían existir otros factores que influencien las políticas, es útil ofrecer algunos ejemplos del uso de las EI respaldadas por el SIEF y de su influencia en las políticas públicas, de acuerdo con las encuestas a los LET.
Pago por desempeño en salud:
En el caso de la EI del Plan Nacer, en Argentina, respaldado por SIEF, los resultados preliminares de evaluación de impacto han ayudado a informar la fase siguiente del programa y han estimulado la expansión del programa a otras personas en la población y a nuevos tipos de servicios de salud. Algunas innovaciones introducidas por la EI de esta intervención, que se presentan en el cuadro C, podrían ser útiles en otros países.
Cuadro C. Algunas contribuciones de la EI del Plan Nacer de Argentina, apoyado por el SIEF
Participación importante de los responsables de formular políticasLos secretarios de salud provinciales (dentro del país) participaron en el proceso de discusión de un "programa de evaluación” (que incluya las preguntas de evaluación) y una presentación de los resultados de evaluación.
Las encuestas de línea de base como una adición importante a las estadísticas confiables en el sector de saludLas muestras representativas a nivel provincial permitieron aprovecharon las nuevas fuentes de datos (instituciones, proveedores) que, además, pueden ser utilizadas (y están siendo utilizadas) como un aporte al momento de tomar de decisiones durante la implementación. Las actividades de evaluación del Plan Nacer han aumentado la calidad y la cantidad de los datos de salud a nivel nacional y regional 19, lo que puede conducir al diseño e implementación de intervenciones más eficaces en el sector salud.
Asegurar información confiable por medio de auditorías de la calidad de los datosLos sistemas de pago por desempeño pueden crear incentivos para que el informe de resultados sea manipulado, con la consecuencia de "estafar" el sistema. La introducción de auditorías externas para verificar la calidad de los datos en la evaluación de impacto del Plan Nacer puede servir para impedir la manipulación del informe y alertar cuando ocurra un problema.
El desarrollo de habilidades de evaluación a nivel provincial (dentro del país) La participación de colegas provinciales en el equipo de evaluación proporcionó oportunidades para aprender por medio de la práctica a nivel provincial, además de satisfacer la demanda de evaluación por parte de los responsables de alto nivel. Fuente: entrevistas con el personal de Plan Nacer que participó en su evaluación de impacto.
19 Este es un aspecto importante que se debe considerar cuando se evalúan los costos y beneficios de las evaluaciones de impacto. Otro ejemplo: es el caso de la EI de la malaria en Nigeria, donde lo que comenzó como una actividad de EI contribuyó a mejorar la información sobre la disponibilidad de los servicios de salud a nivel de cada estado.
34
Transferencias Monetarias Condicionadas
En México, los resultados provisionales de la EI ayudaron a desarrollar una estrategia de respaldo para los colegios más desfavorecidos en el país. Los resultados revelan que es necesario un cambio de políticas que se oriente más a brindar ayuda a los colegios del país.
Burkina Faso: los resultados de EI del proyecto piloto de transferencias monetarias condicionadas y no condicionadas son utilizados para la definición de programas de redes de seguridad en Burkina Faso y en otros países en la región.
Control de la malaria
Cuadro D El caso de una EI del Proyecto de Refuerzo en la Lucha contra la Malaria
En concordancia con TF095606, SIEF asignó un total de USD 183.936,06 a la evaluación de impacto del proyecto de Refuerzo en la Lucha contra la Malaria (MCBP) en Nigeria. Este proyecto forma parte de una serie de evaluaciones de impacto coordinadas por la Iniciativa para la Evaluación de Impacto de la Malaria (MIEP) y DIME. El propósito de estas evaluaciones es ayudar a los países afectados por la malaria a: desarrollar programas basados en evidencias para mejorar la salud y los resultados socio-económicos; desarrollar su capacidad de diseñar y gestionar programas de políticas basadas en evidencias; y a contribuir al cuerpo global de conocimientos sobre las intervenciones y políticas para el control eficaz de la malaria.
Los recursos de SIEF fueron claves para el progreso de esta importante evaluación, y han sido asignados en pro del objetivo de EI. Los recursos del SIEF contribuyeron a:
i) realizar un censo de las instalaciones públicas de salud primaria, PMV, laboratorios comunitarios (importantes para comprender la disponibilidad de servicios de diagnóstico a nivel de la comunidad), comunidades y grupos emparentados en los siete estados del proyecto (tres de los cuales han estado participando en las actividades de EI);
ii) analizar datos preliminares para entregar un informe de asignación aleatoria;
iii) desarrollar la capacidad de EI de los estados;
iv) diseñar modificaciones;
v) apalancar aproximadamente USD 1 millón de fondos adicionales del Fondo de Desarrollo Social de Japón y del presupuesto del proyecto para respaldar las actividades de EI; y
vi) mantener un compromiso continuo a nivel federal con el Programa Nacional de Control de Malaria (Ministerio Federal de Salud) y a nivel de estado con el Ministerio Estatal de Salud de cada EI del estado, con el fin de maximizar la probabilidad de que los resultados se tomen en cuenta durante la formulación de políticas.
35
Cuadro E Cambios en las políticas desencadenados por la EI de la malaria en Zambia
Los resultados de ambas evaluaciones en las intervenciones del sector público y de la intervención en el sector privado desencadenaron cambios de políticas. Tomando en cuenta la repercusión significativa del nuevo método de suministro público, Zambia decidió mejorar el sistema nacional de suministro directo. Se espera que esta mejora permita que, para el 2015, haya 16.000 fallecimientos menos de niños menores de cinco años relacionados con la malaria.
Por otro lado, los resultados de la intervención en el sector privado demostraron que existe una función vital que pueden cumplir los proveedores privados para reducir los efectos nocivos de la malaria No obstante, la amplia implementación de este enfoque requiere una mayor reforma regulatoria. La Autoridad Nacional de Regulación de Medicamentos (Pharmaceutical Regulatory Authority, PRA) ha reconocido las limitaciones del marco regulatorio actual, y se espera que se presente una enmienda a la Ley de Regulación de Medicamentos en la próxima sesión del Parlamento, como un proyecto de ley en esta materia para el 2012, con el propósito de hacer un registro y certificación de las farmacias en el país.
Programas para mercados activos de trabajo y oportunidades laborales para jóvenes
En República Dominicana, donde el desempleo entre los jóvenes es un asunto importante, el SIEF financió, en colaboración con el BID, una evaluación de impacto en 2008 que permitirá medir el impacto del programa en los resultados de los mercados laborales, así como en las aptitudes interpersonales y en comportamientos de reisgo, distinguiendo la importancia de la capacitación técnica y vocacional. Aunque la recolección final de datos será realizada en la segunda mitad del año 2012, los hallazgos preliminares de las encuestas longitudinales y los datos de seguimiento recolectados indican que la capacitación ha tenido un impacto positivo en los niveles de ocupación y en los ingresos de las mujeres. La capacitación en destrezas de vida es al menos tan importante como la capacitación en destrezas técnicas, y puede ser más rentable que éste último. La evaluación de impacto llevó al gobierno de República Dominicana a volver a diseñar el programa, en el cual se duplican las horas dedicadas a la capacitación de destrezas de vida y se aumentan las prácticas laborales orientadas a actividades más competitivas, como servicios de carácter comercial, restaurantes y hoteles. Estas mejoras han sido incorporadas al nuevo diseño del programa aprobado para el préstamo del BID de USD 20 millones extendido en julio de 2011.
Uganda Evaluación de impacto del Programa de Oportunidades para la Juventud (Youth Opportunities Program, YOP): un análisis de referencia descriptivo sirvió de ayuda para el diálogo entre los ejecutivos del programa y los funcionarios del gobierno, especialmente en lo que se refiere al género de los participantes en el programa y a algunos resultados en términos de gobernanza. El hallazgo de que un tercio de los miembros del grupo eran mujeres dio lugar a un debate en cuanto al interés que podrían generar los diferentes tipos de programas de capacitación vocacional en grupos mixtos en cuanto a género. Asimismo, dio paso a la discusión en relación a posibles alteraciones de las normas sobre el género de los participantes, para así crear nuevos programas de capacitación vocacional.
36
Responsabilidad con respecto a la educación
En el estado de Pernambuco, Brasil, la investigación sobre la EI, financiada por SIEF, demostró que el impacto positivo del programa de bono para los profesores había sido un factor importante al momento de persuadir a la Secretaría de Pernambuco para que mantuviera el programa. Asimismo, inspiró a la secretaria de Pernambuco, y a varios otros estados y municipalidades brasileños, a impulsar programas similares de bonos para profesores/as. El trabajo de observación de clases financiado por SIEF influyó en la decisión del gobierno de Pernambuco de continuar con la realización de observaciones anuales con un panel de colegios. Esto es una forma de seguimiento del impacto continuo del programa de bonos en los esfuerzos de los profesores y su eficacia en las clases.
En el estado de Andhra Pradesh, India, el SIEF apoyó la evaluación del impacto de tres métodos para estimular una enseñanza más eficaz. Estos incluían la entrega de bonos a los profesores, basados en el rendimiento de los estudiantes, o la entrega de capital a los colegios para comprar provisiones o para contratar un profesor adicional. En el estudio se incluyeron 500 escuelas primarias rurales dirigidas por el gobierno. La iniciativa de pagar un bono adicional a los profesores si sus estudiantes obtenían buenos resultados resultó ser muy eficaz: sus estudiantes tuvieron un resultado mejor en las pruebas de rendimiento que otros estudiantes.
Prevención del VIH/SIDA
Malawi y Tanzania: los programas experimentales de evaluación de impacto no solamente promueven el conocimiento de las condiciones en los programas de transferencias monetarias condicionadas, sino que también aportan información a los responsables de políticas al promover el conocimiento sobre parámetros clave para los programas de transferencias monetarias, como el tamaño de la transferencia y la identidad del receptor/a en el hogar. Asimismo, éstos sirvieron para informar a los responsables de políticas del potencial de los programas de transferencias monetarias para retrasar el embarazo o matrimonio en mujeres adolescentes. El experimento también sirvió como prueba de que los programas de protección social pueden reducir el riesgo de infección de VIH entre las mujeres jóvenes en África subsahariana. Los gobiernos de Malawi y Tanzania están diseñando esquemas de becas o trasferencias monetarias condicionadas para niñas en edad escolar, basados parcialmente en los hallazgos de este estudio.
Otras áreas temáticas
Tanzania: la recolección de datos de referencia financiada por el SIEF para la Fundación de Acción Social de Tanzania (Tanzania’s Social Action Fund, TASAF), un proyecto de desarrollo comunitario que se implementa en toda Tanzania, fue utilizada para la evaluación y para preparar un documento específico que influye en cómo será diseñada la próxima fase de TASAF (TASAF III) entre el Banco Mundial, TASAF y el gobierno de Tanzania. Además, los hallazgos de impacto preliminares influyen en el diseño de componentes específicos de TASAF III y otros programas gubernamentales orientados a la reducción de la pobreza.
Sudáfrica: el Departamento de Asentamientos Humanos ha estado construyendo casas desde 1994 para las comunidades de bajos recursos. Hasta el año 2008, la prioridad ha sido medir el
37
rendimiento (el número de casas que se ha completado), con un énfasis en los paquetes completos de subsidios (casa, posesión, servicios, etc) más que en la modernización gradual. Con la introducción de las evaluaciones de impacto financiadas por SIEF, los indicadores de desempeño se han movido de rendimiento a resultados e impacto, y estos indicadores están siendo incluidos en el marco actual de seguimiento y evaluación a nivel local. Por lo tanto, el respaldo para las EI continuo ha contribuido a mejorar las medidas de desempeño que incorporan un enfoque más holístico frente al desarrollo. El gobierno también está considerando enfocarse más en la modernización gradual (y no en subsidios en bloque), en el cual las EI han proporcionado algunas perspectivas que sirven de ayuda para este proceso. Los resultados de las EI han servido para proporcionar evidencias sobre metodologías eficaces para modernizar los asentamientos humanos y sobre las consecuencias de diferentes modelos de modernización. Los resultados han abierto un debate acerca de la sostenibilidad financiera de los proyectos y de las consecuencias económicas para las comunidades concretas. Como tal, se ha considerado un fortalecimiento de los componentes de alfabetización financiera para la modernización estándar con le propósito de salvaguardar las comunidades contra una mala gestión financiera del hogar. A pesar de que no se han impuesto cambios de políticas, los resultados cada vez cobran más importancia en las discusiones sobre políticas. Incluso, el ministerio ha solicitado proporcionar sugerencias sobre las mejores maneras de poner en funcionamiento algunas de las recomendaciones presentadas en el informe de EI.
5. Conclusiones y recomendaciones
En el capítulo anterior se incluyó un conjunto de conclusiones y recomendaciones luego de la presentación de cada objetivo estratégico y su clasificación. Este capítulo final consiste en conclusiones y recomendaciones más generales.
Conclusiones
El Fondo Español para la Evaluación de Impacto hizo una contribución importante al desarrollo de evidencias fiables sobre el impacto de las intervenciones de desarrollo humano en diferentes áreas temáticas, tales como las reformas de pago por desempeño en salud, las transferencias monetarias condicionadas, el control de la malaria, los programas de mercados activos de trabajo y de oportunidades laborales para jóvenes, la rendición de cuentas en educación básica, la prevención del VIH/SIDA y el desarrollo de la infancia temprana. Además, el SIEF contribuyó de manera significativa a desarrollar y consolidar la práctica de la evaluación de impacto en el Banco Mundial y en países en desarrollo. A pesar de que estas actividades se llevaron a cabo en el contexto de países en desarrollo y en transición, también es posible que sean de interés para España. Más que ser interesante por sus programas y proyectos de cooperación internacional, para España ésta es una fuente de información útil para el diseño de su políticas nacionales (por ejemplo, los resultados de los programas de capacitación laboral y oportunidades laborales para jóvenes20) y para fortalecer su capacidad de evaluación. Por el otro lado, el SIEF ha tenido una menor participación en las revisiones sistemáticas de la evidencia generada por las evaluaciones de impacto, con excepción de una serie de libros y la organización de conferencias de clúster.
20 Un ejemplo de un producto generado por SIEF que podría ser útil para España según lo que se indica en este párrafo es http://siteresources.worldbank.org/EXTHDOFFICE/resources/5485726-1239047988859/5995659-1239048041095/cf4_zMisc_ALM_SummaryNotes_SIEF-IE-on-ALMP_Jan5_PA_110121.pdf
38
Se creó un proceso de revisión de propuestas entre pares, llevado a cabo por expertos y financiado por SIEF, como mecanismo de control de calidad. Este proceso se llevó a cabo con un equilibrio entre el rigor y la flexibilidad, con un énfasis en la transparencia.
El SIEF logró apalancar recursos adicionales gracias al trabajo conjunto con otras fuentes de financiamiento. Sin embargo, la combinación de estos fondos vuelve prácticamente imposible distinguir la contribución del SIEF de la de otros donantes.
El modelo clúster del SIEF ha demostrado ser un enfoque útil y replicable21. La asignación de recursos a los clústeres temáticos de EI, en lugar de asignarlos a EI individuales, ha facilitado la consolidación de las comunidades de prácticas en EI. El SIEF contribuyó al fortalecimiento de las comunidades de prácticas en diferentes áreas del DH por medio de capacitaciones en el lugar de trabajo, talleres de capacitación y acciones de divulgación. Este fortalecimiento ha sido mayor en algunos clústers, tales como en las reformas de pago por desempeño en salud y de mercados activos de trabajo y oportunidades laborales para jóvenes. Además, hubo una menor difusión del conocimiento entre clústers, que se realizó principalmente en forma de talleres regionales de EI y por medio de las reuniones semestrales (en un principio trimestrales) organizadas por el equipo de gestión del programa SIEF.
El enfoque en la capacitación introdujo un formato innovador de doble itinerario, que coincide con las diferentes demandas de los responsables de la elaboración de políticas, los gerentes de evaluación y los especialistas en evaluación. Este enfoque fortalece tanto la demanda como la oferta de evaluación de impacto a nivel de país, y también la Red de Desarrollo Humano del Banco Mundial, donde tuvo una función catalizadora. Por otro lado, el SIEF no ha fortalecido las habilidades de evaluación del donante español (que fue uno de los objetivos incluidos en el acuerdo cuando se estableció el SIEF), a excepción del taller de evaluación de impacto realizado en Madrid y de las asesorías técnicas proporcionadas a equipos de proyectos financiados por la cooperación española que estaban interesados en llevar a cabo EI. El libro "La evaluación de Impacto en la Práctica", elaborado por SIEF y traducido al español y al francés, es un recurso muy valioso que puede ser utilizado para desarrollar capacidades de evaluación de impacto en los países en desarrollo, en el Banco Mundial y en España.
Si se aplica una escala de seis puntos para los resultados (muy satisfactorio, medianamente satisfactorio, medianamente insatisfactorio, insatisfactorio y muy insatisfactorio) a la implementación de las cuatro metas del SIEF, combinando evidencias de diferentes fuentes (encuesta a los LET, revisión de documentación y el sitio web, entrevistas), las calificaciones son las siguientes (en el capítulo 4 se encontrarán calificaciones para cada resultado acordado que corresponde a cada una de las metas diferentes y los argumentos y evidencias tras las calificaciones): Objetivo 1. Desarrollar capacidades para mejorar la comprensión y el uso de técnicas de Evaluación de Impacto (EI) Muy Satisfactorio; Objetivo 2. Respaldar la instauración de técnicas de evaluación de impacto en programas de desarrollo seleccionados para mejorar los
21 El enfoque de clúster para la evaluación de subvenciones fue introducido por Kellogg Foundation [Fundación Kelloggs] en la década de 1990, especialmente para pequeñas subvenciones. Algunas lecciones aprendidas de esta experiencia podrían ser útiles en SIEF II. Véase http://www.hfrp.org/evaluation/the-evaluation-exchange/issue-archive/evaluation-in-the-21st-century/cluster-evaluation http://www.wkkf.org/knowledge-center/resources/2010/W-K-Kellogg-Foundation-Evaluation-Handbook.aspx
39
resultados de Desarrollo Humano (DH): Muy satisfactorio; Objetivo 3. Divulgar los hallazgos del SIEF, y promover el acceso al conocimiento sobre el impacto de los programas de DH, Satisfactorio; y Objetivo 4. Utilizar el SIEF como plataforma para promover la Gestión para resultados de desarrollo (GpRD): Satisfactorio.
Un indicador del éxito del SIEF es que, al aproximarse su fin, se estableció en el Banco Mundial un nuevo fondo fiduciario Multidonante para evaluaciones de impacto, con un aporte inicial del Departamento para el Desarrollo Internacional del gobierno Británico (una fuente secundaria de fondos del SIEF I) de un monto que triplica el financiamiento del SIEF. Además, es interesante que el nuevo fondo mantiene el acrónimo SIEF en inglés (en el cual la "S" ahora significa "Strategic" [estratégico]), lo que es un reconocimiento a la calidad de las operaciones y visibilidad logradas por el Fondo Español para la Evaluación de Impacto. Como se mencionó en la presentación del nuevo SIEF: "se construirá sobre la base del conocimiento e investigación generados por el Fondo Fiduciario para la Evaluación de Impacto".
Recomendaciones
Una nueva fase del SIEF podría centrarse en las revisiones sistemáticas de resultados de EI, al tiempo que se combina la evidencia generada por las EI financiadas por el SIEF con la evidencia de otras EI o estudios. Este cambio permitiría ir más allá de "lo que funciona" (una frase utilizada con frecuencia en las publicaciones del SIEF) para llegar a "lo que funciona, en qué circunstancias y por qué". De esta manera, se estaría fortaleciendo la validez externa y la utilidad de los hallazgos de las EI. Todavía existe un gran porcentaje de EI financiadas por el SIEF que se encuentran en proceso de entrega de resultados finales. A medida se obtengan tales resultados, será necesario y conveniente llevar acabo revisiones sistemáticas de los resultados de la EI.
Mientras más las evaluaciones de impacto estén diseñadas e implementadas para el mismo tipo de intervenciones en diferentes contextos, mayor será la posibilidad de realizar declaraciones en relación a la validez externa (o generalización) de los resultados de la evaluación de impacto.
Valdría la pena también brindar apoyo a evaluaciones innovadoras (que se distinguen de las evaluaciones de intervenciones innovadoras), tales como, por ejemplo, "los procesos selectivos."
Con el fin de aumentar la flexibilidad de un fondo de evaluación de impacto, valdría la pena complementar las convocatorias de propuestas periódicas con una ventana que se mantenga siempre abierta para aportar pequeñas contribuciones al diseño de las evaluaciones (una especie de capital semilla), lo que podría cultivar la cartera de proposiciones.
En un nuevo fondo, sería conveniente promover una competencia más amplia para estos fondos, para así facilitar personal que no sea del Banco pueda participar con más facilidad en los equipos seleccionados en la convocatoria de propuestas. Esto podría complementarse con la participación de académicos y responsables de las políticas de desarrollo, que no son del Banco, como asesores externos del comité técnico, y de esta forma garantizar una percepción de total transparencia y atraer a una fuente de conocimientos más amplia.
Compartir la experiencia y el conocimiento adquirido en los clústeres temáticos a durante las reuniones periódicas, o durante los foros, podría respaldar el desarrollo de una comunidad de prácticas las evaluaciones de impacto, al tiempo que se encamina hacia economías de alcance.
40
Un medio adicional para compartir el conocimiento sería un sitio web adecuado (como se indica en la siguiente recomendación).
Uno de los principales medios para compartir el conocimiento generado por el programa debería ser la creación y mantenimiento de un sitio web actualizado, completo y apto para todo usuario que contiene información del programa sobre evaluaciones de impacto y los resultados obtenidos. Con el fin de garantizar que el sitio web cumpla esta función, valdría la pena llevar a cabo revisiones periódicas del sitio y asignar adecuadamente los recursos para su diseño, mantenimiento y revisión. Asimismo, sería conveniente estudiar la posibilidad de crear un sitio web independiente (por ejemplo, www.sief.org), que no estuviera sujeto a las limitaciones derivadas por pertenecer al sitio del Banco Mundial (www.worldbank.org), pues se trata de un programa de asociación financiado por un donante. El sitio web del programa podría tener una intranet para supervisar el programa de manera interna y para que sea más fácil compartir la información acerca de los procesos que se deben seguir y los productos intermediarios.
Durante la implementación de evaluaciones de impacto, un enfoque proactivo frente a la divulgación podría incluir un conjunto de actividades (tales como videos y fotografías) que, con un costo marginal muy bajo, podrían mejorar significativamente la calidad de la divulgación y al mismo tiempo quedar como material audiovisual de capacitación.
En relación al desarrollo de la capacidad para la evaluación de impacto, valdría la pena complementar los exitosos talleres de capacitación de evaluación de impacto diseñados e implementados por el SIEF, con el apoyo al desarrollo de capacidades institucionales para la evaluación de impacto independiente a nivel nacional.
Asimismo, valdría la pena promover un mayor compromiso con las comunidades de evaluación ajenas al Banco Mundial, tales como la Asociación Americana de Evaluación, la Sociedad Europea de Evaluación, la Asociación Internacional de Evaluación del Desarrollo, el Grupo de evaluación de las Naciones Unidas y los Grupos de Evaluación y Cooperación de los BDM. Se podrían divulgar las revisiones sistemáticas y de EI a éstos y se podrían hacer presentaciones en sus conferencias o reuniones para obtener su retroalimentación.
Finalmente, el conocimiento generado por SIEF podría ser utilizado por el Gobierno de España para enriquecer el diálogo sobre las políticas, en especial en los mercados de trabajo y en el empleo de la juventud, y promover el desarrollo de las capacidades de evaluación de impacto.
41
ANEXOS
Anexo I
Términos de referencia
Informe final del Fondo Español para la Evaluación de Impacto
22 de Noviembre de 2011
Antecedentes
En julio de 2007, el Banco Mundial y el GdE fundaron el Fondo Fiduciario para la Evaluación de Impacto y la Gestión basada en Resultados en los Sectores de Desarrollo Humano o Fondo Español para la Evaluación de Impacto (SIEF). El fin de SIEF es apoyar la Evaluación de Impacto (EI) de programas innovadores para mejorar los resultados del Desarrollo Humano (DH). Su fin ulterior es que las políticas de desarrollo sean más eficaces, gracias al incremento de la base de evidencias que de cuenta del impacto de las acciones que influyen en el DH.
El programa SIEF es gestionado por la Oficina del Economista Jefe para el Desarrollo Humano del Banco Mundial. Los recursos del SIEF respaldan a: (i) Programas de evaluación de impacto prospectivos y rigurosos en 11 sectores elegibles de Desarrollo Humano y Desarrollo Sostenible, y a 72 países en desarrollo elegibles de todas las regiones; (ii) Programas intensivos de capacitación sobre los métodos de evaluación de impacto para las contrapartes de gobierno, el personal del Banco y el personal de las agencias de desarrollo; y (iii) La publicación y difusión de los resultados de evaluación por medio de artículos, estudios meta y materiales informáticos.
El 27 de julio de 2007, en el Acuerdo de Administración entre el Gobierno de España y el Banco Mundial, por medio del cual se estableció el SIEF, se especifica que: “Dentro de los seis (6) meses siguientes a la fecha del desembolso final especificado en el párrafo 10.1, el Banco deberá proporcionar al donante un informe final de las actividades del proyecto"; y que "el Banco implementará un marco de seguimiento y evaluación con el objetivo de evaluar el Fondo Fiduciario, y las actividades, productos y resultados durante su implementación".
El 3 de diciembre de 2009, el Comité Directivo del SIEF confirmó una estrategia basada en resultados, en la cual se determinan los objetivos específicos, los recursos, las actividades, los productos y los resultados esperados del programa. Luego de esta reunión, el equipo de gerencia del SIEF desarrolló un Plan de Evaluación y Monitoreo que incluye un informe final de la evaluación del programa, el cual debe entregarse al finalizar el programa.
Metal principal del informe final de evaluación del programa redactado por el SIEF
La meta del informe es examinar hasta qué punto el SIEF ha logrado sus objetivos:1. Desarrollar capacidades para entender y usar técnicas de evaluación de impacto;2. Respaldar la instauración de técnicas de evaluación de impacto en programas de
desarrollo seleccionados para mejorar los resultados de Desarrollo Humano (DH);
42
3. Divulgar los hallazgos del SIEF, y promover el acceso al conocimiento del impacto de los programas de desarrollo humano;
4. Utilizar el SIEF como una plataforma para promover la gestión para el desarrollo de resultados.
Además de brindar información al donante, el informe final del SIEF tiene como objetivo ser un aporte para una posible continuación o perfeccionamiento para el presente programa y para otros similares; para el Memorando de Término de la Implementación (ICM); y para llevar un registro.
Preguntas de evaluación:
La evaluación abordará las siguientes preguntas sobre el diseño, el proceso y los resultados alcanzados por el SIEF:
Respecto al diseño:- ¿Hasta qué punto el diseño y los recursos del SIEF fueron coherentes con las metas
planteadas?- ¿Hasta qué punto tuvo el SIEF un plan estratégico y de M&E útil y confiable que contribuyó
a fijar prioridades y rastrear el progreso hacia el cumplimiento de sus metas?- ¿Hasta qué punto tuvo el SIEF un plan de divulgación de resultados y conocimiento
compartido útil y confiable?
Respecto al proceso:- ¿Hasta qué punto el modelo de gestión del programa del SIEF (por ejemplo, instrumentos,
recursos económicos, técnicos y humanos; estructura organizacional, flujos de información; toma de decisiones en la gestión) ha sido eficiente en comparación con los resultados obtenidos?
- ¿Hasta qué punto los dirigentes de clúster han contribuido a garantizar la implementación exitosa del programa del SIEF y a promover las comunidades de práctica de la evaluación de impacto en las áreas temáticas claves del programa?
- ¿En qué medida la gobernanza del fondo a nivel del fiduciario contribuyó a la eficiencia y efectividad del SIEF? ¿En qué medida fue útil para construir una asociación eficaz entre el Banco y los donantes? ¿Permitió el Comité Directivo que la gestión del SIEF hiciera una entrega eficaz de los productos y resultados?
- ¿Qué tan transparente fue la asignación de los recursos del SIEF a los equipos de evaluación de impacto?
- ¿En qué medida y en qué forma el programa de gestión de SIEF aumentó o redujo la eficiencia en entregar productos y lograr resultados?
- ¿Qué tipos de mecanismos y procesos de control de calidad se establecieron para garantizar la calidad de la cartera de la evaluación de impacto del SIEF?
- ¿Qué tipo de obstáculos (administrativo, financiero y de gestión) tuvo que enfrentar SIEF y en qué medida afectó la eficiencia?
- ¿En qué medida y en qué formas se utilizaron y fueron útiles los instrumentos de monitoreo del SIEF (informes anuales y semestrales)?
Respecto a los resultados:- ¿En qué medida el programa de SIEF ha logrado alcanzar sus objetivos estratégicos?- ¿En qué medida las actividades de desarrollo de capacidades de SIEF han contribuido a una
mejor comprensión y uso de las evaluaciones de impacto?
43
- ¿En qué medida las actividades de investigación y divulgación de SIEF han contribuido a un mejor acceso al conocimiento sobre el impacto de los programas de Desarrollo Humano?
- Cuando los resultados previstos no fueron logrados, ¿cuáles fueron las principales razones? - ¿Hubo algún resultado imprevisto?- ¿Hay alguna enseñanza en cuanto a cómo el SIEF u otros programas similares podrían haber
obtenido mejores resultados? - Si el programa del SIEF continuara o se modernizara, ¿qué posibles resultados podrían
obtenerse? ¿Qué cambios se podrían recomendar para que sea más eficaz?
Productos y plazos de entrega del programa:
El consultor es responsable de presentar los siguientes documentos a la gerencia del programa de SIEF:1) Esquema y plan preliminar del informe y plantilla de finalización de la evaluación de
impacto para solicitar a los líderes del equipo de evaluación la información requerida para la evaluación. Esta información se debe entregar a más tardar el 15 de diciembre de 2011;
2) Entrevistas realizadas a los miembros de equipo de SIEF, dirigentes de clúster, líderes e investigadores del equipo de tareas de evaluación de impacto, donantes, y funcionarios gubernamentales escogidos, profesionales del desarrollo y expertos en evaluación de impacto de países cliente. Esta información se debe entregar a más tardar la primera semana de febrero de 2012;
3) El informe final. El informe final debe redactarse en 20 o 30 páginas. Además, debe incluir un resumen ejecutivo de no más de 5 páginas que incluya una descripción breve del programa del SIEF, su contexto y la situación actual, el propósito del examen, su metodología y sus principales hallazgos, conclusiones y recomendaciones. Se debe enviar al equipo de gerencia del SIEF una versión preliminar del informe a fines de febrero de 2012. La versión deberá entregarse antes del 25 de marzo de 2012, después de recibir los comentarios y sugerencias del equipo de SIEF;
4) La presentación. Se deben divulgar las conclusiones y recomendaciones de la versión preliminar del informe entre los funcionarios de gobierno y otros asociados en el área del desarrollo en Madrid, España. Marzo y abril de 2012.
Presupuesto y periodo de trabajo:
La consultoría incluye un total de XXX días trabajados a una tasa diaria de USD XXX por día, lo que suma un total de USD XXX. El periodo de trabajo es hasta el 15 de abril de 2012 e incluye una semana para entrevistas en Washington DC.
La fuente de financiamiento será IE-P105560-IMPE-TF058114
Supervisión:
El consultor trabajará bajo la supervisión de Carlos Asenjo, encargado de la Evaluación y Monitoreo de SIEF, y debe presentar informes al Gerente del Programa de SIEF, Laura Rawlings.
44
Anexo IIListas de personas entrevistadas
Gobierno de España / Actualmente trata con SIEF
Bibian Zamora Giménez, Jefa de la Unidad de Evaluación, MAEC, Gobierno de España
David Conde Lozano, MAEC, Gobierno de España
Ana De Vicente Lancho, MEH, Gobierno de España
Agustín Navarro de Vicente-Gella, MEH, Gobierno de España
Leonardo Rodríguez García, MEH, Gobierno de España
María Jesús Calvo Romerales, MEH, Gobierno de España
Gobierno de España / ex funcionarios que estuvieron involucrados con SIEF
Juan López Doriga, ex Director General de Planificación y Evaluación de Políticas de Desarrollo, MAEC, Gobierno de España
José Antonio González Mancebo, ex Sub-Director General de Políticas de Cooperación al Desarrollo, MAEC, Gobierno de España
Cecilia Rocha, ex Jefa de la Unidad de Evaluación, MAEC, Gobierno de España
Belén Sanz, ex Jefa de la Unidad de Evaluación, MAEC, Gobierno de España
Carlos Ariza, ex miembro de la Unidad de Evaluación, MAEC, Gobierno de España
Iván Touza, ex miembro de la Unidad de Evaluación, MAEC, Gobierno de España
Adán Ruiz, ex miembro de la Unidad de Evaluación, MAEC, Gobierno de España
Banco Mundial
Enrique Giménez de Córdoba, Oficina de ED en España, Banco Mundial
Laura Rawlings, actual Gerente del Programa de SIEF, Banco Mundial
Bárbara Bruns, ex Gerente del Programa de SIEF y líder del clúster de Educación, Banco Mundial
Ariel Fiszbein, Economista Jefe de HDN, Banco Mundial
Paul Gertler, ex Economista Jefe de HDN
45
Adam Ross, miembro del equipo base de SIEF y MDTF de SIEF, Banco Mundial
Rita Almeida, clúster ALMP/YE de SIEF, Banco Mundial
Mattias Lundberg, clúster ALMP/YE de SIEF, Banco Mundial
Phillippe Leite, clúster TMC de SIEF, Banco Mundial
Christel Vermeersch, Clúster de salud P4P de SIEF, Banco Mundial
Damien de Walque, clúster VIH/SIDA de SIEF, Banco Mundial
Arianna Legovini, DIME, clúster de control de la malaria, SIEF, Banco Mundial
Luis Alberto Andrés, LET de SIEF, Banco Mundial
Sebastián Martínez, ex miembro del equipo central de SIEF
Javier Báez, ex miembro de IEG, Banco Mundial
Carlos Asenjo Ruiz, miembro del equipo central de SIEF
Paloma Acevedo, miembro del equipo central de SIEF
Informantes clave sobre la evaluación de SIEF del Plan Nacer
Martin Sabignoso, Coordinador Nacional, Plan Nacer, Gobierno de Argentina
Humberto Silva, Director Técnico, Plan Nacer, Ministerio de Salud, Argentina
Leonardo Zanazzi, Plan Nacer, Ministerio de Salud, Argentina
Luis Orlando Pérez, especialista principal en Salud Pública, Banco Mundial, Argentina
Paula Giovagnoli, Plan Nacer, Banco Mundial, Argentina
46
Anexo V
Cuestionario de encuesta a los LET
Fondo Español para la Evaluación de Impacto (SIEF)
Encuesta posterior al uso de la subvención
Como ya se ha mencionado, el equipo de gerencia del SIEF desarrolló un Plan de Evaluación y Monitoreo que incluye un informe final de la evaluación del programa, el cual debe entregarse al finalizar el programa. Un aporte crucial para este informe es la información otorgada por los LET.
El objetivo de la encuesta es recolectar la información necesaria, de parte de los LET de las evaluaciones de impacto financiadas por el SIEF, para finalizar los informes de término de GRM, los que los LET debe completar dentro delos seis meses después de la fecha de cierre de la subvención. Asimismo, esta encuesta otorga información para los informes finales de evaluación y para el monitoreo de 2011 de SIEF.
Por favor responda a las siguientes preguntas, a más tardar el 26 de enero .
1. ¿Se asignaron los recursos a su tarea(s) en consonancia con las metas propuestas?
2. Por favor, haga una lista de las principales preguntas abordadas por el estudio de evaluación de impacto.
3. Por favor resuma los métodos o técnicas utilizadas para la evaluación de impacto.
4. ¿En qué medida se lograron los objetivos de su tarea (s)? Por favor seleccione una de estas respuestas:
( ) Muy Satisfactorio( ) Satisfactorio( ) Moderadamente satisfactorio ( ) Moderadamente Insatisfactorio ( ) Insatisfactorio( ) Muy Insatisfactorio
5. ¿Hubo algún resultado imprevisto de la evaluación?
6. Cuando los resultados previstos no fueron logrados, ¿cuáles fueron las principales razones?
7. ¿Qué resultados o hallazgos de conocimiento se obtuvieron por la evaluación de SIEF en la cual participó usted?
47
8. Por favor haga una lista de los principales productos de investigación (informes de evaluación de impacto /seguimiento y referencias) entregados por su equipo de tareas con el financiamiento de SIEF.
9. ¿Cómo se divulgaron los resultados logrados por su tarea de evaluación? Por favor haga una lista de los principales resultados o productos divulgados (Publicaciones / Acontecimientos), entregados por su equipo de tareas con el financiamiento de SIEF.
10. ¿Se realizaron actividades para compartir los conocimientos con el uso de los resultados que surgieron de la tarea que lideró?
11. ¿Evaluaría como eficiente el modelo de gestión del programa de SIEF (es decir, instrumentos; recursos económicos, humanos y técnicos; estructura organizacional; flujo de información; toma de decisiones por la gerencia)?
(si se compara con los resultados alcanzados) Por favor seleccione una de estas respuestas:
( ) Muy Eficiente( ) Eficiente( ) Moderadamente Eficiente( ) Moderadamente Ineficiente( ) Ineficiente( ) Muy ineficiente
b) ¿Lo evaluaría como útil?Por favor seleccione una de estas respuestas:
( ) Muy útil( ) Útil( ) Moderadamente útil( ) Moderadamente inútil( ) Inútil( ) Muy inútil
12. ¿Ha tenido que enfrentar algún obstáculo administrativo, financiero o de gestión y en qué medida este afectó la eficiencia de sus tareas?
13. ¿En qué medida han contribuido los líderes del clúster a asegurar la implementación exitosa de las tareas de SIEF que lideró?
Por favor seleccione una de estas respuestas:( ) Contribución muy positiva( ) Contribución positiva( ) Contribución moderadamente positiva( ) Contribución moderadamente negativa( ) Contribución negativa( ) Contribución muy negativa
14. ¿Considera que los líderes del clúster promovieron las comunidades de práctica de la evaluación de impacto en las áreas temáticas clave del programa?
48
15. ¿Qué tan transparente fue la asignación de los recursos del SIEF a los equipos de evaluación de impacto?
Por favor seleccione una de estas respuestas: ( ) Muy transparente( ) Transparente( ) Moderadamente transparente( ) Moderadamente ambiguo( ) Ambiguo( ) Muy ambiguo
16. ¿En qué medida y en qué forma el programa de gestión de SIEF aumentó o redujo la eficiencia al entregar productos y lograr resultados?
Por favor seleccione una de estas respuestas:( ) Eficiencia muy aumentada( ) Eficiencia aumentada( ) Eficiencia aumentada moderadamente( ) Eficiencia moderadamente reducida( ) Eficiencia reducida( ) Eficiencia muy reducida
17. ¿Condujo el estudio de evaluación de impacto a algunos cambios de diseño del programa/proyecto o en la forma en que fue implementado? Si su respuesta es afirmativa, por favor explique brevemente.
18. ¿Se han publicado los resultado de la evaluación de impacto? Si su respuesta es afirmativa, a) ¿informaron cualquier decisión en relación a la continuación/expansión del programa? Por favor explique brevemente. b) ¿provocó algún cambio de políticas? Por favor explique brevemente.
19. ¿Hay alguna enseñanza en cuánto a cómo el SIEF u otros programas similares podrían haber obtenido mejores resultados?
20. Si el programa del SIEF continuara o se modernizara, ¿qué posibles resultados podrían obtenerse? ¿Qué cambios se podrían recomendar para que sea más eficaz?
21. ¿Quiere hacer otros comentarios o sugerencias en relación al programa de SIEF?
Una vez completada esta encuesta, por favor envíela a:
(i) por correo electrónico a Carlos Asenjo ([email protected]) y Osvaldo Feinstein ([email protected])
49
ANEXO VI
Preguntas para las reuniones en España
1. ¿ Hay factores del CONTEXTO que sea conveniente destacar por su influencia durante la implementación del SIEF?
2. ¿Qué esperaban en España como resultado del SIEF? ¿Había alguna expectativa que el SIEF beneficiara de modo directo a España?
3. ¿Concedían las expectativas del MAEC y del MEH? ¿Había diferencias?
4. ¿Ha generado el SIEF beneficios para España?
5. ¿En qué medida consideras que se alcanzaron los objetivos del SIEF?
6. ¿Hubo efectos no buscados?
7. ¿Cuáles fueron los obstáculos o limitaciones que se presentaron en el funcionamiento del SIEF (SIEF los hubo)? Obstáculos que pudieron incidir en una brecha sobre lo que se intentó hacer y lo que efectivamente se hizo
8. ¿Qué lecciones se pueden derivar de la experiencia del SIEF para futuros proyectos de este tipo?
9 . Sobre la contribución del SIEF: ¿Qué permitió hacer el SIEF que no se hubiera hecho sin SIEF? ¿Qué hubiera pasado sin el SIEF?
10. ¿Tiene sugerencias sobre personas a contactar y documentos o publicaciones que sería útil tomar en cuenta en la elaboración del informe final del SIEF?
50
Indicadores ¹ Fin AF2008
(Jun 30, 2008)
Fin AF2009(Jun 30, 2009)
Fin AF2010(Jun 30, 2010)
Fin AF2011(Jun 30, 2011)
Act. AF2012(Abr 20, 2012)
Meta SIEF
Resultados financieros: - - - - - -
% desembolsado / activos tangibles iniciales del SIEF ¹
5% 19% 44% 82% 101% 100%
% desembolsado / fondos disponibles del SIEF² 9% 22% 43% 77% 93% -
Implementación de actividades: - - - - - -
% de equipos de IA que logran su asignación del SIEF 15% 54% 96% 100% 100% 100%
Entrega de productos: - - - - - -
# talleres de EI dictados 3 6 12 14 17 12
# participantes taller c/entrenamiento en métodos de EI
460 985 1.905 2.035 2.406 1.893
# datos basales de EI recolectados² 2 8 13 18 21 -
# datos de seguimiento de EI recopilados² 0 2 8 22 33 -
# estudios de EI completados ³ 0 2 6 10 27 15
# estudios de evaluación de impacto publicados 0 2 8 15 19 -
Anexo VII
Fondo Español para la Evaluación de Impacto (SIEF)Indicadores de desempeño clave y resumen financiero
Al 20 de abril de 2012
Tabla 1.- Indicadores de desempeño clave de SIEF (junio 2008 - abril 2012):
¹ % del total de los activos tangibles iniciales de SIEF (contribución inicial de SIEF una vez deducido el 5% del costo de honorarios de recuperación).² % total de financiamiento de SIEF, incluido el 5% de costo honorarios de recuperación y los ingresos de inversión percibidos por el fondo fiduciario.³ Recolección de datos de referencia y de seguimiento respaldado solamente por SIEF; la recolección de datos de otras fuentes de financiamiento no fueron incluidas.⁴ Los equipos de evaluación de impacto que completaron en análisis de referencia y de seguimiento, sobre los cuales se pueden realizar otras investigaciones de evaluación de impacto.⁵ Matriz estratégica de SIEF (2009). ⁶ Contrato de Administración de SIEF (2007)
51
FlujosFinancieros
Fin AF2008(30 jun, 2008)
Fin AF2009(30 jun, 2009)
Fin AF2010(30 jun, 2010)
Fin AF2011(30 jun, 2011)
Act. AF2012 (30 jun, 2012)
%
Total fondos 14.658.284 15.139.647 15.271.572 15.320.552 15.324.325 100%
Asignados 13.556.214 15.104.793 15.105.933 15.105.487 15.237.448 99%
Recaudados 6.647.125 11.183.960 14.352.270 15.099.644 14.910.309 97%
Comprometidos 2.157.121 4.160.698 8.273.660 12.974.064 14.412.709 94%
Desembolsados 708.295 2.711.872 6.200.325 11.562.275 14.208.714 93%
Gráfico 1.- Indicadores financieros clave de SIEF (junio 2008 - abril 2012) ¹ ² ³ :
Tabla 2.- Indicadores financieros clave de SIEF (junio 2008 - abril 2012) ¹ ² ³ :
¹ Para una descripción de los indicadores usados en esta tabla, véase Cuadro A² Los datos solo reflejan el respaldo de SIEF; otras fuentes de financiamiento (Banco Mundial, DFID) no fueron incluidas.³ % total de fondos cuando se estableció el programa; no se ha incluido el ingreso percibido.
52
Fin AF2008 Fin AF2009 Fin AF2010 Fin AF2011 Fin AF2012
Total fondos Asignado Recaud. Comprom. Desemb.
Actividades
Asignado
(20 abr, 2012)
Recaudado (20 abr,
2012)
Comprom.
(20 abr, 2012)
Desemb.
(20 abr, 2012)
% Desemb. / Recaud. (20 abr,
2012)
% of Total Asignado
(20 abr, 2012)
1. Estudios de evaluación de impacto (EI)
10,145,107
9,817,968
9,832,195
9,817,968
97%
67%
1.1. Quick Win de los estudios de EI
879,851
879,851
879,851
879,851
100%
6%
1.2. Estudios de EI de fondos de innovación
2,079,475
2,009,223
2,014,239
2,009,223
97%
14%
1.3. Conglomerado de estudios de EI
7,185,781
6,928,894
6,938,105
6,928,894
96%
47%
1.3.1 – Contratación salud / Pago realización reformas
1,324,671
1,250,539
1,257,185
1,250,539
94%
9%
1.3.2 - Transf. monetaria condicionada
909,301
895,086
895,086
895,086
98%
6%
1.3.3 – Control de malaria
823.075
762.790
762.790
762.790
93%
5%
1.3.4 – Mercado laboral activo / Empleo juvenil
1,333,125
1,276,350
1,276,352
1,276,350
96%
9%
1.3.5 – Rendición cuentas enseñanza básica
1,038,492
1,022,601
1,025,164
1,022,601
98%
7%
1.3.6 – Prevención VIH/SIDA
982,217
981,561
981,561
981,561
100%
6%
1.3.7 – Desarrollo en la primera infancia
774,900
739,966
739,966
739,966
95%
5%
2. Desarrollo de capacidades
1,700,000
1,700,000
1,695,495
1,679,868
99%
11%
3. Divulgación de resultados
1,533,000
1,533,000
1,249,180
1,183,025
77%
10%
3.1. Difusión del programa y Divulgación
600,000
600,000
489,625
457,019
76%
4%
3.2. Divulgación resultados de conglomerado
933,000
933,000
759,555
726,006
78%
6%
4. Otras actividades
1,859,341
1,859,341
1,635,839
1,527,853
82%
12%
4.1. Administración programa
781,923
781,923
685,083
620,613
79%
5%
4.2. Coordinación de conglomerado
510,000
510,000
383,338
339,822
67%
3%
4.3. Servicios de asesoría
567,418
567,418
567,418
567,418
100%
4%
5. Total (5=1+2+3+4)
15,237,448
14,910,309
14,412,709
14,208,714
93%
100%
Tabla 3. – programa de SIEF: resumen ejecutivo de presupuesto al 20 de abril de 2012 ¹ ²
¹ Para una descripción de los indicadores usados en esta tabla, véase Cuadro A.² Los datos solo reflejan el respaldo de SIEF; otras fuentes de financiamiento (Banco Mundial, DFID) no fueron incluidas.
53
Estudios de evaluación de impacto
País / Num. estudio EI
Líder de equipo tarea
Asignado
Recaudado
Comprometido
Desembolsado
% Desemb. / Asigna
do 1.1. Quick Win de los estudios de EI
4
- 608.661
608.661
608.661
608.661
100%Fondo de acción social de Tanzania
(TASAF II)Tanzania
Berk Ozler
169.907
169.907
169.907
169.907
100%Bono de Desarrollo
Humano(Ecuador)
Norbert Schady
137.091
137.091
137.091
137.091
100%Seguimiento a largo plazo de beneficiarios del programa de
simulaciónJamaica
Christel Vermeersch
57.065
57.065
57.065
57.065
100%Desarrollo de la primera infancia
(DPI)Brasil
Pedro Olinto
119.599
119.599
119.599
119.599
100%Desarrollo de la primera infancia
(DPI)(México)
Sebastian Martinez
0 0 0 0 -Personal docente extra (ETP, por sus siglas en inglés)
(Kenia)
Barbara Bruns
0 0 0 0 -Interacción de Información y reformas en educación básica SBM
(Benín)
Barbara Bruns
0 0 0 0 -Abastecimiento y sanitización de aguas ruarles en Maharashtra y Orissa
India
Priti Kumar
125.000
125.000
125.000
125.000
100%1.2. Estudios de EI de los fondos de
innovación11
- 2.079.475
2.009.223
2.014.239
2.009.223
97%1.2.1. Desarrollo
humano4 - 806.0
75773.824
773.824
773.824
96%Proyecto de EI de vouchers
TIVET Kenia
Shobhana Sosale
262.000
262.000
262.000
262.000
100%Proyecto de tarjetas de evaluación ciudadana
(fase II)Uganda
Damien de Walque
151.050
151.003
151.003
151.003
100%Evaluación de procesos de determinación de
pobrezay de mecanismos de rendición de cuentas
(Filipinas)
Xavier Gine
0 0 0 0 -
Reintegración de ex combatientes y agentes de consolidación de paz en Liberia
Liberia
Mattias Lundberg
333,025
307,276
307,276
307,276
92%Efectos de consejería y pruebas VIH realizadas
en casaKenia
Markus P. Goldstein
60,000
53,545
53,545
53,545
89%1.2.2. Desarrollo
sustentable7 - 1,273,4
001,235,399
1,240,415
1,235,399
97%
Efecto del Mejoramiento de Viviendas Informales sobre la Salud en Sudáfrica
Sudáfrica
Arianna Legovini
274,150
258,827
263,843
258,827
94%Uso doméstico de irrigación de
aguaEtiopía
Arianna Legovini
147,000
145,974
145,974
145,974
99%EI de GPOVA/SEIF en el agua de
UgandaUganda
Luis Tineo
123,000
120,306
120,306
120,306
98%Soluciones innovadoras de tratamiento de recursos de agua
potable ruralKenia
Arianna Legovini
200,000
199,671
199,671
199,671
100%Impacto de pozos de agua y de drenaje en el bienestar
familiar y en la salud infantil en barrios pobres urbanos
(Nigeria)
Pedro Olinto
0 0 0 0 -
Acceso a infraestructuras de suministro de agua y resultados del desarrollo humano en areas rurales
Paraguay
Miguel Vargas-Ramirez
182,850
171,279
171,279
171,279
94%
Acceso a alcantarillados y resultados positivos de la salud en hogares de zonas urbanas
Uruguay
Carlos E. Velez
151,400
147,135
147,135
147,135
97%
Formalización de derechos de agua y resultados del desarrollo humano
Perú
Marie-Laure Lajaunie
195,000
192,207
192,207
192,207
99%
Tabla 4.- Programa de investigación de SIEF: Ejecución de presupuesto al 20 de abril de 2012 ¹ ² ³
54
55
Estudios de evaluación de impacto
País / Num. estudios EI?
Líder equipo tarea
Asignado
Recaudado
Comprometido
Desembolsado
% Desemb / Asigna
do
1.3. Estudios de conglomerados de EI
35
- 7.456.971
7.200.084
7.209.295
7.200.084
97%
1.3.1 – Contratación salud / Pago realización reformas
5 A. Wagstaff, A. Ross, C. Vermeersch
1.324.671
1.250.539
1.257.185
1.250.539
94%
Plan Nacer – Proyecto de inversión regional entre niños y madres
Argentina
Adam Ross
344.766
339.812
339.812
339.812
99%Contratación basada en desempeño de servicios de salud
general y VIHRuanda
Christel Vermeersch
209.800
197.383
197.383
197.383
94%Pago por desempeño en el sector salud de China (Evaluación de
Salud XI)China
Adam Wagstaff
323.629
272.854
276.896
272.854
84%Pago por desempeño en el sector salud de
Turquía(Turquía)
Sarbani Chakraborty
50.476
50.476
50.476
50.476
100%Impact. créditos apoyo para la reducción pobreza en la
salud maternaBenín
Christophe Lemiere
296.000
296.000
296.000
296.000
100%Seguro de salud innovador para gente de escasos
recursos de IndiaIndia
Robert Palacios
100.000
94.013
96.618
94.013
94%1.3.2 – Transferencia monetaria
condicionada6 P. Leite, E.
Galasso, M. Grosh
1.050.492
1.036.277
1.036.277
1.036.277
99%
Transferencias monetarias condicionadas y no condicionadas en Nahouri
Burkina Faso
Damien de Walque
224.600
224.475
224.475
224.475
100%Programa de TMC en educación rural en
MarruecosMarruecos
Nadine Poupart
442.017
442.017
442.017
442.017
100%Estimación efectos dinámicos de Chile
VoluntarioChile
Emanuela Galasso
108.074
108.074
108.074
108.074
100%Evaluación y mejora de transferencia monetaria
condicionada ? Indonesi
aSusan Wong
0 0 0 0 -Programa piloto comunitario de TMC
Tanzania
Anush Bezhanyan
160.000
160.000
160.000
160.000
100%Programa Contigo Vamos por Más Oportunidades en
GuanajuatoMéxico
Theresa Jones
115.800
101.710
101.710
101.710
88%1.3.3 – Control de la
malaria5 Jed Friedman,
Arianna Legovini
823.075
762.790
762.790
762.790
93%
Rol del control de la malaria para mejorar la educación
Kenia
Donald Bundy
100.222
100.222
100.222
100.222
100%Rol del control de la malaria para mejorar la
educaciónSenegal
Donald Bundy
42.952
42.952
42.952
42.952
100%Mejoramiento resultados malaria mediante diseños de programas basados
en evidenciaZambia
Jed Friedman
252.687
193.311
193.311
193.311
77%Mejoramiento resultados malaria mediante diseños de programas basados
en evidencia(Congo, RD)
Jed Friedman
0 0 0 0 -Mejoramiento resultados malaria mediante diseños de programas basados en evidencia
India
Jed Friedman
243.007
242.369
242.369
242.369
100%Distribuidores comunitarios y vendedores de patentes de
medicinaspara el control de la malaria
Nigeria
Arianna Legovini
184.207
183.936
183.936
183.936
100%
Tabla 4.- Programa de investigación de SIEF: Ejecución de presupuesto al 20 de abril de 2012 ¹ ² ³ (cont.)
56
Estudios de evaluación de impacto
País / Num. estudios EI
Líder equipo tarea
Asignado
Recaudado
Comprometido
Desembolsado
% Desemb. / Asigna
do
1.3.4 – Programas de mercados laborales activos /Empleo juvenil
7
R. Almeida, M. Lundberg
1,343,124
1,286,350
1,286,351
1,286,350
96%
Evaluación NREG en India
India
Rinku Murgai
270,000
254,327
254,327
254,327
94%Programa de desarrollo
juvenilRep. Dom.
Juan Martin Moreno
224,625
223,622
223,624
223,622
100%Mi Primer
Empleo(Honduras)
Cornelia Tesliuc
9,999
9,999
9,999
9,999
100%Programa de oportunidades juveniles
NUSAF Uganda
Patrick Premand
349,860
349,860
349,860
349,860
100%Steps-To-Work,
Jamaica(Jamaica)
Cornelia Tesliuc
0 0 0 0 -Evaluación de impacto de TVST OVAY
Malawi
S. R. Jobanputra
240,000
239,531
239,531
239,531
100%Proyecto de empoderamiento económico de mujeres jóvenes (EPAG, por sus
siglas en inglés) (Liberia)
Mattias Lundberg
0 0 0 0 -Conversión tesis en empresas
Tunisia
Stefanie Brodmann
55,000
54,727
54,727
54,727
100%Efectividad entrenamiento de la “Turkish National
Employment Agency” Turquía
Cristobal Ridao-Cano
118,640
117,785
117,785
117,785
99%Experimento “A Youth Wage
Subsidy” Sudáfrica
Elizabeth Ninan
75,000
36,498
36,498
36,498
49%1.3.5 – Rendición cuentas enseñanza
básica5 H. Patrinos, D.
Filmer, B. Bruns
1,038,492
1,022,601
1,025,164
1,022,601
98%
Reforma pago por desempeño de maestros escolares de Pernambuco y Sao Paulo
Brasil
Barbara Bruns
295,873
295,873
298,436
295,873
100%Escuelas comunitarias de
NepalNepal
Nazmul Chaudhury
150,000
149,931
149,931
149,931
100%AGEs - Programas de Apoyo a la Gestión
EscolarMéxico
Harry A. Patrinos
292,739
292,606
292,606
292,606
100%Rol de la evaluación para proporcionar información de rendición
de cuentasLiberia
Nathalie Lahire
199,880
185,805
185,805
185,805
93%Evaluación aleatoria educación primaria de Andhra
PradeshIndia
V. Sundararaman
100,000
98,386
98,386
98,386
98%1.3.6 – Prevención
VIH/SIDA3 David Wilson,
Damien De Walque
1,102,217
1,101,561
1,101,561
1,101,561
100%
Evaluación TMC para prevenir VIH y otras ETS
Tanzania
Damien De Walque
371,400
371,131
371,131
371,131
100%Evaluación impacto de campaña prevención HIV para la
juventudLesotho
Damien De Walque
384,680
384,680
384,680
384,680
100%TMC, escolarización, riesgos
VIHMalawi
Berk Ozler
346,137
345,751
345,751
345,751
100%
Estudios de evaluación de impacto
País / Num. estudios EI
Líder equipo tareas
Asignado
Recaudado
Comprometido
Desembolsado
% Desemb. / Asigna
do
Tabla 4.- Programa de investigación de SIEF: Ejecución de presupuesto al 20 de abril de 2012 ¹ ² ³ (cont.)
Tabla 4.- Programa de investigación de SIEF: Ejecución de presupuesto al 20 de abril de 2012 ¹ ² ³ (cont.)
57
1.3.7 – Desarrollo en la primera infancia
4 Emanuela Galasso
774,900
739,966
739,966
739,966
95%EI y análisis costo-beneficio de 3 tipos de intervenciones de la DCE con
fondos de la FTI
Camboya
Sophie Naudeau
211,000
200,948
200,948
200,948
95%Nadie es Perfecto, EI de un programa para mejorar habilidades
paternalesChile
Emanuela Galasso
225,000
223,309
223,309
223,309
99%EI de DPI en
MozambiqueMozambique
Sophie Naudeau
164,900
141,743
141,743
141,743
86%Atención a Crisis de DPI y efectivo
condicionadoNicaragua
Renos Vakis
174,000
173,966
173,966
173,966
100%Evaluación del programa de paternidad,
Jamaica Jamaica
Harriet Nannyonjo
0 0 0 0 - Total programa investigación SIEF
50
- 10,145,107
9,817,968
9,832,195
9,817,968
97%
Estudios de evaluación de impacto
País / Num. estudiosEI
Líder equipo tarea
Asignado
Recaudado
Comprometido
Desembolsado
% Desemb. / Asigna
do
Tabla 5.- Actividades de Divulgación y Coordinación de Clúster de SIEF: ejecución del presupuesto al 20 de abril de 2012
58
Conglomerado 1 Coordinación y divulgación resultados SIEF
Todo el mundo
Christel Vermeersch
185,000
185,000
154,728
136,883
74%Conglomerado 2 Coordinación y divulgación
resultados SIEFTodo el mundo
Emanuela Galasso
185,000
185,000
120,950
112,598
61%Conglomerado 3 Coordinación y divulgación
resultados SIEFTodo el mundo
Jed Friedman
249,000
249,000
199,747
173,811
70%Conglomerado 4 Coordinación y divulgación
resultados SIEFTodo el mundo
Rita Almeida
250,000
250,000
192,913
192,913
77%Conglomerado 5 Coordinación y divulgación
resultados SIEFTodo el mundo
Harry Patrinos
229,000
229,000
186,022
186,022
81%Conglomerado 6 Coordinación y divulgación
resultados SIEFTodo el mundo Damien de
Walque 185,000
185,000
180,773
162,341
88%Conglomerado 7 Coordinación y divulgación
resultados SIEFTodo el mundo Emanuela
Galasso 160,000
160,000
107,760
101,260
63%
Coordinación total conglomerado
- - 1,443,000
1,443,000
1,142,893
1,065,828
74%
59
Actividades
Asignado
Fin_AF2008
Recaudado
Fin_AF2008
Comprometido Fin_AF2008
Desembolsado Fin_AF2008
Asignado
Fin_AF2009
Recaudado
Fin_AF2009
Comprometido Fin_AF2009
Desembolsado Fin_AF2009
1. Estudios evaluación impacto (EI)
7,412,874
983,785
1,454,042
350,172
8,961,453
5,235,620
2,708,440
1,604,570
1.1. Quick Win de estudios de EI
1,483,955
943,785
350,172
350,172
879,851
922,786
762,101
762,101
1.2. Estudios de EI de fondos de innovación
0 0 376,040
0 2,689,185
576,025
429,336
53,296
1.3. Conglomerado de estudios de EI ³
5,928,919
40,000
727,830
0 5,392,417
3,736,809
1,517,002
789,173
1.3.1 – Contratación salud /Pago realización reformas
1,194,183
40,000
61,438
0 1,047,681
1,099,566
164,891
103,453
1.3.2 –Transferencia monetariacondicionada
1,085,740
0 15,700
0 1,085,740
411,140
216,730
201,030
1.3.3 – Control de la malaria
602,735
0 202,164
0 602,735
493,868
362,127
159,963
1.3.4 - Mercado laboral activo / Empleo juvenil
1,538,125
0 162,456
0 1,148,125
641,935
350,692
188,236
1.3.5 – Rendición cuentas enseñanza básica
756,436
0 254,972
0 756,436
566,300
262,534
7,561
1.3.6 – Prevención VIH/SIDA
751,700
0 31,100
0 751,700
524,000
160,029
128,929
1.3.7 – Desarrollo en la primerainfancia
0 0 0 0 0 0 0 0
2. Desarrollo de capacidades
1,500,000
1,500,000
465,278
259,619
1,500,000
1,500,000
856,271
650,612
3. Divulgación de resultados
1,500,000
1,500,000
56,396
11,021
1,500,000
1,500,000
110,438
65,063
3.1. Difusión del programa y Divulgación
1,500,000
1,500,000
56,396
11,021
1,500,000
1,500,000
110,438
65,063
3.2. Divulgación resultados de conglomerado
0 0 0 0 0 0 0 0
4. Otras actividades
3,143,340
2,663,340
181,405
87,482
3,143,340
2,948,340
485,550
391,627
4.1. Administración del programa
2,133,340
2,133,340
53,708
15,375
2,045,092
2,045,092
169,073
130,740
4.2. Coordinación de Conglomerado
510,000
30,000
55,590
0 510,000
315,000
104,228
48,638
4.3. Servicios de asesoría
500,000
500,000
72,107
72,107
588,248
588,248
212,249
212,249
5. Total (5=1+2+3+4)
13,556,214
6,647,125
2,157,121
708,295
15,104,793
11,183,960
4,160,698
2,711,872
Tabla 6. – Programa de SIEF: Resumen de la ejecución del presupuesto (años anteriores)
60
Actividades
Asignado
Fin_AF2010
Recaudado
Fin_AF2010
Comprom. Fin_AF2010
Desemb. Fin_AF2010
Asignado
Fin_AF2011
Recaudado
Fin_AF2011
Comprom. Fin_AF2011
Desemb.Fin_AF2011
1. Estudios de evaluación de impacto (EI)
9,886,593
9,583,279
5,693,005
3,817,452
10,186,147
10,180,303
9,511,033
8,207,793
1.1. Quick Win de los estudios de EI
879,851
879,851
879,851
879,851
879,851
879,851
879,851
879,851
1.2. Estudios de EI de fondos de innovación
2,046,025
2,042,125
1,091,375
789,040
2,083,375
2,079,475
1,940,185
1,607,267
Conglomerado de estudios de EI ³
6,960,716
6,661,303
3,721,779
2,148,560
7,222,920
7,220,977
6,690,998
5,720,675
1.3.1 – Contratación salud / Pago realización reformas
1,357,681
1,356,042
763,225
336,404
1,326,310
1,324,671
1,223,883
1,018,047
1.3.2 - Transf. monetaria condicionada
811,545
811,545
456,590
352,252
911,540
911,494
854,821
623,715
1.3.3 – Control de malaria
752,735
753,075
468,229
288,179
822,735
823,075
710,972
697,945
1.3.4 – Mercado laboral activo / Empleo juvenil
1,323,125
1,079,485
863,136
566,704
1,333,125
1,333,125
1,202,887
1,122,786
1.3.5 – Rendición cuentas enseñanza básica
982,913
929,039
651,858
392,959
1,071,493
1,071,494
1,007,593
1,000,975
1.3.6 – Prevención VIH/SIDA
982,717
982,217
500,840
194,160
982,717
982,217
955,526
935,916
1.3.7 – Desarrollo en la primera infancia
750,000
749,900
17,903
17,903
775,000
774,900
735,316
321,290
2. Desarrollo de capacidades
1,700,000
1,849,650
1,346,385
1,303,402
1,700,000
1,700,000
1,425,358
1,406,715
3. Divulgación de resultados
1,385,000
785,000
340,011
269,943
1,360,000
1,360,000
615,223
602,639
3.1. Difusión del programa y divulgación
600,000
600,000
243,407
168,872
600,000
600,000
383,463
361,140
3.2. Divulgación resultados de conglomerado
785,000
185,000
96,604
101,071
760,000
760,000
231,760
241,499
4. Otras actividades
2,134,341
2,134,341
894,259
809,528
1,859,341
1,859,341
1,422,450
1,345,128
4.1. Administración programa
1,373,862
1,088,714
172,290
139,353
813,714
781,923
471,695
437,888
4.2. Coordinación de conglomerado
510,000
510,000
186,342
134,548
510,000
510,000
383,338
339,822
4.3. Servicios de asesoría
250,479
535,627
535,627
535,627
535,627
567,418
567,418
567,418
5. Total (5=1+2+3+4)
15,105,933
14,352,270
8,273,660
6,200,325
15,105,487
15,099,644
12,974,064
11,562,275
Tabla 6. – Programa de SIEF: Resumen de la ejecución del presupuesto (años anteriores)
61
Estudios de evaluación de impacto
País/Num. de EI
Líder equipo tarea
Asignado Fin_AF20
08
Recaudado Fin_AF20
08
Comprom. Fin_AF2008
Desemb.Fin_AF2008
Asignado Fin_AF20
09
Recaudado Fin_AF20
09
Comprom. Fin_AF2009
Desemb. Fin_AF2009
1.1. Quick Win de los estudios de EI
4
- 1,145,170
715,000
283,197
283,197
608,661
651,596
608,661
608,661
Fondo de acción social de Tanzania (TASAF II)
Tanzania
Berk Ozler
170,000
170,000
0 0 169,907
169,907
169,907
169,907
Bono de Desarrollo Humano
(Ecuador)
Norbert Schady
400,000
200,000
58,094
58,094
137,091
137,091
137,091
137,091
Seguimiento a largo plazo de beneficiarios del programa de simulación
Jamaica
Christel Vermeersch
100,000
100,000
5,966
5,966
57,065
100,000
57,065
57,065
Desarrollo en la primera infancia (DPI)
Brasil
Pedro Olinto
120,000
120,000
94,137
94,137
119,599
119,599
119,599
119,599
Desarrollo en la primera infancia (DPI)
(México)
Sebastian Martinez
110,290
0 0 0 0 0 0 0
Personal docente extra (ETP)
(Kenia)
Barbara Bruns
64,880
0 0 0 0 0 0 0Interacción de Información y reformas en educación básica SBM
(Benín)
Barbara Bruns
55,000
0 0 0 0 0 0 0
Abastecimiento y sanitización de aguas rurales en Maharashtra y Orissa
India
Priti Kumar
125,000
125,000
125,000
125,000
125,000
125,000
125,000
125,000
1.2. Estudios de EI de los fondos de innovación
11
- 0 0 376,040
0 2,689,185
576,025
429,336
53,296
1.2.1. Desarrollo humano
4 - 0 0 190,862
0 1,144,435
453,025
244,158
53,296
Proyecto de EI de vouchers TIVET
Kenia
Shobhana Sosale
0 0 144,100
0 262,200
0 144,100
0
Proyecto de tarjetas de evaluación ciudadana (fase II)
Uganda
Damien de Walque
0 0 4,802
0 151,050
120,000
43,484
38,682
Evaluación de procesos de determinación de pobrezay de mecanismos de rendición de cuentas
(Philippines)
Xavier Gine
0 0 0 0 398,160
0 0 0
Reintegración de ex combatientes y agentes de consolidación de paz en Liberia
Liberia
Mattias Lundberg
0 0 41,960
0 333,025
333,025
56,575
14,615
Efectos de asesoría y pruebas VIH realizadas en casa
Kenia
Markus P. Goldstein
0 0 0 0 0 0 0 0
Tabla 7. – Programa de investigación de SIEF: ejecución del presupuesto (años anteriores)
62
Estudios de evaluación de impacto
País/# EI ?
Líder de equipo tarea
AsignadoFin_AF20
10
Recaudado Fin_AF20
10
Comprom. Fin_AF2010
Desemb. Fin_AF2010
Asignado Fin_AF20
11
Recaudado Fin_AF20
11
Comprom.Fin_AF2011
Desemb.Fin_AF2011
1.1. Quick Win de los estudios de EI
4
- 608,661
608,661
608,661
608,661
608,661
608,661
608,661
608,661
Fondo de acción social de Tanzania (TASAF II)
Tanzania
Berk Ozler
169,907
169,907
169,907
169,907
169,907
169,907
169,907
169,907
Bono de Desarrollo Humano)
(Ecuador)
Norbert Schady
137,091
137,091
137,091
137,091
137,091
137,091
137,091
137,091
Seguimiento a largo plazo de beneficiarios del programa de simulación
Jamaica
Christel Vermeersch
57,065
57,065
57,065
57,065
57,065
57,065
57,065
57,065
Desarrollo en la primera infancia (DPI)
Brasil
Pedro Olinto
119,599
119,599
119,599
119,599
119,599
119,599
119,599
119,599
Desarrollo en la primera infancia (DPI)
(México)
Sebastian Martinez
0 0 0 0 0 0 0 0
Personal docente extra (ETP, por sus siglas en inglés)
(Kenia)
Barbara Bruns
0 0 0 0 0 0 0 0
Interacción de Información y reformas en educación básica SBM
(Benín)
Barbara Bruns
0 0 0 0 0 0 0 0
Abastecimiento y sanitización de aguas rurales en Maharashtra y Orissa
India
Priti Kumar
125,000
125,000
125,000
125,000
125,000
125,000
125,000
125,000
1.2. Estudios de EI de los fondos de innovación
11
- 2,046,025
2,042,125
1,091,375
789,040
2,083,375
2,079,475
1,940,185
1,607,267
1.2.1. Desarrollo humano
4 - 746,275
746,075
681,732
529,340
806,275
806,075
765,065
716,470
Proyecto de EI de vouchers TIVET
Kenia
Shobhana Sosale
262,200
262,000
262,000
222,700
262,200
262,000
262,000
262,000
Proyecto de tarjetas de evaluación ciudadana (fase II))
Uganda
Damien de Walque
151,050
151,050
121,219
117,028
151,050
151,050
149,526
149,526
Evaluación de procesos de determinación de pobreza y de mecanismos de rendición de cuentas
(Filipinas)
Xavier Gine
0 0 0 0 0 0 0 0
Reintegración de ex combatientes y agentes de paz en Liberia
Liberia
Mattias Lundberg
333,025
333,025
298,512
189,612
333,025
333,025
304,944
304,944
Efectos de asesoría y pruebas VIH realizadas en casa
Kenya
Markus P. Goldstein
0 0 0 0 60,000
60,000
48,595
0
Tabla 7. – Programa de investigación de SIEF: ejecución del presupuesto (años anteriores; cont.)
63
Tabla 7. – Programa de investigación de SIEF: ejecución del presupuesto (años anteriores; cont.)
64
Estudios de evaluación de impacto
País/Num. De EI
Líder equipo tarea
Asignado Fin_AF20
08
Recaudado FIN_AF20
08
Comprom. Fin_AF2008
Desemb. Fin_AF2008
Asignado Fin_AF20
09
Recaudado Fin_AF20
09
Comprom. Fin_AF2009
Desemb. Fin_AF2009
1.2. Quick Win de los estudios de EI
11
- 0 0 376,040
0 2,689,185
576,025
429,336
53,296
1.2.2. Desarrollo sustentable
7 - 0 0 185,178
0 1,544,750
123,000
185,178
0
Efecto del Mejoramiento de Viviendas Informales sobre la Salud en Sudáfrica
Sudáfrica
Arianna Legovini
0 0 41,470
0 300,000
0 41,470
0
Uso doméstico de irrigación de agua
Etiopía
Arianna Legovini
0 0 9,620
0 147,500
0 9,620
0
EI de GPOVA/SEIF en el agua de Uganda
Uganda
Luis Tineo
0 0 0 0 123,000
123,000
0 0Soluciones innovadoras de tratamiento de recursosde agua potable rural
Kenia
Arianna Legovini
0 0 134,088
0 200,000
0 134,088
0
Impacto de pozos de agua y drenaje en el bienestar familiar y en la salud infantil en barrios pobres urbanos
(Nigeria)
Pedro Olinto
0 0 0 0 245,000
0 0 0
Acceso a infrasetructura de suministro de agua y resultados del desarrollo humano en áreas rurales
Paraguay
Miguel Vargas-Ramirez
0 0 0 0 182,850
0 0 0
Acceso a alcantarillados y resultados positivos de la salud de los hogares en zonas urbanas
Uruguay
Carlos E. Velez
0 0 0 0 151,400
0 0 0
Formalización de derechos de agua y resultados del desarrollo humano
Perú
Marie-Laure Lajaunie
0 0 0 0 195,000
0 0 0
1.3. Estudios de conglomerados de EI
35
- 6,267,704
268,785
794,805
66,975
5,663,607
4,007,999
1,670,442
942,613
1.3.1 – Contratación salud / Pago realización reformas
5A. Wagstaff, A. Ross, C. Vermeersch
1,194,183
40,000
61,438
0 1,047,681
1,099,566
164,891
103,453
Plan Nacer - Child-Mother Provincial Investment Project
Argentina
Adam Ross
164,766
0 39,762
0 164,766
164,766
54,867
15,104
Contratación basada en desempeño de servicios de salud general y VIH
Ruanda
Christel Vermeersch
134,800
40,000
16,380
0 134,800
40,000
53,477
37,097
Pago por desempeño en el sector salud de China (Evaluación de Salud XI) Chin
aAdam Wagstaff
400,000
0 0 0 400,000
400,000
0 0
Pago por desempeño en el sector salud de Turquía
(Turquía)
Sarbani Chakraborty
198,217
0 1,045
0 51,715
198,800
52,297
51,252
Impact. créditos apoyo para la reducción de pobreza en la salud materna
Benín
Christophe Lemiere
296,400
0 0 0 296,400
296,000
0 0
Seguro de salud innovador para gente de escasos recursos de India
India
Robert Palacios
0 0 4,250
0 0 0 4,250
0
65
66
Tabla 7. – Programa de investigación de SIEF: ejecución del presupuesto (años anteriores; cont.)
67
Estudios de evaluación de impacto
País/Num. De EI
Líder equipo tarea
AsignadoFin_AF20
10
Recaudado Fin_AF20
10
Comprom. Fin_AF2010
Disbursed End_FY2010
Allocated End_FY20
11
Receipts End_FY20
11
Committed End_FY2011
Disbursed End_FY2011
1.2. Estudios de EI de los fondos de innovación
11
- 2,046,025
2,042,125
1,091,375
789,040
2,083,375
2,079,475
1,940,185
1,607,267
1.2.2. Desarrollo sustentable
7 - 1,299,750
1,296,050
409,643
259,700
1,277,100
1,273,400
1,175,119
890,797
Efecto del Mejoramiento de Viviendas Informales sobre la Salud en Sudáfrica
Sudáfrica
Arianna Legovini
300,000
296,800
126,683
126,083
277,350
274,150
239,228
229,575
Uso doméstico de irrigación de agua
Etiopía
Arianna Legovini
147,500
147,000
96,526
96,526
147,500
147,000
145,913
145,913
EI de GPOVA/SEIF en el agua de Uganda
Uganda
Luis Tineo
123,000
123,000
0 0 123,000
123,000
116,317
114,717Soluciones innovadoras de
tratamiento de Recursos de agua potable rural
Kenia
Arianna Legovini
200,000
200,000
167,610
33,522
200,000
200,000
167,610
167,610
Impacto de pozos de agua y drenaje en el bienestar familiar y en la salud infantil en barrios pobres urbanos
(Nigeria)
Pedro Olinto
0 0 0 0 0 0 0 0
Acceso a infraestructuras de suministro de agua y resultados del desarrollo humano en áreas rurales
Paraguay
Miguel Vargas-Ramirez
182,850
182,850
0 0 182,850
182,850
181,693
59,331
Acceso a alcantarillados y resultados positivos de la salud en hogares de zonas urbanas
Uruguay
Carlos E. Velez
151,400
151,400
18,825
3,569
151,400
151,400
138,698
106,398
Formalización de derechos de agua y resultados del desarrollo humano
Perú
Marie-Laure Lajaunie
195,000
195,000
0 0 195,000
195,000
185,659
67,252
1.3. Estudios de conglomerados de EI
35
- 7,231,906
6,932,493
3,992,969
2,419,751
7,494,110
7,492,167
6,962,188
5,991,865
1.3.1 – Contratación salud / Pago realización reformas
5A. Wagstaff, A. Ross, C. Vermeersch
1,357,681
1,356,042
763,225
336,404
1,326,310
1,324,671
1,223,883
1,018,047
Plan Nacer - Child-Mother Provincial Investment Project
Argentina
Adam Ross
314,766
314,766
199,268
123,126
344,766
344,766
321,971
288,956
Contratación basada en desempeño de servicios de salud general y VIH
Ruanda
Christel Vermeersch
194,800
194,800
127,319
100,799
209,800
209,800
192,164
181,624
Pago por desempeño en el sector salud de China (Evaluación de Salud XI)
China
Adam Wagstaff
400,000
400,000
20,356
20,356
323,629
323,629
272,886
114,945
Pago por desempeño en el sector salud de Turquía
(Turquía)
Sarbani Chakraborty
51,715
50,476
50,476
50,476
51,715
50,476
50,476
50,476
Impact. créditos apoyo para la reducción pobreza en la salud materna
Benín
Christophe Lemiere
296,400
296,000
296,000
0 296,400
296,000
296,000
296,000
Seguro de salud innovador para gente de escasos recursos de India
India
Robert Palacios
100,000
100,000
69,806
41,647
100,000
100,000
90,385
86,047
68
Estudios de evaluación de impacto
País/# EI ?
Líder equipo tarea
AsignadoFin_AF20
08
RecaudadoFin_AF20
08
Comprom. Fin_AF2008
Desemb. Fin_AF2008
Asignado Fin_AF20
09
Recaudado Fin_AF20
09
Comprom. Fin_AF2009
Desemb. Fin_AF2009
1.3. Estudios de conglomerados de EI
35
- 6,267,704
268,785
794,805
66,975
5,663,607
4,007,999
1,670,442
942,613
1.3.2 – Transferencia monetaria condicionada
6P. Leite, E. Galasso, M. Grosh
1,184,525
98,785
72,676
56,976
1,226,931
552,331
357,921
342,221
Transferencias monetarias condicionadas y no condicionadas en Nahouri
Burkina Faso
Damien de Walque
224,600
0 0 0 224,600
0 0 0
Programa de TMC en educación rural en Marruecos
Marruecos
Nadine Poupart
450,000
50,000
41,316
41,316
494,211
444,211
266,660
266,660
Estimación efectos dinámicos deChile Voluntario
Chile
Emanuela Galasso
109,925
48,785
31,360
15,660
108,120
108,120
91,261
75,561
Evaluación y mejora de transferencia monetaria condicionada
Indonesia
Susan Wong
400,000
0 0 0 400,000
0 0 0
Programa piloto comunitario de TMC
Tanzania
Anush Bezhanyan
0 0 0 0 0 0 0 0Programa Contigo Vamos por Más Oportunidades, en Guanajuato
México
Theresa Jones
0 0 0 0 0 0 0 0
1.3.3 – Control de la Malaria
5Jed Friedman, Arianna Legovini
602,735
0 202,164
0 602,735
493,868
362,127
159,963
Rol del control de la malaria para mejorar la educación
Kenia
Donald Bundy
36,587
0 71,587
0 36,587
36,587
71,587
0
Rol del control de la malaria para mejorar la educación
Senegal
Donald Bundy
36,247
0 71,587
0 36,247
36,587
71,587
0
Meoramiento resultados malaria mediante diseños de programas basados en evidencia
Zambia
Jed Friedman
247,687
0 0 0 247,687
247,687
129,236
129,236
Mejoramiento resultados malaria mediante diseños de programas basados en evidencia
(Congo, DR)
Jed Friedman
109,207
0 0 0 109,207
0 0 0
Mejoramiento resultados malaria mediante Diseños de programas basados en evidencia
India
Jed Friedman
173,007
0 50,590
0 173,007
173,007
81,317
30,727
Distribuidores comunitarios y vendedores de patentes de medicinas para el control de la malaria
Nigeria
Arianna Legovini
0 0 8,400
0 0 0
Tabla 7. – Programa de investigación de SIEF: ejecución del presupuesto (años anteriores; cont.)
69
Estudios de evaluación de impacto
País/Num. De EI
Líder Equipo Tarea
Asignado End_FY20
10
Recaudado End_FY20
10
Comprometido End_FY2010
DesembolsadoEnd_FY2010
Asignado End_FY20
11
Recaudado End_FY20
11
Comprometido End_FY2011
DesembolsadoEnd_FY2011
1.3. Estudios de conglomerados de EI
35
- 7,231,906
6,932,493
3,992,969
2,419,751
7,494,110
7,492,167
6,962,188
5,991,865
1.3.2 – Transferencia monetaria condicionada
6P. Leite, E. Galasso, M. Grosh
952,736
952,736
597,781
493,443
1,052,731
1,052,685
996,011
764,906
Transferencias monetarias condicionadasy no condicionadas en Nahouri
Burkina Faso
Damien de Walque
224,600
224,600
210,543
110,405
224,600
224,600
224,475
224,475
Programa de TMC en educación ruralEn Marruecos
Marruecos
Nadine Poupart
444,211
444,211
279,163
279,163
444,211
444,211
400,414
400,414
Estimación efectos dinámicos deChile Solidario
Chile
Emanuela Galasso
108,120
108,120
108,074
103,874
108,120
108,074
108,074
108,074
Evaluación y mejora de transferenciaMonetaria condicionada
Indonesia
Susan Wong
15,805
15,805
0 0 0 0 0 0
Programa piloto comunitario de TMC
Tanzania
Anush Bezhanyan
60,000
60,000
0 0 160,000
160,000
158,682
17,728Programa Contigo vamos por
Más Oportunidades, en Guanajuato
México
Theresa Jones
100,000
100,000
0 0 115,800
115,800
104,366
14,215
1.3.3 – Control de la Malaria
5Jed Friedman, Arianna Legovini
752,735
753,075
468,229
288,179
822,735
823,075
710,972
697,945
Rol del control de la malaria para Mejorar la educación
Kenia
Donald Bundy
71,587
71,587
71,587
0 100,222
100,222
100,222
100,222
Rol del control de la malaria paraMejorar la educación
Senegal
Donald Bundy
71,247
71,587
71,587
0 42,612
42,952
42,952
42,952
Mejoramiento resultados malaria mediante diseños de programas basados en evidencia
Zambia
Jed Friedman
272,687
272,687
129,236
129,236
252,687
252,687
172,664
170,538
Mejoramiento resultados malaria mediante diseños de programas basados en evidencia
(Congo, RD)
Jed Friedman
0 0 0 0 0 0 0 0
Mejoramiento resultados malaria mediante diseños de programas basados en evidencia
India
Jed Friedman
173,007
173,007
120,237
90,201
243,007
243,007
224,037
218,316
Distribuidores comunitarios y vendedores de patentes de medicinas para el control de la malaria
Nigeria
Arianna Legovini
164,207
164,207
75,582
68,742
184,207
184,207
171,097
165,917
Tabla 7. – Programa de investigación de SIEF: ejecución del presupuesto (años anteriores; cont.)
70
Estudios de evaluación de impacto
País/Num. De EI
Líder equipo tarea
Asignado Fin_AF20
08
Recaudado Fin_AF20
08
Comprom. Fin_AF2008
Desemb. Fin_AF2008
Asignado Fin_AF20
09
RecaudadoFin_AF20
09
Comprom. Fin_AF2009
Desemb.Fin_AF2009
1.3. Estudios de conglomerado de EI
35
- 6,267,704
268,785
794,805
66,975
5,663,607
4,007,999
1,670,442
942,613
1.3.4 – Programas de mercados laborales activos /Empleo juvenil
7
R. Almeida, M. Lundberg
1,658,125
10,000
172,455
9,999
1,158,124
651,934
360,691
198,235
Evaluación NREG en India
India
Rinku Murgai
390,000
0 46,835
0 290,000
290,000
71,962
25,128Programa de desarrollo
juvenilRep. Dom.
Juan Martin Moreno
249,625
0 115,621
0 149,625
173,075
128,507
12,886Mi Primer
Empleo(Honduras)
Cornelia Tesliuc
308,640
10,000
9,999
9,999
208,639
9,999
9,999
9,999Programa de oportunidades juveniles
NUSAFUganda
Patrick Premand
309,860
0 0 0 209,860
178,860
150,222
150,222
Steps-To-Work, Jamaica
(Jamaica)
Cornelia Tesliuc
400,000
0 0 0 300,000
0 0 0
Evaluación de impacto TVST OVAY
Malawi
Sangeeta Raja Jobanputra
0 0 0 0 0 0 0 0
Proyecto de empoderamiento económico de mujeres jóvenes (EPAG, por sus siglas en inglés)
(Liberia)
Mattias Lundberg
0 0 0 0 0 0 0 0
Conversión tesis en empresas
Tunisia
Stefanie Brodmann
0 0 0 0 0 0 0 0
Efectividad entrenamiento de la “Turkish National Employment Agency”
Turquía
Cristobal Ridao-Cano
0 0 0 0 0 0 0 0
Experimento A Youth Wage Subsidy
Sudáfrica
Elizabeth Ninan
0 0 0 0 0 0 0 0
1.3.5 – Rendición cuentas enseñanza básica
5H. Patrinos, D. Filmer, B. Bruns
756,436
0 254,972
0 756,436
566,300
262,534
7,561
Reforma pago por desempeño de maestros escolares de Pernambuco y Sao Paulo
Brasil
Barbara Bruns
175,000
0 14,438
0 175,000
175,000
19,026
4,587
Escuelas comunitarias de Nepal
Nepal
Nazmul Chaudhury
150,000
0 0 0 150,000
150,000
2,974
2,974AGEs - Programas de Apoyo a la Gestión
EscolarEmpoderamiento paternal
México
Harry A. Patrinos
220,136
0 185,744
0 220,136
30,000
185,744
0
Rol de la evaluación para proporcionar información para rendición de cuentas
Liberia
Nathalie Lahire
211,300
0 11,100
0 211,300
211,300
11,100
0
Evaluación aleatoria educación primaria de Andhra Pradesh
India
Venkatesh Sundararaman
0 0 43,690
0 0 0 43,690
0
Tabla 7. – Programa de investigación de SIEF: ejecución del presupuesto (años anteriores; cont.)
71
Estudio de evaluación de impacto
País/Num. De EI
Líder equipo tarea
Asignado Fin_AF20
10
Recaudado Fin_AF20
10
Comprom. Fin_AF2010
Desemb,Fin_AF2010
Asignado Fin_AF20
11
Recaudado Fin_AF20
11
Comprom. Fin_AF2011
Desemb.Fin_AF2011
1.3. Estudios de conglomerado de EI1.3.4 – Programas de mercados laborales activos /Empleo juvenil
35
- 7,231,906
6,932,493
3,992,969
2,419,751
7,494,110
7,492,167
6,962,188
5,991,865
7
R. Almeida, M. Lundberg
1,333,124
1,089,484
873,135
576,703
1,343,124
1,343,124
1,212,887
1,132,786
Evaluación NREG en India
India
Rinku Murgai
290,000
290,000
250,257
182,613
270,000
270,000
214,761
214,761Programa de desarrollo
juvenilRep. Dom.
Juan Martin Moreno
199,625
199,625
185,582
102,107
224,625
224,625
199,127
170,333Mi Primer
Empleo(Honduras)
Cornelia Tesliuc
9,999
9,999
9,999
9,999
9,999
9,999
9,999
9,999Programa de oportunidades juveniles
NUSAFUganda
Patrick Premand
334,860
334,860
329,522
209,833
349,860
349,860
349,860
341,351
Steps-To-Work, Jamaica
(Jamaica)
Cornelia Tesliuc
0 0 0 0 0 0 0 0
Evaluación de impacto TVST OVAY
Malawi
Sangeeta Raja Jobanputra
200,000
200,000
89,551
63,927
240,000
240,000
234,442
224,477
Proyecto de empoderamiento económico de mujeres jóvenes (EPAG, por sus siglas en inglés)
(Liberia)
Mattias Lundberg
70,000
0 0 0 0 0 0 0
Conversión tesis en empresas
Tunisia
Stefanie Brodmann
55,000
55,000
8,223
8,223
55,000
55,000
54,790
53,457Efectividad entrenamiento de la
“Turkish National Employment Agency”
Turquía
Cristobal Ridao-Cano
98,640
0 0 0 118,640
118,640
117,978
117,978
Experimento A Youth Wage Subsidy
Sudáfrica
Elizabeth Ninan
75,000
0 0 0 75,000
75,000
31,930
430
1.3.5 – Rendición cuentas enseñanza básicaReforma pago por desempeño de maestros escolares de Pernambuco y Sao Paulo
5H. Patrinos, D. Filmer, B. Bruns
982,913
929,039
651,858
392,959
1,071,493
1,071,494
1,007,593
1,000,975
Brasil
Barbara Bruns
228,874
175,000
78,439
78,439
328,874
328,875
280,864
274,247
Escuelas comunitarias de Nepal
Nepal
Nazmul Chaudhury
150,000
150,000
92,015
92,015
150,000
150,000
149,931
149,931AGEs - Programas de Apoyo a la Gestión
EscolarEmpoderamiento paternal
México
Harry A. Patrinos
292,739
292,739
243,667
177,709
292,739
292,739
292,607
292,606
Rol de la evaluación en proporcionar información para rendición de cuentas
Liberia
Nathalie Lahire
211,300
211,300
189,180
10,200
199,880
199,880
185,805
185,805
Evaluación aleatoria educación primaria de Andhra Pradesh
India
Venkatesh Sundararaman
100,000
100,000
48,556
34,596
100,000
100,000
98,386
98,386
Tabla 7. – Programa de investigación de SIEF: ejecución del presupuesto (años anteriores; cont.)
72
Estudios de evaluación de impacto
País/Num. De EI
Líder equipo tarea
Asignado Fin_AF20
08
Recaudado Fin_AF20
08
Comprom. Fin_AF2008
Desemb. Fin_AF2008
Asignado Fin_AF20
09
Recaudado Fin_AF20
09
Comprom. Fin_AF2009
Desemb. Fin_AF2009
1.3. Estudios de conglomerados de EI
35
- 6,267,704
268,785
794,805
66,975
5,663,607
4,007,999
1,670,442
942,613
1.3.6 – Prevención VIH/SIDA
3 David Wilson, Damien De Walque
871,700
120,000
31,100
0 871,700
644,000
162,279
131,179
Evaluación TMC para prevenir VIH y otras ETS
Tanzania
Damien De Walque
290,400
0 8,000
0 290,400
250,000
93,000
85,000
Evaluación impacto de campaña prevención HIV para la juventud
Lesotho
Damien De Walque
306,800
120,000
0 0 306,800
120,000
2,250
2,250
TMC, escolarización, riesgos VIH
Malawi
Berk Ozler
274,500
0 23,100
0 274,500
274,000
67,029
43,929
1.3.7 – Desarrollo en la primera infancia
4 Emanuela Galasso
0 0 0 0 0 0 0 0
EI y análisis costo-beneficio de 3 tipos de intervenciones de la ECD con fondos de la FTI
Camboya
Sophie Naudeau
0 0 0 0 0 0 0 0
Nadie es Perfecto, EI de un programa para mejorar habilidades paternales
Chile
Emanuela Galasso
0 0 0 0 0 0 0 0
EI de DPI en Mozambique
Mozambique
Sophie Naudeau
0 0 0 0 0 0 0 0
Atención a Crisis de DPI y efectivo condicionado
Nicaragua
Renos Vakis
0 0 0 0 0 0 0 0
Evaluación del programa de paternidad, Jamaica
Jamaica
Harriet Nannyonjo
0 0 0 0 0 0 0 0
Total programa investigación SIEF
50
- 7,412,874
983,785
1,454,042
350,172
8,961,453
5,235,620
2,708,440
1,604,570
Tabla 7. – Programa de investigación de SIEF: ejecución del presupuesto (años anteriores; cont.)
73
Estudio de evaluación de impacto
País/Num. De EI
Líder equipo tarea
Asignado End_FY20
10
Recaudado End_FY20
10
ComprometidoEnd_FY2010
Desemb.End_FY2010
Asignado End_FY20
11
Recaudado End_FY20
11
Comprom.End_FY2011
Desemb.End_FY2011
1.3. Estudios de conglomerados de EI
35
- 7,231,906
6,932,493
3,992,969
2,419,751
7,494,110
7,492,167
6,962,188
5,991,865
1.3.6 – Prevención VIH/SIDA
3 David Wilson, Damien De Walque
1,102,717
1,102,217
620,840
314,160
1,102,717
1,102,217
1,075,526
1,055,916
Evaluación TMC para prevenir VIH y otras ETS
Tanzania
Damien De Walque
371,400
371,400
272,655
85,000
371,400
371,400
365,686
347,259
Evaluación impacto de campaña prevención HIV para la juventud
Lesotho
Damien De Walque
384,680
384,680
128,325
120,000
384,680
384,680
384,680
384,680
TMC, escolarización, riesgos VIH
Malawi
Berk Ozler
346,637
346,137
219,860
109,160
346,637
346,137
325,160
323,977
1.3.7 – Desarrollo en la primera infancia
4 Emanuela Galasso
750,000
749,900
17,903
17,903
775,000
774,900
735,316
321,290
EI y análisis costo-beneficio de 3 tipos de intervenciones de la DCE con fondos de la FTI
Camboya
Sophie Naudeau
211,000
211,000
0 0 211,000
211,000
200,948
58,618
Nadie es Perfecto, EI de un programa para mejorar habilidades paternales
Chile
Emanuela Galasso
200,000
200,000
0 0 225,000
225,000
223,309
26,279
EI de DPI en Mozambique
Mozambique
Sophie Naudeau
165,000
164,900
17,903
17,903
165,000
164,900
141,318
136,118Atención a Crisis de
DPI y efectivo condicionado
Nicaragua
Renos Vakis
174,000
174,000
0 0 174,000
174,000
169,741
100,275
Evaluación del programa de paternidad, Jamaica Jamaic
aHarriet Nannyonjo
0 0 0 0 0 0 0 0
Total programa investigación SIEF
50
- 9,886,593
9,583,279
5,693,005
3,817,452
10,186,147
10,180,303
9,511,033
8,207,793
Tabla 7. – Programa de investigación de SIEF: ejecución del presupuesto (años anteriores; cont.)
74
Estudios de Evaluación de Impacto
País / Núm De Estudios EI
Líder equipo tarea
AsignadoFin_AF20
08
Recaudado Fin_AF20
08
Comprom. Fin_AF2008
Desemb. Fin_AF2008
AsignadoFin_AF20
09
Recaudado Fin_AF20
09
Comprom. Fin_AF2009
Desemb.Fin_AF2009
Conglomerado 1 Coordinación SIEF
Todo el mundo
Christel Vermeersch
85,000
0 0 0 85,000
85,000
9,450
9,450 Conglomerado 2 Coordinación
SIEF Todo el mundo
Emanuela Galasso
85,000
0 0 0 85,000
0 0 0
Conglomerado 3 Coordinación SIEF
Todo el mundo
Jed Friedman
85,000
0 21,540
0 85,000
85,000
42,343
20,803Conglomerado 4 Coordinación
SIEF Todo el mundo
Rita Almeida
85,000
30,000
34,050
0 85,000
85,000
40,133
6,083Conglomerado 5 Coordinación
SIEF Todo el mundo
Harry Patrinos
85,000
0 0 0 85,000
30,000
5,681
5,681Conglomerado 6 Coordinación
SIEF Todo el mundo
Damien de Walque
85,000
0 0 0 85,000
30,000
6,621
6,621Conglomerado 7 Coordinación
SIEF Todo el mundo
Emanuela Galasso
0 0 0 0 0 0 0 0
Coordinación total conglomerado
- - 510,000
30,000
55,590
0 510,000
315,000
104,228
48,638
Estudios de evaluación de impacto
País / Num. estudios EI?
Líder equipo tarea
Asignado Fin_AF20
10
Recaudado Fin_AF20
10
Comprom. Fin_AF2010
Desemb. Fin_AF2010
Asignado Fin_AF20
11
Recaudado Fin_AF20
11
Comprom. Fin_AF2011
Desemb. Fin_AF2011
Conglomerado 1 Coordinación SIEF
Todo el mundo
Christel Vermeersch
185,000
85,000
17,785
17,785
185,000
185,000
62,178
62,178Conglomerado 2 Coordinación
SIEF Todo el mundo
Emanuela Galasso
185,000
85,000
20,080
20,080
185,000
185,000
33,059
33,059Conglomerado 3 Coordinación
SIEF Todo el mundo
Jed Friedman
185,000
85,000
77,460
64,460
185,000
185,000
74,623
74,623Conglomerado 4 Coordinación
SIEF Todo el mundo
Rita Almeida
185,000
85,000
78,913
50,713
185,000
185,000
116,428
95,628Conglomerado 5 Coordinación
SIEF Todo el mundo
Harry Patrinos
185,000
85,000
49,341
45,714
185,000
185,000
183,906
180,279Conglomerado 6 Coordinación
SIEF Todo el mundo
Damien de Walque
185,000
185,000
28,864
28,864
185,000
185,000
66,164
66,164Conglomerado 7 Coordinación
SIEF Todo el mundo
Emanuela Galasso
185,000
85,000
10,503
8,003
160,000
160,000
78,740
69,390
Coordinación total conglomerado
- - 1,295,000
695,000
282,946
235,619
1,270,000
1,270,000
615,098
581,321
Tabla 8.- Divulgación y Coordinación de SIEF: ejecución del presupuesto (años anteriores)
Tabla 8.- Divulgación y Coordinación de SIEF: ejecución del presupuesto (años anteriores; cont.)
75
Proyecto No.
Actividades
País
Líder/coordinador de equipo tarea
Desembolsado
SIEF
Total desemb. en El año hasta marzo AY1
2($ 000)
De los cuales:TF
s
De los cuales:Presup. BM
% SIEF / Total desem
b.
-
1.1. Quick Win de los studios de EI
-
- 879.851
2.020.415
1.718.654
301.762
44%P1081
01Fondo de acción social de Tanzania (TASAF II)
Tanzania
Berk Ozler
169.907
986.022
862.480
123.542
17%P1034
13Bono de Desarrollo Humano
Ecuador
Norbert Schady
137.091
287.429
258.071
29.358
48%
P106250
Seguimiento a largo plazo de beneficiarios del programa de simulación
Jamaica
Christel Vermeersch
57.065
107.065
107.065
0 53%
P109590
Desarrollo en la primera infancia (DPI)
Brasil
Pedro Olinto
119.599
415.663
266.802
148.861
29%P1134
04Desarrollo en la primera infancia (DPI)
México
Sebastian Martinez
0 99.236
99.236
0 0%- Personal docente extra
(ETP)Kenia
Barbara Bruns
0 0 0 0 -- Interaction of Information and SBM Reforms in Basic
EducationBenín
Barbara Bruns
0 0 0 0 -P109258
Maharashtra and Orissa Rural Water Supply and Sanitation
India
Priti Kumar
125.000
125.000
125.000
0 100%
- 1.2. Estudios de EI de los fondos de innovación
-
- 2.009.223
5.525.130
3.686.595
1.838.535
36%- 1.2.1. Desarrollo
humano- - 773.8
242.516.337
2.365.040
151.298
31%P1122
48Proyecto de EI de vouchers TIVET
Kenia
Shobhana Sosale
262.000
417.327
397.000
20.327
63%P0893
86Proyecto de tarjetas de evaluación ciudadana (fase II)
Uganda
Damien de Walque
151.003
700.664
642.576
58.088
22%- Evaluación de procesos de determinación de pobreza y de mecanismos de
rendición de cuentasFilipinas
Xavier Gine
0 0 0 -P114924
Reintegración de ex combatientes y agentes de consolidación de paz en Liberia
Liberia
Mattias Lundberg
307.276
886.770
862.110
24.659
35%P1157
05Efectos de asesoría y pruebas VIH realizadas en casa
Kenia
Markus P. Goldstein
53.545
511.577
463.354
48.223
10%- 1.2.2. Desarrollo
sustentable- - 1.235.
3993.008.793
1.321.556
1.687.237
41%P1175
45Generando un futuro mejor: efecto del Mejoramiento de Viviendas Informales sobre la Salud en Sudáfrica
Sudáfrica
Arianna Legovini
258.827
258.827
258.827
0 100%P1177
33Uso doméstico de irrigación de agua
Etiopía
Arianna Legovini
145.974
152.939
145.974
6.965
95%P1104
42EI de GPOVA/SEIF en el agua de Uganda
Uganda
Luis Tineo
120.306
245.463
206.463
39.000
49%P1174
74Soluciones innovadoras de tratamiento de recursos de agua potable rural
Kenia
Arianna Legovini
199.671
199.671
199.671
0 100%- Impacto de pozos de agua y drenaje en el bienestar
familiar y en la Nigeria
Pedro Olinto
0 0 0 -
P095235
EI: acceso al agua en zonas rurales de Paraguay
Paraguay
Miguel Vargas-Ramirez
171.279
978.580
171.279
807.302
18%
P101432
EI: acceso a alcantarillado en Uruguay
Uruguay
Carlos E. Velez
147.135
348.874
147.135
201.739
42%
P104760
Derechos de agua en Perú
Perú
Marie-Laure Lajaunie
192.207
824.438
192.207
632.232
23%
Tabla 9. – Programa de evaluación de impacto de SIEF: Desembolso total por fuente de financiamiento (2007 – abril 2012)
76
Tabla 9. – Programa de evaluación de impacto de SIEF: Desembolso total por fuente de financiamiento (2007 – abril 2012)
77
Proyecto No.
Actividades
País
Líder/Coordinador de
Equipo Tarea
Desembolsado
SIEF
Total desemb. en El año hasta marzo AF1
2($ 000)
De los cuales:TF
s
Del los cuales:Presup. BM
% SIEF / Total desem
b.
-
1.3. Estudios de conglomerados de EI
-
- 6.928.894
19.185.267
14.372.112
4.813.154
36%- 1.3.1 – Contratación salud / Pago
realización - Christel
Vermeersch, 1.250.539
2.407.861
2.098.192
309.669
52%P1058
04Plan Nacer - Child-Mother Provincial
Argentina
Adam Ross
339.812
418.504
414.502
4.002
81%
P098456
Contratación basada en desempeño de servicios de salud general y VIH
Ruanda
Christel Vermeersch
197.383
448.817
427.299
21.518
44%
P116722
Pago por desempeño en el sector salud de China (Evaluación de Salud XI)
China
Adam Wagstaff
272.854
273.006
272.854
152
100%
P111055
Pago por desempeño en el sector salud de Turquía
Turquía
Sarbani Chakraborty
50.476
56.749
50.476
6.272
89%
P113202
Impact. créditos apoyo para la reducción pobreza en la salud materna
Benín
Christophe Lemiere
296.000
1.068.758
839.048
229.709
28%P1187
34Evaluac. Implementación seguros de salud
India
Robert Palacios
94.013
142.028
94.013
48.015
66%- 1.3.2 – Transferencia monetaria
condicionada- Margaret
Grosh, Phillippe Leite,
895.086
2.888.349
1.849.109
1.039.240
31%
P099430
EI prog.piloto de TMC en educación rural y no condicionadas en Nahouri
Burkina Faso
Damien de Walque
224.475
758.400
599.625
158.776
30%
P109306
Programa de TMC en educación rural en Marruecos
Marruecos
Nadine Poupart
347.806
730.069
447.538
282.531
48%P1103
50Estimación efectos dinámicos de Chile Voluntario
Chile
Emanuela Galasso
61.094
105.059
105.059
0 58%P1196
55Evaluación y mejora de TMC en Indonesia
Indonesia
Susan Wong
0 210
210
0 0%P1026
81Programa piloto comunitario de TMC
Tanzania
Anush Bezhanyan
160.000
970.818
594.967
375.851
16%P1150
67Programa Contigo Vamos por Más Oportunidades, en estado de Guanajuato
México
Theresa Jones
101.710
323.793
101.710
222.082
31%
- 1.3.3 – Control de la malaria
- Jed Friedman, Arianna Legovini
762.790
1.271.699
1.139.227
132.471
60%
P113951
Salud y nutrición escolar: rol del control de la malaria para mejorar la educación
Kenia
Donald Bundy
100.222
100.222
100.222
0 100%P1139
54Salud y nutrición escolar: rol del control de la malaria para mejorar la educ
Senegal
Donald Bundy
42.952
42.952
42.952
0 100%P1132
23Mejoramiento resultados malaria mediante diseños de programas basados en evidencia
Zambia
Jed Friedman
193.311
243.311
243.311
0 79%- Mejoramiento resultados malaria mediante diseños de programas basados
en evidenciaCongo, RD
Jed Friedman
0 0 0 -P106233
Mejoramiento resultados mala mediante diseños de programas basados en evidencia
India
Jed Friedman
242.369
327.916
306.172
21.743
74%P1058
46Distribuidores comunitarios y vendedores de patentes de medicinas para el control de la malaria
Nigeria
Arianna Legovini
183.936
557.298
446.570
110.728
33%
78
Tabla 9. – Programa de evaluación de impacto de SIEF: Desembolso total por fuente de financiamiento (2007 – abril 2012)
79
Proyecto No.
Actividades
País
Líder/Coordinador
De Equipo Tarea
Desembolsado
SIEF
Total desemb. en El año hasta marzo AF1
2($ 000)
De los cuales:TF
s
De los cuales:Presup. BM
% SIEF / Total Desem
b.
-
1.3. Estudios de conglomerado de EI
-
- 6.928.894
19.185.267
14.372.112
4.813.154
36%
- 1.3.4 – Programas de mercados laborales activos /Empleo juvenil
- Rita Almeida, Mattias Lundberg
1.276.350
3.989.433
1.937.434
2.051.999
32%
P104857
Evaluación India National Rural Employment Guarantee
India
Rinku Murgai
254.327
780.834
474.324
306.510
33%
P112569
IE - PJE, Programa Juventud y Empleo
Rep. Dom. Juan Martin
Moreno223.622
223.665
223.665
0 100%
- Mi Primer Empleo
Honduras
Cornelia Tesliuc
9.999
9.999
9.999
0 100%P1057
30Programa de oportunidades juveniles NUSAF (YOP)
Uganda
Patrick Premand
349.860
642.201
642.201
0 54%- Steps-To-Work,
JamaicaJamaica
Cornelia Tesliuc
0 0 0 -
P121256
Conglomerado 4 SIEF: Malawi / Evaluación de impacto TVST OVAY
Malawi
Sangeeta Raja Jobanputra
239.531
367.191
278.536
88.654
65%
P108322
Proyecto de empoderamiento económico de mujeres jóvenes (EPAG, por sus siglas en inglés)
Liberia
Mattias Lundberg
0 72.082
0 72.082
0%P1118
13Conversión tesis en empresas
Tunisia
Stefanie Brodmann
54.727
273.593
54.727
218.865
20%
P120514
Conglomerado 4 SIEF:Turquía
Turquía
Cristobal Ridao-Cano
117.785
518.575
217.484
301.092
23%
P112927
Experimento A Youth Wage Subsidy para Sudáfrica
Sudáfrica
Elizabeth Ninan
36.498
1.101.293
36.498
1.064.795
3%
- 1.3.5 – Rendición cuentas enseñanza básica
- Harry Patrinos, Deon Filmer, Barbara Bruns
1.022.601
4.406.753
3.937.931
468.822
23%
P109100
Evaluación efecto reforma pago por desempeño de maestros escolares de Pernambuco y Sao Paulo
Brasil
Barbara Bruns
295.873
348.547
336.543
12.004
85%P0997
92Proyecto escuelas comunitarias de Nepal
Nepal
Nazmul Chaudhury
149.931
899.606
785.540
114.066
17%P1116
06AGEs – Programa Apoyo a la Gestion Escolar
México
Harry A. Patrinos
292.606
327.802
327.802
0 89%P1034
54¿Cuál es el rol de la evaluación en proporcionar información para la rendición de cuentas?
Liberia
Nathalie Lahire
185.805
1.377.786
1.248.352
129.434
13%
P099794
Evaluación aleatoria educación primaria de Andhra Pradesh
India
Venkatesh Sundararaman
98.386
1.453.012
1.239.694
213.318
7%
- 1.3.6 – Prevención VIH/SIDA
- David Wilson, Damien De Walque
981.561
1.914.493
1.711.886
202.608
51%
P113775
Evaluación TMC para prevenir VIH y otras ETS
Tanzania
Damien De Walque
371.131
767.866
678.297
89.569
48%P1106
11EI campaña prevención VIH para la juventud; abstinencia, fidelidad y sexo seguro
Lesotho
Damien De Walque
264.680
725.838
687.838
38.000
36%P1119
39CCT, Schooling, and HIV Risk
Malawi
Berk Ozler
345.751
420.790
345.751
75.039
82%- 1.3.7 – Desarrollo en la primera
infancia- Emanuela
Galasso739.966
2.306.679
1.698.333
608.345
32%P1139
99EI y análisis costo-beneficio de 3 tipos de intervenciones de la ECD con fondos de la FTICamboy
aSophie Naudeau
200.948
426.070
349.875
76.195
47%P1222
31Nadie es Perfecto, EI de un programa paramejorar habilidades paternalesChil
eEmanuela Galasso
223.309
373.629
277.417
96.212
60%P1214
39EI de DPI en Mozambique
Mozambique
Sophie Naudeau
141.743
141.743
141.743
0 100%P0972
66Atención a Crisis de DPI y efectivo condicionado Nicarag
uaRenos Vakis
173.966
1.025.243
914.527
110.715
17%P0956
73Evaluación del programa de paternidad, Jamaica Jamaic
aHarriet Nannyonjo
0 339.995
14.771
325.223
0%
- Evaluación impacto total SIEF
-
-
9.817.968
26.730.812
19.777.361
6.953.451
37%
80
Cuadro A. Indicadores de flujo financiero y ejecución de presupuesto
En este informe se han tomado en consideración cuatro tipos de flujos financieros:
Las asignaciones son las cantidades que han sido abordadas por el Comité Directivo y Técnico de SIEF o por el Gerente del Programa SIEF para actividades y proyectos específicos. -Strictu senso, estas cantidades no son flujos, pero se tomarán decisiones formales relacionadas con transferencias, compromisos y desembolsos.
Recaudación: son las cantidades transferidas desde la cuenta principal de SIEF a las cuentas de subvención específicas, para que los equipos de evaluación de impacto (o los miembros del equipo básico de SIEF, en caso de que las actividades sean realizadas directamente por ellos, como talleres o servicios de asesoría) puedan tener acceso a las cantidades que han sido asignadas a los proyectos o a las actividades de las cuales son responsables.
Compromisos: son los pagos a terceros -como entidades o consultores- que los equipos de evaluación de impacto (o miembros del equipo básico de SIEF en los casos explicados anteriormente) han acordado formalmente a realizar condicionado a la entrega del producto o servicio específico.
Desembolsos: son las cantidades que son pagadas a terceros cuando se reciban los suministros acordados.
En este informe se utilizan tres indicadores de ejecución de presupuesto:
% Recibidos / Asignados: reflejan la medida en que las asignaciones de SIEF han sido canalizadas hacia los individuos (miembros del equipo básico de SIEF, líderes del clúster y líderes del equipo de tareas de evaluación de impacto) que son responsables directos de entregar los productos o servicios específicos.
% Comprometidos / Asignados: reflejan la medida en que las asignaciones de SIEF son utilizadas para contratar entidades y consultores, para abordar el tiempo con el objeto de asegurar la entrega de productos y/o servicios en un tiempo planeado determinado.
% Desembolsados / Asignados: reflejan la medida en que las asignaciones de SIEF han sido utilizadas para pagar los productos o servicios entregados.
81