Evaluación en la gestión publica Lecciones de la experiencia del FMI

Seminario Regional de Política Fiscal CEPAL, Naciones Unidas

Santiago, Chile, 21 de enero de 2014

Ruben Lamdany Oficina de Evaluation Independiente del FMI

Mensajes Principales

• Evaluación contribuye a la eficacia y transparencia de las instituciones públicas

• Recientemente - énfasis en la autoevaluación para aprendizaje

• La evaluación independiente fortalece la legitimidad, provee un marco para rendición de cuentas y mejora la calidad de la auto-evaluación

Estructura de la presentación

• Evaluación: funciones y estructuras

• Sistemas evaluación en Instituciones Publicas

– Domesticas e internacionales

• Contribuciones de la evaluación independiente al FMI

Evaluación:

Funciones y estructuras

Evaluación: ¿Qué es y para qué sirve?

• Examen sistemático de la experiencia institucional:

– Evidencia versus teoría

– Para entender que funciona bien y que no

– Entender las razones y sugerir soluciones

• Aprendizaje y Rendición de cuentas

– Las lecciones fijan parámetros para la rendición de cuentas

– La rendición de cuentas motiva el aprendizaje

¿Qué se evalúa?

• Proyectos

• Programas

• Estructuras Institucionales

• Estrategias

• Políticas

• Insumos

• Procesos

• Actividades

• Efectos directos

• Impacto

¿A cargo de quién y para quién?

• Evaluadores internos o externos?

–Diferentes perspectivas

– Internos: más conocimiento institucional

– Evaluadores externos: nuevas perspectivas

• Autoevaluación o evaluación independiente?

–Diferentes incentivos

–Bajo la gerencia vs. responsables externos

• Unidad especializada?

Comparación de la autoevaluación y la evaluación independiente

Autoevaluación

1. Formativa o ex post

2. Acceso más rápido a la información

3. Difusión interna más fácil

4. Formal o informal

5. Exhaustiva y continua

6. Conflicto de intereses?

7. Puede servir de base a la evaluación independiente

Evaluación independiente

1. Mayormente ex post

2. Perspectiva diferente

3. Impacto mas indirecto

4. Intrínsecamente formal

5. Selectiva, intermitente

6. Contribuye a la legitimidad: Tiende a ser menos sesgada

7. Puede validar los resultados de la autoevaluación

Sistemas de evaluación en Instituciones Públicas

Domésticas e Internacionales

Autoevaluación en el Sector Público

• Generalmente centrada en los programas sociales para mejorar el diseño

• Diferentes niveles de institucionalización • En general efectuada por/para la unidad

operativa a cargo del programa • Común en los países avanzados • En América Latina se ha desarrollado en el

contexto de innovaciones en los programas sociales (e.g., contingent cash payments), y con el apoyo de WB y el BID.

• Cuestionamientos sobre objetividad y falta de candor (e.g., EU).

Evaluación Independiente en el Sector Público

• US Government Accountability Office (GAO) – Responde al Congreso

– Contralor General designado por 15 años

– Plantel profesional de carrera

• Experiencias en: – Japón: organismo académico

– UE: Consejos Fiscales, evaluaciones para el Parlamento Europeo, Corte de Auditores

• Emergiendo en forma gradual en América Latina: – Consejo Nacional para la Evaluación de Políticas

Sociales (CONEVAL) en México

Modalidades Organizativas en MDBs

• Autoevaluación: – Mayormente dentro de unidades operativas

– Cubre todos los prestamos

– Papel del Directorio

– Publicación de resultados

• Evaluación Independiente – Unidades especializada

– Diferencias en el grado de independencia • Cada vez mas las unidades reportan al Directorio

• Contrato del Jefe de Evaluación y los evaluadores

• Tamaño de programa y cubertura

Evolución de la función de la evaluación en el FMI

• Desde la década de los 1950s: Evaluaciones de las políticas y las prácticas cambiarias, y algunos de los acuerdos con el FMI

• 1992: Evaluaciones de cuestiones institucionales y de política más amplias. Por ejemplo, la calidad de la supervisión, condicionalidad, uso de diferentes instrumentos.

• Hasta 1996: Evaluaciones externas aisladas iniciadas por el Directorio

• 1996-99: Grupo de Evaluación de Directores Ejecutivos

• 2001: Creación de la OEI

• A partir del 2004: evaluación de programas en países con uso prolongado de recursos del FMI, asi como de programas acceso excepcionalmentee grande a estos recursos.

• 2006: Primera evaluación externa de la OEI

• 2013: Segunda evaluación externa de la OEI

Autoevaluación en el FMI • Centrado en evaluaciones temáticas

– Parte de la elaboración de políticas y estrategias

• Autoevaluación selectiva de programas

• La mayoría de los informes son solicitados y discutidos por el Directorio

– Extensa revision interdepartamental

– El Directorio desempeña un papel más activo que en otros organismos internacionales

– Publicación de la mayoría de los informes

Mandato del IEO

• Promover la cultura de aprendizaje del FMI

• Fortalecer la credibilidad del FMI

• Ayudar al Directorio a supervisar el gobierno y las actividades del FMI

• Concebido para complementar la labor de examen y autoevaluación dentro del FMI

IEO: Estructura institucional

• Director nombrado por los países miembros

– Selecciona su personal y programa de trabajo

• 20 evaluaciones

– Discutidas en el Directorio y publicadas

• Oficina relativamente pequeña

• No participa en el seguimiento de las recomendaciones

• No convalida los resultados de la autoevaluación

IEO Evaluations (2002-2005)

1. Prolonged Use of IMF Resources (2002) 2. IMF and Recent Capital Account Crises: Indonesia,

Korea, Brazil (2003) 3. Fiscal Adjustment in IMF-Supported Programs

(2003) 4. Poverty Reduction Strategy Papers (PRSPs) and The

Poverty Reduction and Growth Facility (PRGF) (2004)

5. The Role of the IMF in Argentina, 1991-2001 (2004) 6. IMF Technical Assistance (2005) 7. IMF’s Approach to Capital Account Liberalization

(2005) 8. IMF Support to Jordan, 1989-2004 (2005)

IEO Evaluations (2006-2009)

9. Financial Sector Assessment Program (2006)

10. Multilateral Surveillance (2006)

11. The IMF and Aid to Sub-Saharan Africa (2007)

12. IMF Exchange Rate Policy Advice (2007)

13. Structural Conditionality in IMF-Supported Programs (2008)

14. Governance of the IMF (2008)

15. IMF Involvement in International Trade Policy Issues (2009)

IEO Evaluations (2010-2013)

16. IMF Interactions with Member Countries (2010)

17. IMF Performance in the Run-Up to the Financial and Economic Crisis: IMF Surveillance in 2004-2007 (2011)

18. Research at the IMF: Relevance and Utilization (2011)

19. International Reserves: IMF Concerns and Country Perspectives (2012)

20. The Role of the IMF as Trusted Advisor (2013)

IEO Evaluations (forthcoming)

• IMF Forecast

• Recurrent Messages from IMF Evaluations

• An Assessment of Self Evaluation at the IMF

• Statistics and Data at the IMF

• The IMF Response to the Global Financial Crisis

Contribuciones de la evaluación independiente al FMI

Segunda evaluación externa del IEO

• Los informes son sumamente pertinentes y de buena calidad

• El IEO ha contribuido a fortalecer la estructura de gobierno, la eficacia, la credibilidad externa, la rendición de cuentas y la cultura de aprendizaje del FMI

• Al mismo tiempo sugirió que:

– Las evaluaciones del IEO tendrían que analizar asuntos mas candentes.

– El IEO tendría que involucrarse mas en el seguimiento de la implementación de sus recomendaciones

Ejemplos de Conclusiones y Recomendaciones en algunas de

las evaluaciones mas recientes del IEO

Condicionalidad Estructural

• El volumen de condicionalidad no había bajado a pesar de varias decisiones del Directorio.

• En parte, eso se debía a la demanda de condicionalidad por los donantes

– Como mecanismo de seguimiento para sus propias iniciativas

• Una gran proporción de las condiciones no eran críticas

– Al mismo tiempo no estaba claro como manejar reformas críticas donde el FMI no tiene experiencia

El gobierno corporativo del FMI

• Ambigüedad en la función del IMFC: asesor o tomador de decisiones – Afecta su eficacia en supervisar a la institución y a

la Gerencia

• La selección de la Gerencia es vista como carente de legitimidad y no basada en mérito

• Establecer un Código de Conducta obligatorio para el Directorio y la Gerencia – Mecanismos para sancionar conflictos de interés y

problemas éticos. – Restricciones para después de dejar el FMI

El Programa de Investigación del FMI

• Aunque muchos de los estudios son muy útiles y de alta calidad, un mayoría de ellos son de relevancia limitada o tienen problemas de calidad técnica. – Consultar y colaborar con las autoridades y

académicos locales

– Mejorar el sistema de revisión de calidad

• La investigación está influida por las políticas y las recomendaciones del Fondo

• Promover nuevas perspectivas

Desempeño del FMI en el período previo a la crisis financiera y económica

• El FMI no advirtió sobre los riesgos y vulnerabilidades que provocaron la crisis.

• Otros analistas advirtieron sobre estos riesgos, pero fueron ignorados.

• Causas principales: “pensamiento de grupo”, “captura intelectual”, y deficiencias institucionales

• Muchas de estas deficiencias se habían identificado en crisis previas, pero no se tomaron medidas adecuadas.

El FMI como “Asesor de Confianza”

• Desde la crisis global, el FMI es visto como una organización más flexible

– Pero las autoridades de muchos de los mercados emergentes son muy escépticas sobre el rol del FMI como asesor de confianza

• El Staff debe consultar con anticipación a las autoridades sobre sus temas de interés y sobre las cuestiones de política más importantes

• El FMI tiene que buscar formas para mitigar las preocupaciones de muchas autoridades sobre su imparcialidad, y sobre la divulgación de información

Reservas Internacionales

• Los indicadores de suficiencia de las reservas deben utilizarse de manera flexible y reflejar las circunstancias específicas de los países.

• Es preciso reconocer las múltiples consideraciones que deben tenerse en cuenta en las decisiones sobre la acumulación de reservas – El asesoramiento acerca de las reservas debe integrarse

con las recomendaciones formuladas en otros ámbitos de política conexos.

• El asesoramiento sobre reservas no debe dirigirse solamente a los mercados emergentes, sino que también debe considerar los problemas en las economías avanzadas que se han manifestado con el surgimiento de la crisis financiera.

Implementación de las recomendaciones de la IEO

• El Directorio avaló alrededor del 85% de las 100 recomendaciones principales de la IEO

• El FMI tomó algunas medidas respecto de 75% de las recomendaciones avaladas.

• Pero sólo una cuarta parte se han implementado completamente

Uso de los informes del IEO entre el personal técnico

(Porcentaje de respuestas)

0

25

50

75

Menos antiguo Más antiguo SEC OMD DMD

SPR

Mensajes Principales y Recurrentes de las Evaluaciones

del IEO

El Gobierno Corporativo del FMI

1. Necesidad de aclarar las funciones y responsabilidades del Directorio, la Gerencia y el personal

– ¿A quién debe rendir cuentas y sobre qué?

2. Muchas políticas y directivas carecen de suficiente claridad como para que el personal pueda implementarlas de manera eficaz y consistente

Cultura Institucional e Incentivos

3. El personal del FMI es muchas veces reacio a plantear cuestiones difíciles con las autoridades nacionales, particularmente en las economías avanzadas mas grandes.

4. Se necesita un tratamiento más uniforme al aplicar políticas y en el asesoramiento brindado a los miembros.

5. Hay un grado significativo de “pensamiento de grupo” (group-think) e insularidad entre el personal técnico del FMI, la gerencia y, en menor medida, incluso en el Directorio.

Cuestiones organizativas y operacionales

6. El personal técnico tiene que integrar mejor el análisis a través de diferentes: temas (e.g., macro-financiero), líneas operativas (supervisión multilateral/bilateral) y departamentos.

7. Frecuentemente el personal técnico no se hace suficiente distinción en sus recomendaciones entre países y circunstancias (Blueprinting/ molde único).

8. El FMI tiene que establecer un marco de monitoreo y evaluación que vincule objetivos con políticas e instrumentos. Debe fijar parámetros que le permitan evaluar resultados y tomar medidas correctivas.

Selected References • “Independent Evaluation at the IMF: The First

Decade” (Lamdany and Edison, 2012)

• Report on the Second External Evaluation of the IEO (José Antonio Ocampo, Stephen Pickford, and Cyrus Rustomjee, 2013)

• IEO Assessment of Self-Evaluation at the IMF (forthcoming)

• Various IMF Reviews of policies and activities

Visítenos en www.ieo-imf.org