La evaluación en el sector público en

América Latina

Reflexiones sobre paradigmas, usos y métodologías

Lucy Winchester

ILPES/CEPAL

lucy.winchester@cepal.org

Seminario Internacional “Evaluar las Políticas Públicas para un

Desarrollo Inclusivo” Programa de Evaluación de las Políticas Públicas,

Jefatura de Gabinete de Ministros, Presidencia de la Nación

Buenos Aires, Argentina, 10 al 11 de 2013

Temas de la reflexión

1. Paradigmas – fundacionales para la práctica de la evaluación; y en relación a AL

2. Implicaciones uso AL – tendencias observadas

3. Implicaciones metodológicas AL – tendencias observadas

4. Logros, dificultades, innovaciones y pendientes

Las raíces fundacionales de la evaluación (paradigmas)

1. Accountability - alude a que el gobierno (u organización) debe hacerse responsable de los resultados logrados producto de su accionar. - actividades diseñadas para mejorar la intervención pública y la sociedad.

Alkin, Marvin C. y Christina A. Christie (2004). “An Evaluation Theory Tree” en Evaluation’s Roots,

Tracing Theorists’ Views and Influences, ed., M.C. Alkin, Sage.

Accountability (cont.)

• En relación a los objetivos – si los objetivos y metas han sido definido en forma adecuado y razonable.

• En relación al proceso – si se ha establecido (e implementado) procedimientos suficientes, adecuados y razonables para alcanzar su logro.

• En relación al resultado – si se ha logrado los objetivos establecidos, en qué grado.

Alkin, Marvin C. (1972). “Accountability defined.” Evaluation Comment: The Journal of Educational

Evaluation, 3, 1-5.

2. La investigación social – el estudio sistemático del comportamiento de grupos de individuos en distintos entornos sociales, a través de una variedad de métodos. - el estudio empírico vía la recolección y análisis de información empírica sobre grupos sociales.

Las ramas “teóricas” del árbol:

1. Los métodos – la evaluación guíada por las metodologías de investigación (el marco evaluativo). Busca generalizar, busca construir conocimiento. (defn. de objetivos y resultados, hipótesis; diseños

experimentales, cuasi experimentales; teoría del programa; …)

2. La valoración – el rol esencial de la evaluación es valorar la data, formular un juicio. (criteria de evaluación; cadena

causal; descripción crítica, interpretación de signficado, valoración; actores y participación)

3. El uso – cómo se utilizará la información evaluativa, y quiénes la utilizarán. (CIPP – contexto, insumos, proceso, producto;

analizar proceso, medir resultados; aprendizaje)

Alkin, Marvin C. y Christina A. Christie (2004). “An Evaluation Theory Tree” en Evaluation’s Roots,

Tracing Theorists’ Views and Influences, ed., M.C. Alkin, Sage.

América Latina – paradigmas 1. Accountability - Para la evaluación en el sector público, el

concepto está asociado a la rendición de cuentas y la transparencia respecto de las decisiones, productos, gasto, políticas y acciones públicas, incluyendo su forma de administración, gestión e implementación.

2. Value for Money - un compromiso explícito por garantizar que se obtuvieron los mejores resultados posibles con los recursos públicos gastados. La evaluación en este paradigma sirve para: a. controlar el uso de los recursos públicos en la provisión de bienes y servicios públicos, b. la administración de los grandes desequilibrios (macroeconómicos, sociales y ambientales), c. la acumulación de capital social, físico y humano, y d. la consolidación de los procesos de gobernabilidad democráticos.

Bello, Rosario (2013)

Paradigmas AL (cont)

3. Gestión para resultados del desarrollo y valor público – objetivo último: habilitar a las organizaciones públicas para que logren, mediante la gestión del proceso de creación de valor público, los resultados consignados en los objetivos del gobierno.

4. Complementado con el paradigma de la calidad de la gestión estatal – la orientación hacia el ciudadano y la satisfacción de sus necesidades, y la modernización de los recursos humanos, operativos, tecnológicos, organizacionales. La evaluación comienza a mirar hacia el sujeto de la intervención del Estado. Y se convierte en un activo político con capacidad de legitimar las acciones públicas (Moyado 2002). Bello, Rosario (2013)

Creación de sistemas de M&E en LAC

Cuatro razones principales

1. el mandato de darle mayor racionalidad a los ajustes y correcciones fiscales dentro de un marco de modernización y racionalización de la gestión pública

2. la percepción de los gobiernos de que deben pagar un costo político cada vez más alto por la mala gestión de programas públicos

3. la mayor demanda de participación y transparencia por parte de la sociedad

4. una tendencia creciente de la ciudadanía por exigir servicios efectivos con respuestas sostenibles, lo que obliga al Estado a legitimarse sobre la base de un mejor desempeño público.

Bello, Rosario (2013)

La evaluación por tanto es conceptualizada - como una función crítica de la administración pública,

- como un instrumento que consolida la información necesaria para alimentar las decisiones de presupuesto y la cuenta pública, y - en menor medida para la gestión de los programas, la planificación y la formulación de programas y políticas.

Bello, Rosario (2013)

Institución que tiene la responsabilidad de planificar y evaluar por país (2012)

Institución Quién planifica por país Quién evalúa por país

Institución Planificación Bolivia, Colombia, Costa Rica, Ecuador, Paraguay, Perú y Trinidad y Tobago.

Colombia, Costa Rica, Ecuador, Guyana,

Paraguay, Trinidad y Tobago, Venezuela

Oficina de la Presidencia

Chile, El Salvador, Guatemala, Honduras,

México y Nicaragua.

El Salvador, Guatemala, Honduras, Jamaica, Nicaragua, Panamá

Mixto: Finanzas y Planificación

Brasil, Jamaica, República, Dominicana,

Uruguay, Venezuela.

Brasil, República Dominicana, Uruguay

Institución de Finanzas (o Hacienda)

Bahamas, Guyana, Panamá

Chile, México, Perú

Consejo o Comité especial

Argentina Argentina, Bolivia

Cada Institución Belize Belize

País Toma de decisiones

presupuestarias

Planificación nacional o sectorial

Gestión de programas

Rendición de cuentas

Formulación y/o mejoramiento de

programas o políticas

Argentina x x x x

Brasil x x x x x

Bolivia x x x

Colombia x x x x x

Costa Rica x x x x x

Chile x x x x x

Ecuador x x x

Guatemala x x x

Guyana x x

Honduras x

Jamaica x x x

México x x x x x

Nicaragua x x

Panamá x

Paraguay x x x

Perú x x x x

República Dominicana

x x x

Trinidad y Tobago x

Uruguay x x x

?Qué apoyan los sistemas de M&E en AL (2012)?

¿Para que se usa el sistema de monitoreo y evaluación, principalmente?

Muy frecuente: El sistema está institucionalizado y cuenta con metodologías e instrumentos formalizados.

Frecuente: El sistema está institucionalizándose y se están elaborando los instrumentos y las metodologías

Poco frecuente: el sistema está comenzando a implementarse

Para tomar decisiones técnicas y presupuestarias

Chile

Para tomar decisiones de alto nivel

Brasil, Colombia, Costa Rica, Uruguay

Bolivia, Ecuador, México

Para corregir cumplimiento de metas

Argentina, Guatemala

Honduras, Nicaragua,

Panamá, Paraguay,

Perú, Guyana

Uso de los sistemas de M&E en AL (2012)

Hechos estilizados: ejes de evaluación, tipos de indicadores, métodos y metodologías

Eje de la evaluación: • Chile, Colombia y México muestran avances en la

incorporación de un menú de evaluaciones que den cuenta de manera más integral de la cadena de generación de valor público, incorporando también evaluaciones de impacto rigurosas y financiadas por el país.

• El resto de los países está focalizado mayoritariamente en alguna de las partes de la cadena con énfasis las evaluaciones que miden los niveles de producción de los bienes y servicios provistos, sus costos y el desarrollo del cronograma de actividades.

• En éstos, el acento sigue colocado en la eficiencia del gasto, donde el control financiero y presupuestario constituye la base de dicha evaluación.

Tipos de indicadores: • En la práctica ha sido difícil establecer indicadores de resultados y que

además estén vinculados con el gasto de un programa.

• Se han definido una cantidad indiscriminada de indicadores para los cuales no necesariamente se recopila información (se definen para cumplir sin intención real de medirlos).

• Los objetivos sobre los cuales se basan los indicadores no están bien formulados (en muchos casos los indicadores de desempeño se han desarrollado antes de haber aclarado o legitimado los objetivos)

• En algunos de los países más avanzados no se utilizan los mismos indicadores y metas para comparar los logros (se cambian los indicadores o las bases de comparación)

• Al no producirse una articulación entre niveles de objetivos y metas sectoriales, la utilidad de medir resultados se cuestiona por cuanto no se conoce cómo los resultados de un sector pueden deshacer los logros en otro sector, salud o educación.

Métodos de evaluación: • Es común el uso de auditorías financieras, y de

evaluaciones de resultados (eficiencia y eficacia). • En la mayor parte de los países se evalúa con la

información que se tiene. • Predominan las revisiones relativamente sencillas de

programas (examen de documentos, entrevistas a las principales partes interesadas, debates en grupos focales y el uso de cualquier tipo de datos de los programas disponible)

• En algunos países, se ha intentado avanzar hacia una valoración de los resultados de las políticas y de la calidad de los servicios prestados a través de estudios de caso de índole cualitativo.

Metodologías de evaluación:

• En general, las metodologías de evaluación utilizadas identifican los problemas y los dividen en pequeños subgrupos temáticos de manera de poder medirlos.

• No se incorpora mediciones multisectoriales que reconozcan los nexos entre metas.

• Las evaluaciones están abocadas centralmente a la comparación entre objetivos y metas propuestas en el nivel micro, de programas y proyectos

• Esto es válido también para las evaluaciones de impacto que no miden ni cambios en las políticas públicas ni sus efectos concertados sobre los usuarios, más allá de la contribución de un programa o un proyecto específico.

• Por lo general el argumento es que “basta con las evaluaciones de corto plazo de un conjunto de programas para tener indicaciones sobre los resultados de la implementación de las políticas públicas dado que éstas se traducen en programas y proyectos”.

Metodologías de evaluación (cont): • Las evaluaciones de avance de las políticas públicas no dan cuenta de la

complejidad de los fenómenos sociales -- los resultados del accionar público dependen de una multiplicidad de factores, endógenos y exógenos

• Aunque algunos países tratan de abordar este tema, no pasan de ser un ejercicio aislado de un programa.

• Dependiendo de los ámbitos a evaluar se definen como Evaluaciones en Profundidad o Módulo de Evaluación de Impacto. Países como Chile, México y Colombia han avanzado en este sentido.

• Las evaluaciones de la política pública se han centrado en medir el desempeño de corto plazo a nivel de procesos y productos, dejando de lado la medición de la sostenibilidad/sustentabilidad de los resultados y la calidad de los mismos.

• Existe un sesgo hacia la medición de productos en términos absolutos debido a una cultura de medición que privilegia cantidades (1,500 mil vacunas) más que la calidad del gasto o la rendición del valor público de aquello que es producido.

Observaciones adicionales

• Se observa una fricción entre paradigmas de investigación social y accountability evidenciados por tipo de profesionales involucrados y perspectivas internalizadas en los sistemas de M&E.

• Se observa una debilidad de la aplicación de metodologías de evaluación de programas, desde la perspectiva de la investigación social aplicada. En particular en el desarrollo insuficiente de los modelos de programas (teoría del cambio). Asimismo en el involucramiento de los beneficiarios/ciudadano/as.

• Los indicadores se vuelven un fin y no un medio para comprender la intervención pública y evidenciarla. Sistemas de indicadores son el principal “evidencia” hoy en día en la región.

Observaciones adicionales

• Las metodologías utilizadas, aunque en muchos casos son “estandaridizadas”, en general no tiene objetivos de mejoramiento de implementación y aprendizaje organizacional. (falta demanda efectiva)

• Débil calidad de la información de monitoreo, falta de sistemas integrados

• Débil diseño de proyectos, programas, especialmente políticas (estrategias y planes)

• Falta de interconectividad entre micro, meso y macro niveles de planificación

• Débil conectividad entre sistemas de planificación y presupuesto.

Estructura Institucional

y

Administración / Gestión Insumos

Actividades Productos Resultados Impacto

Evaluaciones de

procesos

Evaluación de

Productos Evaluación de

Resultados

Evaluación

de Impacto

Medición anual de

procesos y productos

Micro Meso

Evaluación de i) impacto de todos

los programas de un sector, de

programa intersectorial, regional;

ii) de diseño y resultados de

mediano plazo en provisión de

bienes y servicios x programa/

proyecto

Medición Impacto, resultados, productos de mediano plazo Inter/Sectoriales Programas /

Proyectos

Evaluación de: i) avance en metas

de producción de bienes y servicios;

ii) análisis de los procesos de

producción y administración; iii)

eficiencia y calidad de los productos,

IV) eficacia y efectividad de los

sistemas de información, monitoreo

y rendición de cuentas

Evaluación de i) coherencia y

pertinencia entre metas de largo

y mediano plazo, entre

prioridades nacionales y

territoriales de largo plazo; ii)

análisis de escenarios y riesgos

de mediano y largo plazo

Medición Largo/mediano Plazo; Estrategias Prioritarias

Nacionales y Territoriales

Macro

Análisis de escenarios y ries-

gos; Coherencia y pertinencia Insumos

Modelo integrado de planificación y evaluación

Bello, Rosario (2013)

El nivel macro de evaluación

Centrado en la valoración de distintos escenarios para la definición y actualización de las políticas públicas:

i) la coherencia, pertinencia y viabilidad del diseño de las políticas públicas;

ii) los riesgos de amplio espectro y los escenarios fiscales que afectan su logro, así como de las reasignaciones de recursos presupuestarios en períodos de gobierno y su efecto sobre las metas definidas de largo plazo; y

iii) la relación entre los resultados intermedios con las metas fijadas al largo plazo.

Relacionada con la toma de decisiones estratégicas, la legitimación social de la acción pública y la gobernabilidad. Asimismo, permite actualizar las opciones de políticas de Estado a la luz de nuevos escenarios económicos, sociales y políticos.

Estudios de prospectiva definida ésta como un análisis sistemático que permite la identificación, anticipación y proyección de tendencias en los campos sociales, económicos y tecnológicos (Costa Rica, Uruguay)

El nivel meso de evaluación Un nivel meso que evalúe la política sectorial e intersectorial de mediano

plazo y la institucionalidad pública que la opera. Este tipo de evaluación se enfocaría en medir:

i) la alineación y consistencia de los objetivos institucionales sectoriales (Ministerios/Secretarías) con las definiciones estratégicas y prioridades nacionales;

ii) el impacto de un conjunto de programas institucionales que tienen relación con una meta sectorial (por ejemplo todos los que contribuyen al objetivo y la meta de productividad agrícola); y

iii) el desempeño (resultados intermedios o impacto) en la provisión de bienes y servicios públicos por un conjunto de programas o proyectos intersectoriales y territoriales.

Colombia presenta un ejemplo interesante de seguimiento de los resultados e impactos de un conjunto de programas y proyectos sectoriales orientados al cumplimiento de metas de largo plazo desde un enfoque piramidal. El seguimiento y análisis estratégico de metas en tres niveles articulados realizado por el Sistema Nacional de Evaluación de Resultados de la Gestión Pública (SINERGIA).

Metodologías de micro simulación de evaluación de impactos de Programas de Transferencia Condicionadas (CEPAL).

El nivel micro de evaluación

Por su parte, el nivel micro de evaluación se centra en valorar: i) el avance -a nivel de la unidad programa- en el cumplimiento de

metas anuales de producción, de cobertura, focalización y de gasto;

ii) el avance en los compromisos de gestión y de desempeño institucional en el año (administración, compras públicas, etc);

iii) la calidad de la administración de los procesos, la calidad de los bienes y servicios de una institución o un programa, y la calidad de los sistemas de información institucional y su relación con los ciudadanos, usuarios y grupos de interés; y

iv) medir la eficiencia y calidad del gasto.

Sistema Chileno de Evaluación de Programas Públicos, SED de

México, convenios de desempeño

Referencias seleccionadas Moore, Mark H. (1995). Creating Public Vlaue. Strategic Management in

Government, Cambridge: Harvard University Press. Hunt, G. 2010. “The Principle of Complementarity: Freedom of Information,

Public Accountability & Whistleblowing”, cap 5 en R A Chapman & M Hunt (eds) Open Government in a Theoretical and Practical Context. Ashgate, Aldershot, 2006.

Bovens, M. "Two concepts of accountability: accountability as a virtue and as a mechanism," West European Politics 33 (2010), 946–967.

Christopher, W. 2006. Leadership, accountability in a globalizing world. London: Palgrave Macmillan.

Bello, Rosario (2013). Sistemas de evaluación y políticas públicas en América Latina, se está avanzando? Serie Gestión Pública 78, CEPAL, en prenta.

Moyado, F. (2002). “Gestión pública y calidad : hacia la mejora continua y el rediseño de las instituciones del sector público.” Ponencia presentada en el VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Octubre.

Olavarría, M (2010). “Efectividad en la Gestión Pública”. Universidad de Chile Revista de Ciencias Sociales Nº52:11-36 (enero-abril).

Feinstein, O. 2007. Evaluación Pragmática de las Políticas Públicas. En Evaluación de Políticas Públicas (mayo-Junio) #836:19-31