1

Evaluación de Resultados:Metodologías

Curso InternacionalPolíticas presupuestarias y gestión por resultados:INDETECGuadalajara, 20-31 Agosto 2007

Marianela ArmijoConsultoraÁrea de Políticas Presupuestarias y Gestión Pública ILPES/CEPALMarianela.armijo@cepal.org

2

EVALUACION

“Proceso de medición sistemática y continua de los resultados obtenidos de un programa, proyecto, política y la comparación de esos resultados con estándares u objetivos previamente definidos “ OCDE.

“Un estudio en profundidad, que se realiza en un tiempo definido y en el cual se utilizan instrumentos de investigación en forma sistemática y analítica, para generar un juicio sobre el valor de una intervención.....…”Evaluación del Gasto de Programas en la Unión Europea. Comisión Europea

“Conocimiento para la acción” Mejores Prácticas para la Evaluación. Public Management Public

3

OBJETIVOS DE LA EVALUACION

APOYAR EL PROCESO DE TOMA DE DECISIONES

MEJORAR EL RESULTADO DE LAS INTERVENCIONESPUBLICAS

INFORMACION SOBRE IMPACTO DE LAS POLITICAS

AYUDA A VALORAR LA CONTRIBUCION PUBLICA DE LAS ACCIONES

GUBERNAMENTALES EN LA EJECUCION DE POLITICAS Y PROGRAMAS

4

INTERVENCIONESPUBLICAS

(CATEGORIAS)

POLITICAS

PROGRAMAS

OPERATIVO(ENTIDADES QUE EJECUTAN

PROGRAMAS Y PROVEEN BIENES Y SERVICIOS)

5

ETAPAS DEL PROCESO DE EVALUACION

ETAPAS

EX -ANTES

Diseño de Programas y Proyectos

OPERATIVA

Ejecución del Programa oProyecto, Productos, Servicios

EX-POST

Medición del desempeño o Impacto

6

DISEÑO Y FORMULACIÓN DE POLÍTICAS Y PROGRAMAS

EJECUCIÓN E IMPLEMENTACIÓN

TOMA DETOMA DEDECISIONESDECISIONES

EVALUACION GUBERNAMENTAL EX POST

EVALUACIONPOLITICAS, PROGRAMAS

DESEMPEÑO, GESTION

7

EVALUACION Y GESTION POR RESULTADOS

TIPO DE ACCION GUBERNAMENTAL

QUE SE EVALUA METODOLOGIA

Estrategias Nacionales Metas nacionales

Proceso PolíticoCiudadanía, Encuestas, Escrutinio Público

Políticas Metas sectoriales

Comités Científicos de Evaluación, Paneles de Expertos

Operativa-Instituciones Cumplimiento de metas de gestión y resultados finalesIndicadores de Eficiencia, Eficacia, Calidad, Economía

Sistema de Indicadores de Desempeño

Cuadro de Mando Integral

Programas Resultados, gestión, impacto

Marco LógicoEvaluación de Impacto

Inversiones Rentabilidad SocialCosto-Beneficio

Evaluación costo-beneficio ex-ante

8

EVALUACION DE POLITICAS

SINERGIA COLOMBIA

SINE COSTA RICA

9

RAZON DE SER DE SINERGIA

Evaluar las políticas públicas expresadas en el Plan Nacional de Desarrollo {PND--) el documento que plasma las

preferencias ciudadanas}

Enfasis: nivel macro de la gestiónEnfasis: meta-evaluación

10

Razón de ser

Generar mecanismos para exigir el rendimiento de cuentas sobre el uso de los recursos públicos destinados a cumplir las promesas realizadas a la ciudadanía a partir del programa de un gobierno elegido democráticamente Referencia: Plan Nacional de

Desarrollo

11

El ciclo de la evaluaciónPlan de Gobierno (4 años)

Definicion de compromisos cuatrienales y distribucion proyectada con metas cuantificablesOBJETIVOS DE POLITICA SECTORIAL

PLAN INDICATIVOSector 1(anual)

PLAN INDICATIVOSector 2

PLAN INDICATIVOEntidad 1

PLAN INDICATIVOEntidad 2

PLAN INDICATIVOEntidad 3

CONPES de Compromisos(anual)

Seguimiento Semestral

(DEGR)

Vigencia año 2

Vigencia año 3

Vigencia año 4

CALIFICACION:EntidadSector

Gobierno Nacional(anual) CONPES anual de

evaluacion

CONPES del cuatrenio: EVALUACION DEL

PERIODO DE GOBIERNO(meta-evaluacion)

Evaluaciones Externas

Auto-evaluacion(meso-evaluacion descentralizada)

(anual)

COSTA RICA

13

Sistema Nacional de Evaluación (SINE) Costa Rica (1994) MIDEPLAN

Objetivo:

“Dotar a la Presidencia de la República de un instrumento de gerencia pública para evaluar las acciones estratégicas incluidas en el Plan Nacional de Desarrollo (PND) y promover la rendición de cuentas.”

14

PROCESO DE EVALUACIÓN

PROCESO DE EVALUACIÓN

AUTOEVALUACIÓNAUTOEVALUACIÓN EVALUACIÓN

ESTRATÉGICA

EVALUACIÓN

ESTRATÉGICA

El proceso de evaluaciónEl proceso de evaluación

Plan Operativo Anual

Plan Operativo Anual

Compromiso de Resultados

(CDR)

Compromiso de Resultados

(CDR)

15

TIPOS DE EVALUACIONES:ChileEvaluaciones de Programas Gubernamentales (EPG)

Evaluación de consistencia en diseño, gestión y resultados Basado en la metodología de marco lógico Realizadas por paneles de 3 expertos independientes,

seleccionados por concurso público Informe Final en 6 meses

Evaluación de Impacto (EI) Evaluación de los resultados finales de programas en base a

mediciones de impacto Metodología considera recolección de datos, técnicas de

medición más sofisticadas (“Matching”, LATE), grupos de control Realizadas por consultoras privadas, universidades,

seleccionadas a través de licitación pública Informe Final en 1-1/2 años

Evaluación Comprehensiva del Gasto (ECG) Evaluación del diseño y gestión institucional y resultados y uso

de recursos en la provisión de los productos estratégicos. Se evalúa la posible existencia de duplicidades, inconsistencias,

oportunidades para generar sinergías y ahorros

16

EVALUACION DE PROGRAMAS

OBJETIVOS DE LA EVALUACION

METODOLOGIA

USO DE LA EVALUACION Y CONSECUENCIAS PARA EL PRESUPUESTO

17

OBJETIVOS DE LA EVALUACION

Apoyar la gestión, el análisis y toma de decisiones de asignación de recursos públicos.

Mejorar la gestión a través del aprendizaje institucional de los administradores o encargados de implementar las políticas y programas

Generar aprendizajes derivados del desarrollo de la evaluación y análisis de los resultados, contribuyendo así al objetivo de eficiencia operacional del sistema presupuestario.

Contribuir a la transparencia y accountability o rendición de cuentas.

18

Ambitos de la evaluación

Justificación del ProgramaDiseño. Organización y Gestión..Resultados: Eficacia, Eficiencia, Economia, CalidadSostenibilidad/Continuidad. Conclusiones y Recomendaciones.

 

19

20

Metodología: Marco Lógico

21

RESULTADOS DE EVALUACIÓN DE PROGRAMAS Y SUS EFECTOS

FONDO DE PROMOCIÓN DE EXPORTACIONES (FPE) – PROCHILE (evaluación año 2002)

RESULTADOS Y EFECTOS

El FPE financia proyectos y actividades de promoción de exportaciones que permiten aumentar y diversificar la oferta exportable y elevar el valor agregado de los bienes y servicios producidos en Chile, además de promover el desarrollo exportador de las regiones y ampliar las oportunidades de exportación de las pequeñas y medianas empresas.

El FPE ha ha beneficiado a más de 2.500 empresas en el período 1996-2001 a través del cofinanciamiento de proyectos de promoción de exportaciones.

La evaluación no muestra resultados significativos del programa sobre el volumen de exportaciones o el nivel de las ventas de las empresas beneficiarias respecto de aquellas del grupo de control.

Sobre la base de los hallazgos de la evaluación, el presupuesto se redujo para el año 2004, incluyéndose también una reestructuración de las partidas presupuestarias y la elaboración de compromisos en materia de gestión interna para asegurar un mejor desempeño.

DESCRIPCIÓN

USO DE LA EVALUACION DE PROGRAMAS

22

UTILIZACION DE LA EVALUACION DE PROGRAMAS EN ELPRESUPUESTO Y EN EL MEJORAMIENTO DE LOS PROGRAMAS

23

24

Costo de la evaluación

Evaluación Comprehensiva del Gasto

26

ObjetivosEvaluar el diseño institucional, la gestión de los procesos claves, y los resultados y uso de recursos en la provisión de los productos estratégicos (bienes y servicios).

Utiliza como información base las prioridades gubernamentales, las definiciones estratégicas institucionales, las estadísticas de los beneficiarios/usuarios/clientes respecto de cada uno de los productos estratégicos, los indicadores que dan cuenta del desempeño de éstos, y los gastos asociados a la provisión de dichos productos..

27

Modelo de Evaluación Comprehensiva del Gasto

Sistema de Control de Gestión y Presupuestos por Resultados. La Experiencia Chilena. 2005www.dipres.cl

EVALUACION DE IMPACTO

29

ESTRUCTURA DE LA EVALUACION DE IMPACTO: CASO CHILE

INTEGRAN LA EVALUACION DE LOS RESULTADOS DE CORTO, MEDIANO Y LARGO PLAZO DE LOS PROGRAMAS (EFICACIA), CON LOS PRINCIPALES ASPECTOS DE EFICIENCIA Y ECONOMIA EN EL USO DE LOS RECURSOS.

30

PREGUNTAS QUE SE HACE LA EVALUACION DE IMPACTO

Efectos de mediano y largo plazo sobre la población beneficiaria que espera obtener el Programa

¿Cuáles serán los beneficios con que quedará la población beneficiaria una vez que concluya su participación en el programa?

Incremento en el nivel de remuneraciones Reducción de la tasa de morbilidad de menores

beneficiados con un programa de vacunación Aumento del rendimiento escolar de los alumnos

participante en un programa de reforzamiento educativo

31

OBJETIVOS

Conocer si el programa produjo los efectos deseados en los beneficiarios.

Conocer si los cambios observados en los beneficiarios, pueden asociarse a los efectos del programa (causalidad).

¿Cómo debiera mejorarse el programa para maximizar sus beneficios en las variables de impacto? 

32

METODOLOGIAS

Diseño experimental tradicional y aleatorioMétodo de doble diferencias Métodos de comparaciones Pareadas (matching) Selección de modelos ( variables instrumentales)Evaluaciones cualitativas

33

METODOLOGIAS

Requiere de la aplicación de técnicas, que permitan conocer lo que habría ocurrido en caso de que el programa no se hubiese puesto en marcha.

Identificar las VARIABLES QUE DEBEN SER MEDIDAS para determinar si el Programa ha generado realmente los beneficios o resultados finales o impacto esperados

 

34

El impacto del programa es:La diferencia en la variable resultado (Y) queregistra el individuo (i) con y sin la intervencióndel programa

αi = Y1i − Yoi

αi es el impacto del programa (tratamiento) sobre la persona i,

Yoi es resultado potencial que registraría el individuo i sin el tratamiento,

Y1i es el resultado potencial que registraría el individuo i con eltratamiento.

35

Problema fundamental de identificación

No es posible observar Yoi e Y1i, para un mismo individuo en un momento del tiempo.Un individuo i en un momento del tiempo puede presentar solo uno de los dos estados posibles: Intervención en el programa No intervención en el programa

36

Problemas metodológicos de la

medición Medir el impacto esperado o promedio del programa sobre el conjunto de los individuos.

Sesgo de selección: Selección de los individuos que participan en el programa responde a ciertos criterios de focalización u otros. Programa de Capacitación, Ingresos beneficiarios menores antes de la capacitación. En ausencia del Programa los ingresos potenciales de los beneficiarios serán menores a los de los no beneficiarios en el mismo período

37

METODOLOGIAS

Se requiere disponer de información para el llamado grupo de control o de comparación.

Estos grupos deben seleccionarse de manera aleatoria, de la misma población de la que provienen los participantes.

Ambos grupos deben tener las mismas características

38

METODOLOGIAS

Un grupo de control es básicamente un segmento de no beneficiarios que son parte de la población objetivo, es decir, un grupo que comparte las características sociales, económicas, educacionales, etc, del grupo beneficiario. (dos grupos estadísticamente idénticos entre sí)

La única diferencia entre los individuos del grupo de control y los beneficiarios efectivos debe ser su participación en el programa. 

39

Diseño experimental o aleatorio

Aislar los efectos que tienen sobre la variable resultado (Y) factores externos al Programa

Selección de individuos beneficiarios del programa sea independiente de sus resultados potenciales. Selección aleatoria de los individuos que se beneficien del programa

La medición de impacto consiste en cuantificar, una vez transcurrido el tiempo pertinente de intervención del programa, la(s) variable(s) de impacto,tanto para el grupo de tratamiento y como para el grupo de control – en ambos simultáneamente y para el mismo período de tiempo – para luego analizar las diferencias que existen entre ambos.

40

Grupo de control aleatorio entre la población de individuos elegibles, garantizándose que en el inicio ambos grupos son estadísticamente iguales en términos de sus características como de sus respectivas distribuciones

41

Diseño experimental o aleatorio

n1=número de individuos en el grupo de tratamiento

N0=número de individuos en el grupo de control.

Principal distorsión: posibles cambios del grupo de controlDurante el período de evaluación (abandono área geográfica en ese lapso=Grupo de control contaminado.Viabilidad política de excluir de la cobertura de un programa aleatoriamente a un grupo de beneficiarios elegibles y como tal necesitan los beneficios del programa

42

Diseño cuasi experimental

Selección de beneficiarios no es aleatoria, se basa encriterios de elegibilidad y focalización que establecendiferencias observables como no observables, entre elgrupo de tratamiento y los no beneficiarios (grupo decontrol)Diferencias observables: responden a los criterios deselección del programaDiferencias no observables: características de la población queafectan su participación pero para la cual no hay información(habilidad individual, voluntad de participar, procesos

subjetivos yno formales que determinan que una persona acceda a losbeneficios del programa

43

Diseño cuasi experimental

El impacto del programa no podrá ser estimado a través de la

simple diferencia de medias entre la variable resultado del grupo

de tratamiento y el grupo control ya que las diferentes

características observables y no observables de los beneficiarios y

no beneficiarios implicará la existencia de sesgo de selección, la

medición del impacto del programa resultará sesgada.

Solución: diseño cuasi-experimental, que permita controlar por las

distintas características que posee el grupo de beneficiarios del

programa (tratamiento) respecto de los no beneficiarios (grupo

control) que pudiesen afectar el resultado o impacto del programa.

44

MetodologíaConstrucción de dos escenarios. Un escenario prefactual, es decir,la identificación y medición de lascondiciones del grupo de beneficiarios y no beneficiarios (control)antes de la ejecución del programa(construcción de la línea debase o situación sin programa) y un escenario contrafactual, queimplica la medición del cambio en las condiciones del grupobeneficiario y grupo control, de modo de estimar lo ocurrido comoconsecuencia directa de la intervención del programa.

¿Cuál sería la situación actual de estos beneficiarios si no hubieran participado en el programa?, comparando los resultados finales del programa en los beneficiarios con respecto a un grupo de no beneficiarios de características similares (grupo control), de modo de aislar los efectos de otros factores externos al programa?

45

Condiciones

Existencia de una base de datos (o varias bases que permitan formar una común) de beneficiarios y no-beneficiarios, que contenga para ambos grupos información sobre los criterios de elegibilidad del programa:

Condición socioeconómica, tamaño de la familia, escolaridad, ubicación geográfica o cualquier otra característica que se haya utilizado para seleccionar a los beneficiarios) e información sobre las variables que permitirán medir los resultados finales o impactos esperados de la intervención (por ejemplo: nivel de ingresos, condición laboral, nivel de salud, etc.).

46

Metodologías cualitativas

Evaluación participativa: incorpora a ls beneficiarios en el diseño, la ejecución y la evaluación de un programa.

Focus group

Entrevistas a informantes claves

47

RESULTADOS DE EVALUACIÓN DE PROGRAMAS Y SUS EFECTOS

PROGRAMA DE SALUD BUCAL – JUNAEB (evaluación año 2004)

RESULTADOS Y EFECTOS

El programa de atiende a estudiantes de enseñanza básica de escuelas subvencionadas vulnerables para mejorar su salud bucal mediante acciones clínicas y educativo-preventivas.

La cobertura de la Atención Odontológica Integral en el año 2003 alcanzó al 8% de la población objetivo. Un análisis más específico para la cohorte de 6 años de edad muestra que el sector público atiende al 69% de los niños de esta edad, de los cuales el 49% es atendido en los módulos del programa, lo que se evalúa positivamente.

El índice COP-D (C: caries; O: Obturados y P: perdidos) muestra que las caries entre el ingreso y el alta de los escolares atendidos en el módulo dental en primer año básico disminuyen en 98% en el año 2003.

Como resultado de la evaluación, el Presupuesto 2005 considera un incremento de cobertura del programa en relación a acciones educativas, preventivas y curativas de atención dental.

DESCRIPCIÓN

USO DE LA EVALUACION Y CONSECUENCIAS PARA EL PRESUPUESTO

VARIABLES DE IMPACTO