evaluaciones experimentales y política pública · que sus resultados (incluso intermedios) sean...

Evaluaciones experimentales y política pública

Ximena Peña

Universidad de los Andes

[email protected]

Contexto del Curso

1. Introducción a las Evaluaciones de Impacto

2. Teoría de Cambio e Indicadores

3. Por qué y Cómo Aleatorizar

4. Tamaño de Muestra y Cálculos de Poder

5. Inferencia Causal

6. Evaluaciones Experimentales y Políticas

Públicas

7. Evidencia de Evaluaciones Experimentales

8. Evaluación Experimental de Principio a Fin

1. Introducción

2. Evaluaciones en América Latina

3. Colombia

SINERGIA

Jóvenes en Acción

4. México

CONEVAL

Progresa

5. Perú

Esquema de presentación

I. Introducción

• Determinan el tipo de efectos

que tiene una intervención en la

población tratada

• Ayudan a evaluar el efecto de las

políticas públicas

• Ofrecen recomendaciones para

mejorar programas, modificarlos,

mantenerlos o cancelarlos de

acuerdo a los resultados de la

evaluación

Evaluaciones de impacto

• Varias organizaciones y muchos gobiernos regionales están

abiertos a la medición rigurosa de impacto en América Latina y

existe una gran variedad de instituciones y órganos

gubernamentales dedicadas a la medición

• Las instituciones internacionales de crédito son cada vez más

rigurosas en cuanto a prestar dinero y son gran promotoras de

las evaluaciones de impacto

• América Latina está bien posicionada para realizar

evaluaciones de impacto, en particular en comparación a otras

regiones del mundo

Evaluaciones de impacto

2. Evaluaciones en América

Latina

• Existe una gran tradición en

LAC de evaluaciones de

impacto para distintos

programa. Estas

evaluaciones difieren en sus

características y calidad.

• Es importante analizar cuál

ha sido el impacto de las

evaluaciones en las políticas

públicas

Evaluaciones de impacto en América Latina

Evaluaciones de Jpal en América Latina

Evaluaciones de impacto J-PAL en América Latina por país

País Evaluaciones

Bolivia 5

Brasil 2

Chile 6

Colombia 9

República Dominicana 4

Ecuador 2

El Salvador 2

Guatemala 1

Honduras 1

México 16

Nicaragua 4

Perú 12

Evaluaciones de impacto J-PAL en América Latina por área

Tema Evaluaciones

Agricultura 3

Educación 6

Medio Ambiente 17

Finanzas 27

Salud 4

Mercados Laborales 6

Gobernabilidad 8

¿Qué pasa con

los resultados

de estas

evaluaciones?

No sabemos si

se traducen en

mejoras o sólo

quedan en

recomendaciones

de política no

implementadas…

Financiamiento a Evaluación de Impacto

Más Evaluación de Impacto

en LAC

Recomendaciones de política

Políticas públicas


¿Cuándo se justifica la evaluación de

impacto como inversión social?

13

1. 2. 3.

33% 33%33%1. Cuando se mejora el

conocimiento de un

programa y su

impacto

2. Cuando se puede

mejorar el diseño del

programa

3. Cuando, con base a

la evidencia, se

expande o cierra el

programa


Dos organizaciones de evaluación y monitoreo con

lecciones importantes:

• SINERGIA en Colombia

• CONEVAL en México

3. Colombia

SINERGIA

Sistema Nacional de

Evaluación de Gestión y

Resultados

Historia de SINERGIA

Primer Periodo (1990-1996)

Segundo Periodo

(1996-2002)

Tercer Periodo

(2002-presente)

Sistema de evaluación nacional, nace

en 1990, del deseo de replicar el

enfoque de las organizaciones

multilaterales en cuanto a monitoreo y

evaluación (MNE)

SINERGIA | Colombia • Se busca replicar el modelo de

evaluación del Banco Mundial con la

ayuda técnica del mismo

• Se realizan cambios a la constitución

que requieren de ciertas evaluaciones

de programas

• Se formaliza el sector con la creación de

SINERGIA, un sistema nacional para el

manejo de evaluaciones y resultados

• Hace parte del Departamento Nacional

de Planeación

SINERGIA | Colombia

• Importancia de SINERGIA decae dentro

del gobierno

• Se explora la posibilidad de cerrar

programa

• Hacia el final de esta época, el BID y el

Banco Mundial financian tres grandes

evaluaciones utilizando los recursos de

SINERGIA

• Jóvenes en Acción

• Empleo en Acción

• Familias en Acción

SINERGIA | Colombia

• Administración Uribe le da más

recursos y enfoque a SINERGIA

• Se impulsa el “control social” de los

proyectos del estado, sujetos a buen

desempeño de acuerdo a ciertos

objetivos presidenciales

• Banco Mundial y BID expandieron

cooperación sustancialmente

SINERGIA | Colombia

• La recesión a finales de los noventa motivó al gobierno

a implementar la Red de Apoyo Social, un grupo de

programas de asistencia social, incluyendo:

» Familias en Acción

» Empleo en Acción

» Jóvenes en Acción

SINERGIA | Colombia

Empleo en Acción:

• Programa de empleo para jóvenes vulnerables (2001-

2004)

• Costo: $183 millones a 2004, cuando se canceló el

programa

• Financiamiento exigía de una evaluación rigurosa de

impacto

• Hacia principios del 2004, economía mejora y el

programa presentaba problemas de implementación

SINERGIA | Colombia

Dimensión Resultados

Ingreso Incremento positivo, pero

no logra subir los ingresos

al objetivo prestablecido

Empleabilidad de

participantes

Incremento positivos

Trabajos públicos Incrementos positivos

Número de participantes No se logra llegar al

número prestablecido de

participantes (beneficiarios)

Estudios recientes indican que el programa no fue costo-efectivo

en comparación a otro tipo de proyectos que apoyan a los

desempleados.

SINERGIA | Colombia

• Aunque no influenció la política pública, varias lecciones:

– Se requiere mucha coordinación de alto nivel para

implementar una evaluación cara, asegurándose que sus

resultados (que durarán varios años en estar listos) sean

utilizados

– Las evaluaciones deben estar diseñadas de tal manera

que sus resultados (incluso intermedios) sean puestos a

disposición de los que administran los programas

SINERGIA | Colombia

– Priorizar evaluaciones: se debe pensar bien sobre si se

necesita evaluar cierto programa, tomando en cuenta

costo, relevancia y la profundidad de análisis requerido

– Aún si la evaluación contribuyera sólo a una leve mejora

en el desempeño del programa, la evaluación puede ser

altamente costo-efectiva:

$1,5M gastados en las evaluación impacto

$183M gastados en intervención

= probablemente muy costo-efectivo

Jóvenes en Acción Colombia

Jóvenes en Acción

• Programa gratuito de capacitación

laboral para jóvenes entre 18-25

años de escasos recursos en

grandes ciudades

• Impartido por entidades de

capacitación acreditadas

• Capacitación consistía en 3 meses

de clases seguidos por 3 meses de

capacitación en el lugar de trabajo

Jóvenes en Acción

• Programa implementado de 2002 a

2006

• Evaluación experimental se hizo

con el último grupo de

participantes en 2005 (primer

experimento puro en Colombia)

• La evaluación experimental fue

posible ya que los institutos de

capacitación tuvieron un exceso de

demanda

Jóvenes en Acción

Efectos positivos:

• Variables resultado de los

beneficiarios en términos de

mercado laboral tuvieron

efectos muy positivos

• Salarios mensuales

aumentaron US$11

• Impactos en mujeres altos y

positivos: Ingresos

aumentaron un 18% e

ingresos formales un 31%

(Attanasio et al, 2009b).

¿Cuál fue el impacto de la evaluación

sobre el diseño de política?

30

1. 2. 3.

33% 33%33%1. Se amplió el

programa

2. Se mantuvo el

programa sin

cambios

3. Se cerró el

programa

Jóvenes en Acción

• Los resultados de la evaluación no se

vieron reflejados en la política

implementada!!!

• El programa se reformó por completo

• Cambiaron las limitaciones para

participar

• Se perdió una de las características

más importantes: la descentralización

de los cursos según oferta y demanda

laboral de la región dejó de suceder y

el programa entró a formar parte del

SENA

4. México

CONEVAL | México

Contexto político de México cambia a finales de la década de

los 90 con mayor énfasis al control ciudadano

Durante este periodo se evalúa PROGRESA, que se

convierte en un referente internacional en cuanto a

evaluación de impacto

CONEVAL | México

1998, ley requiere que todos los programas federales con

subsidios preparen reglas de operación, enumerando

objetivos, indicadores y población objetivo

1999, ley requiere que todos los programos con reglas de

operación sean evaluados por evaluadores independientes:

representa 25-30 del presupuesto federal

CONEVAL | México

• 2004 la Ley de Desarrollo Social crea el Consejo Nacional de

Evaluació de la Política de Desarrollo Social (CONEVAL).

• CONEVAL:

– Regula, realiza y coordina la evaluación de políticas sociales

a nivel local

– Decide los criterios y el diseños para medir pobreza a nivel

nacional, estatal y municipal

– El indicador clave es la reducción de la pobreza, por lo tanto

todos los programas sociales deben contribuir a su reducción

CONEVAL | México

– Prepara reportes para el congreso, agencias de gobierno y la

sociedad civil

– Tiene un equipo de 70 profesionales

– Presupuesto de $9.2M en el 2008

– Estructura relativamente independiente:

• Se encuentra dentro del poder ejecutivo y su director es

seleccionado por el gobierno federal

• A la vez, CONEVAL se encuentra supervisado por un

equipo independiente de académicos compuesto de seis

profesores. Este equipo es responsable de certificar todas

las evaluaciones hechas por CONEVAL

PROGRESA

Programas de Transferencias Condicionadas

La evaluación de PROGRESA en México fue la

primera, creando así un ejemplo importante sobre

cómo evaluar programas de gran escala.

A pesar que los impactos del programa fueron

identificados de manera confiable en México, es

necesario evaluar el programa en diferentes

contextos para poder generalizar los resultados.

Esto ha llevado a un gran número de evaluaciones.

Programas de Transferencias Condicionadas

Las diversas evaluaciones de los programas de

transferencias condicionadas son un ejemplo a seguir sobre

cómo diseñar políticas públicas basadas en evidencia.

A pesar de ser programas masivos a gran escala, ha sido

posible evaluar su impacto de manera rigurosa – muchas

veces de manera experimental.

Esto requiere mucha planificación y esfuerzo antes de la

implementación del programa.

¿Cuál de las siguientes programas fueron inspirados en PROGRESA?

40

1. 2. 3. 4.

25% 25%25%25%1. Familias en Acción

(Colombia)

2. Bolsa Familia

(Brasil)

3. Red de

Oportunidades

(Panamá)

4. Avancemos

(Costa Rica)

PROGRESA/Oportunidades


ha transformado el diseño

y la implementación de

políticas públicas al

incorporar una evaluación

experimental desde su

inicio.


Empieza en 1997 con dos objetivos principales:

• Aliviar la pobreza

inmediata mediante

transferencias monetarias

• Terminar la pobreza inter-

generacional al invertir en

capital humano, haciendo

las transferencias

condicionales a cumplir

ciertos requisitos de

educación y salud


Pese a la magnitud del

programa, se hizo una

evaluación experimental del

programa.

Esto permitiría saber si el

programa funciona o no –

información importante al

momento de decidir si

continuar o expandir el

programa.


En vez de ser implementado

uniformemente en todo el país,

el programa fue implementado

progresivamente, en diferentes

fases

Permitiendo así realizar una

evaluación experimental del programa


• En Noviembre de 1997, 506 comunidades rurales fueron

escogidas aleatoriamente para recibir el programa o para

formar el grupo de control

• En Diciembre de 2000, las comunidades que fueron parte del

grupo de control empezaron a recibir los beneficios del

programa


Resultados Principales:

Educación

• Incrementa la tasa de

asistencia escolar entre los

estudiantes beneficiados que

cursaban grados entre 2do y

8avo

• Impacto mayor entre

estudiantes terminando el

sexto grado y aquellos en

escuela secundaria


Resultados Principales:

Salud

• Programa incrementa uso de los

servicios de salud pública

• Programa disminuye las

incidencias de enfermedades

severas

• Mejoras significativas en la

salud de adultos y niños


Otros resultados

Gracias al buen diseño de la

evaluación, se ha podido evaluar

el impacto del programa en una

cantidad de variables:

• Ingresos futuros

• Consumo

• Condición de la mujer

• Empleo infantil

• Trabajo, ocio y uso de tiempo


Impacto en Políticas Públicas

• Debido a la evidencia, el programa continuó sin

cambios mayores después del cambio de gobierno en

México en 2000. – La evaluación “protegió” al

programa

• La evidencia justificó la expansión del programa, lo

que llevó a que más personas fueran beneficiadas por


• Sirve como ejemplo de cómo realizar una política

pública en base a evidencia: cada vez más políticas

públicas incorporan evaluaciones rigurosas en su

diseño

5. Perú

• Educación en Perú es gratis y

obligatoria hasta el final de

educación secundaria

• Niños obtienen calificaciones

similares a las de sus

compañeros latinoamericanos

(controlando por ingreso)

• En comparación a otras regiones

del mundo, los niños peruanos no

están aprendiendo bien, o lo

suficiente

Una Laptop Por Niño

• One Laptop Per Child

(OLPC) es un programa

diseñado para dar a niños

computadoras de bajo costo

• La idea es que las

computadoras ayuden a los

maestros a enseñar el

material y hacerlo más

entretenido para los

estudiantes.


En Perú el programa parte en 2008

• Primera etapa: distribución de 40.000

laptops a 500 escuelas (prioridad regiones

pobres con electricidad e internet)

• Segunda etapa: Se elimina requisitos

(electricidad e internet) y terminan de

distribuir cerca de 900.000 laptops en 1.909

escuelas.


• Acceso a computadores:

– Positivo. En tratamiento 1,18 laptops por niño.

En comparación 0,12 laptops por niño

• Uso de computadores:

– Positivo, e intenso. En grupo de tratamiento,

uso promedio de laptops es de 40 minutos por

sesión

• Comportamiento

– No hay efecto significativo sobre asistencia a

clases

Una Laptop Por Niño: Resultados

• Calificaciones:

– No hay efectos significativos en calificaciones en

Matemáticas y Español (Castellano)

(tiene sentido en vista de falta de modelo pedagógico

adecuado para incluir a las laptops en el proceso educativo)

• Habilidades cognitivas

– Positivo. Tres exámenes de habilidades cognitivas. Todos

reportan un efecto positivo (alrededor de 0,11

desviaciones estándar, p-level 10%)


En conclusión:

1. Incremento dramático en acceso a laptops.

2. Ningún impacto en calificaciones de Matemáticas y

Español.

3. Algunos beneficios en habilidades cognitivas.


¿Cuál fue el impacto de la evaluación

sobre el diseño de política?

57

1. 2. 3.

33% 33%33%1. Se amplió el

programa

2. Se mantuvo el

programa sin

cambios

3. Se cerró el

programa

¿Fue una buena inversión?


¡Gracias!

Referencias

• Attanasio O.; Kugler A. Y Meghir C. (2011). “Subsidizing Vocational Training for

Disadvantaged Youth in Colombia: Evidence from a Randomized Trial”

• Barrera F., Bertrand M., Linden L., Perez F. (2011). “Improving the Design of

Conditional Transfer Programs: Evidence from a Randomized Education

Experiment in Colombia”

• Briceño B., Cuesta L., Attanasio O. (2011) “Behind the Scenes: Managing and

Conducting large Scale Impact Evaluations in Colombia “

• DPS y DNP. (2012). “Más Familias en Acción”

evaluaciones experimentales y política pública · que sus resultados (incluso intermedios) sean...

Documents