antecedentes lógica diseño instrumentos datos …. evaluación... · preguntas de investigación:...

70
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Upload: dinhthuy

Post on 08-Oct-2018

230 views

Category:

Documents


0 download

TRANSCRIPT

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Agenda

2

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Profesor Franscisco Gallego

Director Científico de J-PAL

LAC y Profesor Asistente de

Economía, Pontificia

Universidad

Católica de Chile

(Ph.D. Massachusetts

Institute of Technology)

Francisco Gallego posee un Ph.D. en

Economía del MIT. Es Profesor Asociado

en el Instituto de Economía de la

Pontificia Universidad Católica de Chile

(PUC). Sus áreas de interés son el

desarrollo económico, la economía

política y la economía de la educación. Él

ha trabajado en evaluaciones

educacionales, enfocadas en el impacto

de la entrega de información sobre las

decisiones de los padres de los

estudiantes. Francisco Gallego es

Director Científico de J-PAL

Latinoamérica.

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Evaluación de impacto de principio a fin

Francisco Gallego

Director Científico J-PAL LAC

PUC Chile y J-PAL

[email protected]

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Esquema de presentación

1. Antecedentes

2. Lógica de programa Diseño I: Lógica de programa

3. Diseño de evaluación Diseño II y III: Por qué y cómo aleatorizar

4. Instrumentos Implementación I: Diseño de instrumentos

5. Levantamiento de datos Implementación II: Levantamiento de datos

6. Análisis de datos Implementación III: Amenazas y análisis de datos

7. De la evidencia a la acción De la evidencia a la acción

5

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

1. Antecedentes

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Antecedentes

Para que J-PAL lleve a cabo una evaluación de

impacto es importante que concurran distintos

factores, entre los que destacan los siguientes:

Que el programa en cuestión permita responder

preguntas académicamente relevantes.

Que quienes implementan el programa sean idóneos.

Que exista el financiamiento necesario.

7

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Antecedentes

¿Cuál es la necesidad?

Acceso limitado a servicios dentales en poblaciones

vulnerables.

27% de chilenos no ha visitado a un dentista en últimos 5

años (Encuesta Ministerio de Salud 2004)

Estatus socioeconómico:

• Visitas: 18% para estatus económico más bajo, 38% para

estatus económico más alto.

• Problemas de dentadura: Alto ingreso, ~2.6 veces más

probable de tener toda la dentadura y ~7 veces menos probable

que hayan perdido todos los dientes que el grupo más pobre.

Más problemático para mujeres.

8

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Antecedentes

Una explicación: falta de acceso entre los más pobres a

servicios públicos dentales.

Seguro de salud pública: usado por el 80% de la población

y solamente servicios dentales muy básicos.

Hay capacidad de atención limitada.

Opciones alternativas:

• Oferta de servicios privados de alta calidad a alto precio.

• Oferta de baja calidad pero a costo accesibles.

Existe una correlación positiva entre indicadores de

salud oral y estatus socioeconómico, pero es esta

relación causal?

9

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

2. Lógica de programa

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Preguntas de evaluación

En la lógica de programa utilizamos una cadena causal

para explicar la manera en la cuál esperamos que la

intervención tenga un impacto sobre los indicadores de

interés.

Empezamos identificando las preguntas de investigación

y sus hipótesis: Preguntas de investigación: ¿De qué manera afecta el acceso a

servicios dentales, y una mejora en la salud dental, los resultados

sociales y económicos de las personas?

Hipótesis: Dar servicios dentales gratuitos incluyendo prótesis podría

incrementar resultados a nivel individual (autoestima, relaciones intra

familiares), social (interacciones con otras personas) y económico

(mercado laboral) entre poblaciones vulnerables.

11

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Literatura

Efectos de salud mental en resultados económicos:

Glied y Neidell (2010) encuentran que acceso a agua con flúor incrementa ingreso de las mujeres en un 4%, un efecto concentrado entre los pobres.

Mecanismos: no hay evidencia de “sorting”, discriminación estadística, productividad.

• Discriminación de consumidor y empleador probables factores determinantes.

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Literatura Apariencia física y mercados laborales

Hamermesh and Biddle (1994):

EE.UU. Canadá: Personas menos atractivas ganan menos que

personas promedio, que a su vez ganan menos que los buen

mozos. (Biddle and Hamermech 1998, Fletcher 2009).

Mobius and Rosenblat (2006):

Argentina: Mejor autoestima entre los que son más atractivos

resulta en mejores sueldos, y estas personas son

incorrectamente consideradas más hábiles.

Lopez-Boo, Rossi and Urzua (2013):

Argentina: Personas con rostros atractivos tiene un probabilidad

más alta (36%) de ser contactadas después haber presentado

su CV, en comparación a personas de atractivo promedio.

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Literatura

Sanhueza et al (2008) encuentra que entre los

estudiantes que se titulan en Administración y Negocios,

existe un “wage premium” de hasta 33% para las

mujeres con apariencia física mejor que el promedio y

una penalidad de hasta el 36% a hombres con

apariencia física peor que el promedio.

La evidencia sugiera que si la salud dental afecta la

apariencia del individuo y su autoestima, esto puede a

su vez influir en su competitividad en el mercado laboral.

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Literatura

Efectos objetivos versus subjetivos Duflo et al (2011): impacto de ofrecer un proceso más simple

para acceder a una conexión privada a servicio de aguas en Marruecos. Sin efectos en salud o ingreso, pero se auto reporta mejoras en

calidad de vida 6 meses después de la intervención.

Galiani et al (2013): el impacto de construir viviendas temporales para familias pobres en El Salvador, México and Uruguay. Sin efectos en variables económicas, efectos significativos en

satisfacción con la calidad de vida.

Duflo’s Tanner Lecture (2012): el día a día de la gente pobre. Efectos de dolor y estrés sobre resultados objetivos y subjetivos.

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Intervención

Definimos como intervención el programa o

componente que queremos evaluar.

Trabajar sobre la lógica del programa supone

identificar la intervención que va a influir sobre

una serie de resultados para responder a la

necesidad o problema de la población objetivo.

16

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Intervención

Tratamiento

Entrega de un voucher.

Los servicios cubiertos por el voucher costaron 200.000 CLP

(~US$ 400).

Incluía examen de diagnóstico, rayos x, plan de tratamiento,

limpieza, extracciones simples, coronas pulidas, empastes,

selladores, y prótesis removibles de metal acrílico.

Después del examen de diagnóstico, a cada paciente se

le presentaba un plan de tratamiento y se les informaba

sobre servicios adicionales que podrían pagar por

separado.

Se estimaba que el tratamiento duraría de 2 a 3 meses.

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Teoría de cambio

En la clase que sigue, Lógica de Programa, el Profesor

Linden nos presentará sobre la teoría de cambio.

Veremos dos conceptos importantes: Teoría de cambio: una descripción de la manera en que creemos que

una intervención incidirá sobre una serie de resultados.

Cadena causal: una manera gráfica de presentar la teoría de cambio.

En este caso, menciono solo algunos posibles

mecanismos de transmición. Una mejora en salud dental resultará en :

Mejoras funcionales (menos dolor y menos problemas para hablar)

Mejoras en autoestima.

Mejora en demanda por servicios laborales, dado efectos de discriminación

anteriores.

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Diseño I: Lógica de programa

19

Inicio Fin Miércoles 19 Jueves 20 Viernes 2108:30:00 09:00:00 Registro de participantes Repaso del día anterior Repaso del día anterior

09:00:00 10:00:00 Bienvenida y palabras de introducción

10:00:00 10:30:00

10:30:00 10:45:00

10:45:00 12:00:00Evaluación de principio a fin

Interludio: Evaluación de

impacto y éticaSTATA III: Análisis de datos

FRANCISCO GALLEGO CRISTIÁN LARROULET SEBASTÍAN OTERO

12:00:00 13:15:00Diseño I: Lógica de programa

Implementación I: Diseño de

instrumentosTaller de Costeo

LEIGH LINDEN CRISTIÁN LARROULET THOMAS VARGAS

13:15:00 14:30:00

14:30:00 15:45:00

Diseño II: ¿Por qué y cómo

implementar evaluaciones

aleatorias?

Implementacion II:

Levantamiento de datosDe la evidencia a la acción

DEAN KARLAN NICOLE CARPENTIER RYAN COOPER

15:45:00 16:00:00

16:00:00 17:15:00

Diseño III: Ejemplos de diseño de

evaluaciones experimentalesSTATA II: Cómo aleatorizar

DEAN KARLAN SEBASTÍAN OTERO Cierre de curso y entrega de diplomas

STATA I: Tamaño muestral y

poder estadístico

DIEGO VERDUGO

Implementación III: Amenazas y

análisis de datos

DEAN KARLAN

Coffee BreakEvaluación final de conocimientos

Evaluación inicial de conocimientos

Coffee Break

Almuerzo

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

3. Diseño experimental

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Diseño experimental

La evaluación experimental utiliza la asignación aleatoria para

construir dos grupos comparables.

Cualquier diferencia subsiguiente entre los grupos se le puede

atribuir al tratamiento.

En las clases con el Profesor Karlan, Cómo y por qué aleatorizar y

Ejemplos de diseño, identificaremos los pasos para diseñar un

experimento aleatorio correctamente, observando los diferentes

métodos posibles y sus ventajas y limitantes dado cierto contexto.

En el ejercicio de STATA I: Cálculos de Poder repasaremos los

insumos necesarios para obtener una muestra suficientemente

grande para detectar efectos de algún tamaño predefinido, dado

que estos existen.

21

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Diseño II y III: Por qué y cómo aleatorizar

22

Inicio Fin Miércoles 19 Jueves 20 Viernes 2108:30:00 09:00:00 Registro de participantes Repaso del día anterior Repaso del día anterior

09:00:00 10:00:00 Bienvenida y palabras de introducción

10:00:00 10:30:00

10:30:00 10:45:00

10:45:00 12:00:00Evaluación de principio a fin

Interludio: Evaluación de

impacto y éticaSTATA III: Análisis de datos

FRANCISCO GALLEGO CRISTIÁN LARROULET SEBASTÍAN OTERO

12:00:00 13:15:00Diseño I: Lógica de programa

Implementación I: Diseño de

instrumentosTaller de Costeo

LEIGH LINDEN CRISTIÁN LARROULET THOMAS VARGAS

13:15:00 14:30:00

14:30:00 15:45:00

Diseño II: ¿Por qué y cómo

implementar evaluaciones

aleatorias?

Implementacion II:

Levantamiento de datosDe la evidencia a la acción

DEAN KARLAN NICOLE CARPENTIER RYAN COOPER

15:45:00 16:00:00

16:00:00 17:15:00

Diseño III: Ejemplos de diseño de

evaluaciones experimentalesSTATA II: Cómo aleatorizar

DEAN KARLAN SEBASTÍAN OTERO Cierre de curso y entrega de diplomas

STATA I: Tamaño muestral y

poder estadístico

DIEGO VERDUGO

Implementación III: Amenazas y

análisis de datos

DEAN KARLAN

Coffee BreakEvaluación final de conocimientos

Evaluación inicial de conocimientos

Coffee Break

Almuerzo

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Diseño

Trabajar sobre el diseño de la evaluación supone identificar la población objetivo, la unidad y método de aleatorización.

Método de aleatorización: Sobre-demanda

Población objetivo: Personas en edad de trabajar, vulnerables, en necesidad de servicios

dentales, suscritos al sistema de salud público de Chile y que vivan en el área metropolitana de Santiago.

Publicidad: Anuncios en radio, televisión, periódicos y oficinas municipales.

Postulantes: 1,419

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Postulantes

Postulantes Más apegados al mercado laboral

Ingresos/Educación más altos

Problemas de salud oral previos

Participación por comunas Distancia

Ingresos

Mecanismos de trasmisión:

• Periódicos para personas con más educación

• Gobiernos locales para personas más pobres/menos educación

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Aleatorización

1,419 postulantes 799 personas en el experimento (se filtró con rating

biométrico). • 350 asignadas aleatoriamente al tratamiento.

• 449 asignadas aleatoriamente al control.

Se estratificó por ingreso, autoestima, sexo, edad.

Se asignaron 350 vouchers.

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

4. Instrumentos

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Instrumentos

El diseño de instrumentos es importante porque

es lo que se utiliza para medir cambios en

resultados.

Nuestro equipo de analistas de investigación

describirá algunas de las experiencias y

aprendizajes de J-PAL LAC en cuanto a este

tema durante la sesión de Diseño de

Instrumentos.

27

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Implementación I: Diseño de instrumentos

28

Inicio Fin Miércoles 19 Jueves 20 Viernes 2108:30:00 09:00:00 Registro de participantes Repaso del día anterior Repaso del día anterior

09:00:00 10:00:00 Bienvenida y palabras de introducción

10:00:00 10:30:00

10:30:00 10:45:00

10:45:00 12:00:00Evaluación de principio a fin

Interludio: Evaluación de

impacto y éticaSTATA III: Análisis de datos

FRANCISCO GALLEGO CRISTIÁN LARROULET SEBASTÍAN OTERO

12:00:00 13:15:00Diseño I: Lógica de programa

Implementación I: Diseño de

instrumentosTaller de Costeo

LEIGH LINDEN CRISTIÁN LARROULET THOMAS VARGAS

13:15:00 14:30:00

14:30:00 15:45:00

Diseño II: ¿Por qué y cómo

implementar evaluaciones

aleatorias?

Implementacion II:

Levantamiento de datosDe la evidencia a la acción

DEAN KARLAN NICOLE CARPENTIER RYAN COOPER

15:45:00 16:00:00

16:00:00 17:15:00

Diseño III: Ejemplos de diseño de

evaluaciones experimentalesSTATA II: Cómo aleatorizar

DEAN KARLAN SEBASTÍAN OTERO Cierre de curso y entrega de diplomas

STATA I: Tamaño muestral y

poder estadístico

DIEGO VERDUGO

Implementación III: Amenazas y

análisis de datos

DEAN KARLAN

Coffee BreakEvaluación final de conocimientos

Evaluación inicial de conocimientos

Coffee Break

Almuerzo

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Instrumentos Instrumentos aplicados:

1. Oral Health Impact Profile (OHIP): mide la percepción de las

personas sobre el impacto de problemas de salud dental en su

bienestar (Slade, 1997).

7 dimensiones: impactos funcionales, físico y sicológicos de salud

dental.

14 preguntas validadas por Slade (1997) utilizando una escala Likert.

De 0 a 56, los valores más altos indican una peor condición.

2. Rosenberg (1965) Score: una escala estandarizada de

autoestima.

10 preguntas (escala Likert), valores más altos indican auto-estima

más alto.

Satisfacción sobre situación en relaciones personales estrechas.

3. Diagnósticos oral realizado por estudiantes de odontología.

4. Datos laborales y socioeconómicos.

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

5. Levantamiento de datos

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Trabajo de campo

Discutiremos sobre el trabajo de campo, y todo

el esfuerzo que se debe realizar para recolectar

los datos necesarios, a tiempo, con un alto nivel

de calidad y con un presupuesto limitado.

Esto requiere reflexionar sobre temas de:

Ética en la investigación en ciencias sociales.

Cómo se levantan datos de calidad.

Costos asociados al levantamiento de datos.

31

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Implementación II: Levantamiento de datos

32

Inicio Fin Miércoles 19 Jueves 20 Viernes 2108:30:00 09:00:00 Registro de participantes Repaso del día anterior Repaso del día anterior

09:00:00 10:00:00 Bienvenida y palabras de introducción

10:00:00 10:30:00

10:30:00 10:45:00

10:45:00 12:00:00Evaluación de principio a fin

Interludio: Evaluación de

impacto y éticaSTATA III: Análisis de datos

FRANCISCO GALLEGO CRISTIÁN LARROULET SEBASTÍAN OTERO

12:00:00 13:15:00Diseño I: Lógica de programa

Implementación I: Diseño de

instrumentosTaller de Costeo

LEIGH LINDEN CRISTIÁN LARROULET THOMAS VARGAS

13:15:00 14:30:00

14:30:00 15:45:00

Diseño II: ¿Por qué y cómo

implementar evaluaciones

aleatorias?

Implementacion II:

Levantamiento de datosDe la evidencia a la acción

DEAN KARLAN NICOLE CARPENTIER RYAN COOPER

15:45:00 16:00:00

16:00:00 17:15:00

Diseño III: Ejemplos de diseño de

evaluaciones experimentalesSTATA II: Cómo aleatorizar

DEAN KARLAN SEBASTÍAN OTERO Cierre de curso y entrega de diplomas

STATA I: Tamaño muestral y

poder estadístico

DIEGO VERDUGO

Implementación III: Amenazas y

análisis de datos

DEAN KARLAN

Coffee BreakEvaluación final de conocimientos

Evaluación inicial de conocimientos

Coffee Break

Almuerzo

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Trabajo de campo

El proceso de generación de datos tuvo distintas etapas a lo largo de un proceso que duró aproximadamente 2 años. Difusión del proyecto mediante radio y diario.

Inscripción de participantes vía web y encuesta de línea de base (junto a revisión dental inicial) en campus de la Universidad Católica.

Monitoreo constante de la implementación de la beca dental en clínicas afiliadas de todo Santiago.

Construcción de la encuesta de seguimiento, tomada en los hogares de los participantes.

• Capacitación a encuestadores (estudiantes de último año de odontología)

• Proceso de encuestas de acuerdo a la ubicación de los participantes y al tiempo transcurrido desde que terminaron su beca dental.

33

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

6. Análisis de datos

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Análisis

Aprenderemos cómo corregir y analizar los

datos dadas ciertas amenazas en la clase de

Amenazas y Análisis de Dean Karlan.

Entenderemos los problemas que pueden

ocasionar:

Que perdamos a individuos de la muestra.

Que nuestro tratamiento genere externalidades.

Que nuestros controles reciban el tratamiento.

35

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Implementación III: Amenazas y Análisis

36

Inicio Fin Miércoles 19 Jueves 20 Viernes 2108:30:00 09:00:00 Registro de participantes Repaso del día anterior Repaso del día anterior

09:00:00 10:00:00 Bienvenida y palabras de introducción

10:00:00 10:30:00

10:30:00 10:45:00

10:45:00 12:00:00Evaluación de principio a fin

Interludio: Evaluación de

impacto y éticaSTATA III: Análisis de datos

FRANCISCO GALLEGO CRISTIÁN LARROULET SEBASTÍAN OTERO

12:00:00 13:15:00Diseño I: Lógica de programa

Implementación I: Diseño de

instrumentosTaller de Costeo

LEIGH LINDEN CRISTIÁN LARROULET THOMAS VARGAS

13:15:00 14:30:00

14:30:00 15:45:00

Diseño II: ¿Por qué y cómo

implementar evaluaciones

aleatorias?

Implementacion II:

Levantamiento de datosDe la evidencia a la acción

DEAN KARLAN NICOLE CARPENTIER RYAN COOPER

15:45:00 16:00:00

16:00:00 17:15:00

Diseño III: Ejemplos de diseño de

evaluaciones experimentalesSTATA II: Cómo aleatorizar

DEAN KARLAN SEBASTÍAN OTERO Cierre de curso y entrega de diplomas

STATA I: Tamaño muestral y

poder estadístico

DIEGO VERDUGO

Implementación III: Amenazas y

análisis de datos

DEAN KARLAN

Coffee BreakEvaluación final de conocimientos

Evaluación inicial de conocimientos

Coffee Break

Almuerzo

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Balance

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Balance – Línea Base Panel A: Variables socioeconómicas

Variable (todos los individuos) Promedio T Promedio C Diferencia Obs

Edad 48.15 47.65 0.044 799

Género 0.29 0.31 -0.021 799

Estado civil 3.14 3.19 -0.048 799

Jefe de hogar 0.79 0.73 .0635** 799

Número de residentes en hogar 4.35 4.20 0.162 799

Residentes menores 5 años en hogar 0.34 0.34 0.003 791

Residentes entre 5 y 18 años en hogar 1.15 1.18 -0.019 794

Adultos en hogar 2.71 2.62 0.081 799

Residentes mayores 65 años en hogar 0.16 0.13 0.031 780

Educación 8 años o menos 0.26 0.25 0.005 799

Educación entre 9 y 11 años 0.20 0.19 0.015 799

Educación 12 años 0.40 0.36 0.051 799

Educación más de 12 años 0.14 0.21 -.0712*** 799

Trabaja 0.72 0.71 0.023 799

Tiene contrato 0.60 0.63 -0.011 699

Ingresos laborales 190359 193872 1690 694

Horas trabajadas por semana 41.08 42.12 -0.302 662

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Panel B: Auto-estima y salud (dental)

Variable (todos los individuos) Promedio T Promedio C Diferencia Obs

Rosenberg puntaje 17.46 17.347 0.125 799

Ohip puntaje total 12.1629 12.232 -0.098 799

Ohip14 puntaje 35.8771 36.165 -0.413 799

Total dientes faltantes 10.8114 10.523 0.155 799

Dientes faltantes frontales 1.4086 1.49 -0.116 799

Necesidad prostéticos superiores 2.0343 1.958 0.065 799

Necesidad prostéticos inferiores 1.8286 1.78 0.039 799

Fonasa A 0.3029 0.318 -0.012 799

Fonasa B 0.3086 0.269 0.033 799

Fonasa C 0.2457 0.276 -0.032 799

Fonasa D 0.12 0.118 0.005 799

Balance – Línea Base

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Seguimiento

Encuesta de seguimiento 70%-75% de los participantes: 6 meses y 1

año después de tratamiento

Desgaste: 15% para el grupo de

tratamiento, 20% para el grupo de

control.

Balance?

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Balance – Seguimiento Panel A: variables socioeconómicas

Variable (individuos observados) Promedio T Promedio C Diferencia Obs

Edad 48.42 47.85 0.044 661

Género 0.26 0.29 -0.030 661

Estado civil 3.09 3.24 -0.048 661

Jefe de hogar 0.77 0.72 .0635** 661

Número de residentes en hogar 4.34 4.28 0.162 661

Residentes menores 5 años en hogar 0.33 0.35 0.003 654

Residentes entre 5 y 18 años en hogar 1.15 1.20 -0.019 656

Adultos en hogar 2.68 2.68 0.081 661

Residentes mayores 65 años en hogar 0.18 0.13 0.031 644

Educación 8 años o menos 0.26 0.24 0.005 661

Educación entre 9 y 11 años 0.21 0.19 0.015 661

Educación 12 años 0.39 0.36 0.051 661

Educación más de 12 años 0.14 0.21 -.0712*** 661

Trabaja 0.71 0.70 0.023 661

Tiene contrato 0.58 0.63 -0.011 575

Ingresos laborales 186153 197456 1690 572

Horas trabajadas por semana 40.02 42.49 -0.302 545

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Balance – Seguimiento Panel B: Auto-estima y salud (dental)

Variable (individuos observados) Promedio T Promedio C Diferencia Obs

Rosenberg puntaje 17.41 17.39 0.125 661

Ohip puntaje total 12.08 12.26 -0.098 661

Ohip14 puntaje 35.61 36.26 -0.413 661

Total dientes faltantes 11.10 10.53 0.155 661

Dientes faltantes frontales 1.49 1.47 -0.116 661

Necesidad prostéticos superiores 2.04 1.97 0.065 661

Necesidad prostéticos inferiores 1.84 1.80 0.039 661

Fonasa A 0.30 0.32 -0.012 661

Fonasa B 0.31 0.27 0.033 661

Fonasa C 0.25 0.28 -0.032 661

Fonasa D 0.12 0.12 0.005 661

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Balance – Desgaste Panel A: variables socioeconómicas

Variable (Attriters vs non-attriters) Non Attriters Attriters Diferencia Obs

Edad 48.11 46.70 0.269 799

Género 0.28 0.38 -.104*** 799

Estado civil 3.17 3.15 0.094 799

Jefe de hogar 0.74 0.81 -0.046 799

Número de residentes en hogar 4.31 4.06 0.178 799

Residentes menores 5 años en hogar 0.34 0.34 -0.017 791

Residentes entre 5 y 18 años en hogar 1.18 1.12 -0.024 794

Adultos en hogar 2.68 2.57 0.103 799

Residentes mayores 65 años en hogar 0.15 0.12 0.028 780

Educación 8 años o menos 0.25 0.27 -0.054 799

Educación entre 9 y 11 años 0.20 0.17 0.019 799

Educación 12 años 0.38 0.39 0.020 799

Educación más de 12 años 0.18 0.17 0.015 799

Trabaja 0.71 0.75 -0.015 799

Tiene contrato 0.61 0.65 -0.015 699

Ingresos laborales 192219 192750 7805 694

Horas trabajadas por semana 41.35 43.08 -0.924 662

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Balance – Desgaste Panel B: Auto-estima y salud (dental)

Variable (Attriters vs non-attriters) Non Attriters Attriters Diferencia Obs

Rosenberg puntaje 17.40 17.39 0.124 799

Ohip puntaje total 12.18 12.31 -0.224 799

Ohip14 puntaje 35.96 36.41 -0.811 799

Total dientes faltantes 10.79 9.99 0.296 799

Dientes faltantes frontales 1.48 1.34 -0.003 799

Necesidad prostéticos superiores 2.00 1.96 0.034 799

Necesidad prostéticos inferiores 1.82 1.72 0.056 799

Fonasa A 0.31 0.30 0.003 799

Fonasa B 0.29 0.28 0.000 799

Fonasa C 0.27 0.25 0.035 799

Fonasa D 0.12 0.13 -0.010 799

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Seguimiento: Estimaciones

Take up (tasa de participación)?

Servicios dentales comparables a los ofrecidos

por el programa

Estimaciones Intention-to-treat “intención de tratar”:

Oral Health Impact Profile (OHIP)

Bienestar subjetivo • Rosenberg

Tasa de empleo

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Servicios dentales Varias definiciones

Desde cualquier servicio a servicios similares al

ofrecido por el programa.

(1) (2) (3) (4)

VARIABLES

Cualquier servicio dental

Gastos

Tratamiento Opción 1

Tratamiento

Opción 2

Tratamiento 0.150*** 0.672*** 0.650*** 0.602***

(0.035) (0.028) (0.029) (0.031)

Constante 0.537*** -0.060 -0.006 0.017

(0.110) (0.074) (0.088) (0.087)

R-squared 0.109 0.514 0.479 0.424

Robust standard errors in parentheses, controlling for randomization strata

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Take-up: servicios dentales

(1) (2) (3) Especificación 1 Especificación 1 Especificación 1

VARIABLES Todos Mujeres Hombres

Tratamiento 0.656*** 0.687*** 0.574***

(0.025) (0.029) (0.048)

R-squared 0.553 0.574 0.511

Robust standard errors in parentheses, controlling for randomization strata

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

OHIP: Oral Health Impact Profile

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

OHIP

0

.01

.02

.03

.04

De

nsity

0 20 40 60Ohip14 score baseline

Control in baseline Treated in baseline

0

.01

.02

.03

.04

De

nsity

0 20 40 60Ohip score follow-up

Control in follow-up Treated in follow-up

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Tabla OHIP 14: Todos, estandarizados (1) (2) (3) (4) (5) (6) (7) (8)

VARIABLES Todos Limitación funcional

Dolor físico

Malestar psicológico

Discapacidad física

Discapacidad psicológica

Discapacidad social

Handicap

Tratamiento -0.930*** -0.650*** -0.604*** -1.228*** -0.547*** -0.910*** -0.485*** -0.730***

(0.087) (0.080) (0.095) (0.109) (0.075) (0.095) (0.071) (0.071) Puntaje línea base 0.477*** 0.266*** 0.326*** 0.298*** 0.398*** 0.343*** 0.365*** 0.302***

(0.047) (0.044) (0.051) (0.057) (0.040) (0.047) (0.039) (0.038)

Constante -0.861*** -0.324 -0.423 -0.462 -0.711*** -0.813*** -0.903*** -0.617***

(0.257) (0.286) (0.278) (0.337) (0.221) (0.263) (0.172) (0.168)

R-squared 0.353 0.216 0.214 0.274 0.296 0.271 0.263 0.290

Errores estándar robustos en paréntesis, controlando por strata aleatorizado

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Tabla OHIP 14: Mujeres, estandarizados (1) (2) (3) (4) (5) (6) (7) (8)

VARIABLES Todos Limitación funcional

Dolor físico

Malestar psicológico

Discapacidad física

Discapacidad

psicológica

Discapacidad social

Handicap

Tratamiento

-0.960*** -0.620***

-0.552*** -1.196*** -0.577*** -0.909*** -0.514*** -0.759***

(0.103) (0.097) (0.112) (0.130) (0.088) (0.113) (0.084) (0.085) Puntaje línea base 0.463*** 0.243*** 0.336*** 0.245*** 0.388*** 0.320*** 0.359*** 0.307***

(0.059) (0.052) (0.058) (0.076) (0.048) (0.059) (0.044) (0.048)

Constante

-0.841*** -0.339 -0.449 -0.452 -0.697*** -0.805*** -0.888*** -0.604***

(0.255) (0.282) (0.278) (0.335) (0.221) (0.261) (0.173) (0.168)

Observaciones 470 474 476 475 475 476 475 475

R-squared 0.316 0.184 0.192 0.237 0.280 0.236 0.250 0.277

Errores estándar robustos en paréntesis, controlando por strata aleatorizado

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

(1) (2) (3) (4) (5) (6) (7) (8)

VARIABLES Todos Limitación funcional

Dolor físico

Malestar psicológico

Discapacidad física

Discapacidad psicológica

Discapacidad social

Handicap

Tratamiento -0.819*** -0.719***

-0.756*** -1.280*** -0.442*** -0.884*** -0.383***

-0.655***

(0.164) (0.136) (0.186) (0.200) (0.149) (0.179) (0.145) (0.132) Puntaje línea base 0.526*** 0.331*** 0.290*** 0.377*** 0.443*** 0.390*** 0.405*** 0.304***

(0.078) (0.080) (0.102) (0.086) (0.076) (0.084) (0.085) (0.063)

Constante -1.297*** 0.052 0.936*** -0.021 -1.392*** -0.298*** -1.520***

-1.379***

(0.007) (0.064) (0.023) (0.074) (0.036) (0.069) (0.056) (0.005)

R-squared 0.450 0.320 0.270 0.370 0.307 0.339 0.302 0.321

Errores estándar robustos en paréntesis, controlando por strata aleatorizado

Tabla OHIP 14: Mujeres, estandarizados

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Bienestar subjetivo: Satisfacción en relaciones personales cercanas Auto-estima (Rosenberg)

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Satisfacción en relaciones personales cercanas: todos

(1) (2)

VARIABLES

Percepción general Relacionado a apariencia física

Tratamiento 0.131* 0.373***

(0.077) (0.075)

Prueba Rosenberg std. (línea base) 0.021 0.156**

(0.073) (0.074)

Constante -0.025 0.174

(0.209) (0.246)

Observaciones 649 661

R-squared 0.110 0.159

Errores estándar robustos en paréntesis, controlando por strata aleatorizado

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

(1) (2) (3) (4) Percepción

general Relacionado a

apariencia física

Percepción general

Relacionado a apariencia física

VARIABLES Mujeres Mujeres Hombres Hombres

Tratamiento 0.118 0.381*** 0.160 0.343**

(0.093) (0.090) (0.138) (0.135) Prueba Rosenberg std. (línea base) -0.004 0.128 0.058 0.207*

(0.097) (0.097) (0.112) (0.116)

Constante -0.048 0.135 0.676*** 0.493***

(0.222) (0.259) (0.063) (0.066)

Observaciones 465 476 184 185

R-squared 0.075 0.117 0.203 0.251

Errores estándar robustos en paréntesis, controlando por strata aleatorizado

Satisfacción en relaciones personales cercanas: por sexo

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Rosenberg, auto-estima 0

.02

.04

.06

.08

.1

De

nsity

0 10 20 30Rosenberg score baseline

Control in baseline Treated in baseline

0

.02

.04

.06

.08

.1

De

nsity

5 10 15 20 25 30Rosenberg score follow-up

Control in follow-up Treated in follow-up

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Autoestima; Índice Rosenberg (1) (2) (3)

VARIABLES Todos Mujeres Hombres

Tratamiento 0.256*** 0.338*** 0.041

(0.080) (0.096) (0.141)

Prueba Rosenberg std. (línea base) 0.597*** 0.624*** 0.582***

(0.086) (0.109) (0.143)

Constante 1.399*** 1.396*** 2.589***

(0.241) (0.254) (0.081)

Observaciones 652 470 182

R-squared 0.284 0.260 0.286

Errores estándar robustos en paréntesis, controlando por strata aleatorizado

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Resultados laborales

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Estado laboral (1) (2) (3)

Variables Empleado -

Todos

Empleado -

Hombres

Empleado -

Mujeres

Tratamiento 0.0538* 0.0176 0.0691*

(0.0277) (0.0321) (0.0361)

Empleado línea base 0.238*** 0.134* 0.253***

(0.0410) (0.0741) (0.0458)

Constante 0.511*** 0.817*** 0.480***

(0.113) (0.135) (0.122)

R-squared 0.259 0.252 0.225

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

(1) (2) (3)

Variables Empleado -

Todos

Empleado -

Hombres

Empleado -

Mujeres

Tratamiento 0.0686** -0.00422 0.0830**

(0.0344) (0.0530) (0.0399)

Empleado en línea base 0.261*** 0.263** 0.268***

(0.0448) (0.130) (0.0475)

Años de educación 0.0108 0.00915 0.0117

(0.00663) (0.0105) (0.00763)

Probit (efectos marginales)

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Efecto en el margen intensivo (1) (2) (3)

Variables Todos Hombres Mujeres

Log Salario por Hora

Tratamiento -0.021 0.030 -0.045

(0.050) (0.084) (0.063)

Log Horas

Tratamiento -0.048 0.013 -0.083

(0.058) (0.077) (0.079)

Log Ingreso Laboral

Tratamiento -0.069 0.043 -0.128*

(0.052) (0.071) (0.069)

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Efectos sobre empleo:

Mecanismos: Dientes faltantes

(1) (2)

Dientes frontales faltantes

Dientes no-frontales faltantes

Alto número 0.1284** 0.0899

(0.0796) (0.0578)

Bajo número 0.0278 0.0439

(0.0411) (0.0477)

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Mecanismos? OHIP

(1) (2) (3) (4) (5) (6) (7) (8)

VARIABLES Todos Limitación funcional

Dolor físico

Malestar psicológico

Discapacidad física

Discapacidad psicológica

Discapacidad social

Handicap

Mal 0.1363** 0.1124** 0.1140** 0.1058** 0.0887 0.0626 0.0989* 0.0657

(0.0589) (0.0538) (0.0608) (0.0515) (0.0595) (0.0582) (0.0563) (0.0574)

Bien 0.0319 0.0707 0.0633 0.0433 0.0643 0.1236** 0.0581 0.0776

(0.054) (0.0526) (0.0513) (0.0651) (0.0509) (0.0614) (0.0569) (0.0529)

Efectos en empleo por:

Problemas de salud dental iniciales

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Mecanismo? Autoestima

Efectos en empleo por:

Niveles iniciales de auto-estima

Rosenberg alto Rosenberg bajo

Tratamiento 0.0990* 0.0762

(0.0518) (0.0533)

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

7 . De la evidencia a la acción

65

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Conclusiones En general: efectos en take-up, indicadores de salud

dental, bienestar subjetivo, y empleo corto plazo

Efectos diferenciales por género: Mismos efectos sobre indicadores relacionados

directamente a la intervención.

…pero muchos más grandes para las mujeres en indicadores finales.

Mercados laborales? Efectos de corto plazo en empleo para las mujeres.

Parecen estar más relacionados a salud dental y número de dientes faltantes que impactos sobre auto-estima.

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Conclusiones Validez externa?

Muestra: población relevante.

Escalar el programa, problema monitoreo.

Efectos de equilibrio general.

Otras investigaciones: Datos administrativos para identificar efectos laborales a

mediano plazo.

Costo-efectividad de la intervención

Efectos en niños dado incrementos en auto-estima de la madre.

Experimento con fotos antes y después, evaluadas por personas de recursos humanos.

Organización industrial de estos mercados.

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

Conclusiones

Los resultados finales de esta evaluación

pueden convertirse en un insumo de mucho

valor para la generación de políticas públicas

destinadas a mejorar la vida de personas de

escasos recursos.

En la última clase, Ryan Cooper presentará

algunas de los métodos que utiliza J-PAL LAC

para transformar la evidencia en acción.

68

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

De la evidencia a la acción

69

Inicio Fin Miércoles 19 Jueves 20 Viernes 2108:30:00 09:00:00 Registro de participantes Repaso del día anterior Repaso del día anterior

09:00:00 10:00:00 Bienvenida y palabras de introducción

10:00:00 10:30:00

10:30:00 10:45:00

10:45:00 12:00:00Evaluación de principio a fin

Interludio: Evaluación de

impacto y éticaSTATA III: Análisis de datos

FRANCISCO GALLEGO CRISTIÁN LARROULET SEBASTÍAN OTERO

12:00:00 13:15:00Diseño I: Lógica de programa

Implementación I: Diseño de

instrumentosTaller de Costeo

LEIGH LINDEN CRISTIÁN LARROULET THOMAS VARGAS

13:15:00 14:30:00

14:30:00 15:45:00

Diseño II: ¿Por qué y cómo

implementar evaluaciones

aleatorias?

Implementacion II:

Levantamiento de datosDe la evidencia a la acción

DEAN KARLAN NICOLE CARPENTIER RYAN COOPER

15:45:00 16:00:00

16:00:00 17:15:00

Diseño III: Ejemplos de diseño de

evaluaciones experimentalesSTATA II: Cómo aleatorizar

DEAN KARLAN SEBASTÍAN OTERO Cierre de curso y entrega de diplomas

STATA I: Tamaño muestral y

poder estadístico

DIEGO VERDUGO

Implementación III: Amenazas y

análisis de datos

DEAN KARLAN

Coffee BreakEvaluación final de conocimientos

Evaluación inicial de conocimientos

Coffee Break

Almuerzo

Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción

¡Gracias!

Francisco Gallego

[email protected]

PUC-Chile y J-PAL