cómo utilizas loterías para diseñar evaluaciones rigurosas...
TRANSCRIPT
Julieta Trias Banco Mundial
5 de Abril de 2017Guatemala
TALLER DE EVALUACIÓN DE IMPACTO
Cómo utilizas loterías para diseñar evaluaciones rigurosas: Implementando la prueba aletoria controlada
RepasoVideo: ¿Qué es una evaluación de impacto?
Video: Oportunidades para Aleatorizar
Lotería cuando hay exceso de demandapara participar en el programa
Hay más elegibles para el programa de los que pueden serservidos por el mismo
Soporte a la Juventud para emprendimientos–Uganda
(Blattman et al., 2013)
• 535 jóveneselegiblespostularon
• Becasdisponiblespara 265
Lotería dirigida
• 535 jóvenes elegibles aplicaron• 25 jóvenes huérfanos• Becas disponibles para 265
• 25 jóvenes huérfanos
• 510 asignados aleatoriamente a los 240 lugares restantes
Variar aleatoriamente cuándo recibir el programa
TiempoDuranteAntes
Período de evaluación
Después
Variar aleatoriamente cuándo recibir el programa: Prescolar en Cambodia
Asignacion aleatoria del momento de inicio: Jobcentres en Essex, Inglaterra
Fuente: “Figure 1.2 The step-wedged trial design for the large scale Essex trial”
(Behavioural Insights Team, Update Report 2012-2015, 2015)
Configuración básica de una evaluaciónaleatorizada
Randomization methodsIndividuals/Clusters Multiple/Cross-cutting Tratamientos
AsignaciónAleatoria
AsignaciónAleatoria
Grupo de TratamientoGrupo de
Tratamiento
Grupo de Control
Grupo de Control
Chequeo de Balance
Encuesta final
Medición de Impacto
Validez Interna
PoblaciónObjetivo
PoblaciónObjetivo
Fuera de la EvaluaciónFuera de la Evaluación
Muestra de la Evaluación
Muestra de la Evaluación
Muestreo Aleatorio
Validez Externa
Encuesta en la línea de base
Ejemplos de area de interes: provincia, zona rural, todo el pais
Paso 1: Selecciona la muestra de evaluación
2006
Ingresos mensuales porpersona en Pesos
1000
500
Tratamiento Control
1457 1442
Paso 2: Asigna aleatoriamente comunidades a tratamiento y controlPaso 3: Selecciona aleatoriamente individuos dentro de cada comunidad
Probando múltiples característicasdel programa
Basic Setup Randomization methodsIndividuals/Clusters
PoblaciónObjetivo
PoblaciónObjetivo
Fuera de la EvaluaciónFuera de la Evaluación
Muestra de la Evaluación
Muestra de la Evaluación
PoblaciónTotal
PoblaciónTotal
AsignaciónAleatoria
AsignaciónAleatoria
Grupo de Tratamiento 3
Grupo de Tratamiento 3
Grupo de Control
Grupo de Control
Grupo de Tratamiento 2
Grupo de Tratamiento 2
Grupo de Tratamiento 1
Grupo de Tratamiento 1
Colombia: Mejorando programas de transferenciasmonetarias condicionadas (TMC)
Programa Transferencia Condicionalidad Transferencia adicional
TMC estandar 30.000 pesos
(US$15)/mes
80% de asistencia en
el mes
TMC ahorro 20.000 pesos
(US$10)/mes
80% de asistencia en
el mes
100.000 pesos (US$50) al
momento de matricularse para
el siguiente año
TMC
graduación
20.000 pesos
(US$10)/mes
80% de asistencia en
el mes
Terminar la secudaria
600.000 pesos (US$300) pago
inmediato con la prueba de
matriculación en terciario o
universidad, de lo contrario se
retrasa el pago un año
• TMC ahorro y TMC graduación tuvieron similar efecto en asistencia que TMC a pesar de reducir la transferencia durante el ciclo lectivo
• TMC ahorro y graduación fueron mas efectiva spara reducir el abandon escolar, especialmente en los mas pobres y con mayor riesgo de abandono
• Only TMC ahorro y TMC graduacion incrementaron matriculacion eneducacion terciaria/universitaria
Utilizar mensajes de texto (SMS) para informar sobre ferias de trabajo
Porcentaje que asiste a las ferias de trabajo segun SMS recibidoN=1224
Source: “Figure 1.4 Percentage turning up to recruitment events following different SMS
prompts” (Behavioural Insights Team, Annuall Report 2013-2015, 2015).
Nombre del beneficiario
Nombre del consejero
Variar aleatoriamente el diseño del programa
Características del programacombinadas
Randomization methodsIndividuals/Clusters Multiple/Cross-cutting Tratamientos
PoblaciónObjetivo
PoblaciónObjetivo
Fuera de la EvaluaciónFuera de la Evaluación
Muestra de la Evaluación
Muestra de la Evaluación
AsignaciónAleatoria
AsignaciónAleatoria
T 1 C 1
T 2 T1*T2 T2
C 2 T1 C
Colombia• Problema: Bajos niveles de desarrollo
infantil en niños de extrema pobreza.
No, No(Control)No, No
(Control)
Yes, Si(Tratamiento 1)
Yes, Si(Tratamiento 1)
No, Si(Tratamiento 2)
No, Si(Tratamiento 2)
Yes, Si(Tratamiento 3)
Yes, Si(Tratamiento 3)
Informacion sobreEstimulacion temprana
Mic
ronu
trie
ntes
Comparar Aprender
Tratamiento 1 vs. Control = Impacto de Micronutrientes
Tratamiento 2 vs. Control = Impacto de estimulacion
Tratamiento 3 vs. Control = Impacto conjunto de estimulacion +micronutrientes
Qué nivel de Aleatorización?
Unidad INDIVIDUO:
UnidadAGLOMERADO:
por ej. alumno, madre, padre, hogar
por ej. clase, centro del salud, comunidades
Qué nivel de Aleatorización?
Individual Cluster (group)
Qué nivel de Aleatorización?
Individual Cluster (group)
Ejemplo: Programa de Capacitación Laboral Ejemplo: Escuelas
Qué nivel de Aleatorización?
Alumno
Escuela
Comunidad
Clase
La unidad de Aleatorización debeestar, como mínimo, al nivel de la unidad de intervención del programa.
Ejemplo:
SI el programa se enfoca en -> clases
La Aleatorización puede hacersea nivel de clase, escuela, o comunidad
Externalidades – A que nivelaleatorizar?
Derrames: los individuos en el grupo de control también se benefician del tratamiento
Refuerzoescolar
Derrame: alumnos del programahablan con suscompañerosde clase
Con derrames puede habersobre/sub-estimación del impacto
Control
Impacto
VerdaderoDerrame
Impacto
Medido
Tratamiento
Impacto
Las unidades más altas de aleatorizaciónreducen el riesgo de derrames
Ejemplo: aleatorizar a nivel de escuelas parareducir la interacción entre alumnos de tratamiento y de control
Escuela
Alumno
Pregunta: Hay riesgo de derramesen los siguientes programas ?
• Ejemplo 1: capacitación de granjeros (aleatorización a nivel de individuos)
• Los granjeros vecinos pueden aprender también sobre los nuevos métodos
• Impacto medido del programa = producción de la granja en el grupo de tratamiento – producción de la granja en el grupo de comparación
• Como resultado, el impacto medido del programa es másbajo que el impacto real del programa
Pregunta: Hay riesgo de derramesen los siguientes programas ?
• Ejemplo 2: Programa de higiene de manos(aleatorización a nivel del hogar)
• La gente que asiste a los talleres le contará a sus amigos y vecinos
• Impacto medido del programa = prevalencia de diarrea enniños del grupo seleccionado para los talleres –prevalencia de diarrea en los niños de control
• Como resultado, el impacto medido es menor que el impacto real
A veces hay percepción de injusticia en el grupode control si se aleatoriza entre pares o
miembros de la comunidad a nivel de individuos
Hay menos percepción de injusticia si todos los miembros del mismo grupo o pueblo están en el grupo
de control
Mayor tamaño de muestra requerido cuando aleatorizamos a nivel más alto
Potencia estadistica
similar:
Aleatorización de escuelas:
• 800 en tratamiento
• 800 en control ….en
• 40 escuelas de
tratamiento y 40
control, 20 estudiantes
por escuela
Aleatorización de estudiantes:
• 393 en tratamiento
• 393 en control
Suponemos ICC de 0.05
Necesidad de incrementar el número de clusters en lugar de individuos por clusters
Por ejemplo, estos estudios tienen la misma potencia
• 80 clusters, 20 individuos por cluster
• 40 clusters, 1067 individuos por cluster
1,600 individuos comparados con 42,680!
Supone intra-cluster correlation de 0.05
Necesidad de incrementar el número de aglomerados, no el número de individuos
en cada aglomerado
Qué estudio tiene mayor potencia estadística?
a. 100 comunidades, 10 individuos por comunidad (1000 individuos)
b. 50 comunidades, 50 individuos por comunidad (2500 individuos)
c. Tienen la misma potencia estadística
Si la correlación intra-aglomerado = 0,05, tienen igual potencia estadísticaSi la correlación intra-aglomerado > 0.05, “a” tiene más potenciaestadística
Qué nivel de Aleatorización?
A. Unidad de ImplementaciónB. DerramesC. Ética y JusticiaD. Unidad de Muestreo y Potencia
Estadística
Qué considerar al Aleatorizar
1. Oportunidades para Aleatorizar2. Nivel de Aleatorización3. Deberíamos evaluar?
¿Necesitamos una Evaluación de Impacto?
Maximizar el aprendizajePara considerar1. Conocemos cuál será la respuesta? 2. Es relevante desde el punto de vista de políticas
públicas? a) Es un programa que el gobierno puede escalar si
resulta exitoso? b) Es estratégicamente relevante para reducir la
pobreza?3. Aporta nuevo conocimiento? 4. Está listo el programa para una evaluación de impacto?5. Hay opciones de diseño de programa que necesitan ser
comparadas?6. Hay alguna restricción de recursos que de oportunidad de
aleatorización?
Gracias!