curso avanzado de evaluaciones de impacto … · en esta clase se presentan y comparan los...

!

!

Curso Avanzado de

Evaluaciones de Impacto

Experimentales

19-21 DE MARZO, 2014!MONTEVIDEO, URUGUAY

¡Bienvenidos!

En J-PAL trabajamos para promover que las políticas públicas se basen en evidencia

científica. Una de nuestras acciones para lograrlo consiste en capacitar a encargados

de políticas públicas e investigadores, entregando los conocimientos necesarios para

participar en la evaluación de impacto de políticas sociales y tomar decisiones más

efectivas. El curso del que formarán parte durante estos días busca contribuir a este

objetivo y promover su participación en el uso y la producción de evidencia, con la

finalidad de nutrir el diseño y evaluación de políticas públicas y contribuir a una

cultura de innovación social.

En J-PAL estamos honrados en colaborar con la Universidad de Montevideo con el fin

de fortalecer la capacidad para utilizar evidencia científica en la política pública y el

desarrollo de evaluaciones de impacto rigurosas en Latinoamérica. Esperamos, con la

participación de ustedes, ayudarlos a desarrollar los conocimientos y habilidades

requeridas para la aplicación selectiva, diseño, implementación y utilización de

evaluaciones de impacto.

Durante las actividades que tenemos programadas, tendrán la oportunidad de

intercambiar experiencias con implementadores de política pública tanto del sector

público como de organizaciones no gubernamentales, académicos y otros especialistas

en evaluación de impacto. Esperamos que dicha interacción contribuya a la

identificación de intereses en común y de oportunidades para nuevas alianzas,

proyectos e ideas innovadoras.

¡Esperamos que tengan una experiencia productiva y llena de aprendizaje!

Francisco Gallego

Director Científico

J-PAL LAC

Curso Avanzado de Evaluación de Impacto |

Montevideo, 19 al 21 de marzo de 2014



Contenido

Agenda del curso .................................................................................................................... 1

Equipo de Profesores .............................................................................................................. 5

Equipo de Coordinación y Profesores Ayudantes .................................................................. 6

Ejercicio: Poder de un experimento y tamaño de la muestra ................................................. 7

Taller de Costeo .................................................................................................................... 15

Elaboración y análisis de presupuesto ................................................................................. 21

Estándares de calidad en el levantamiento de datos ............................................................. 33

Preguntas para el diagnóstico de evaluabilidad .................................................................... 35

Términos Importantes ........................................................................................................... 39

Apuntes ................................................................................................................................. 43

Mapas ................................................................................................................................... 49



1

Inicio Fin Miércoles 19 de marzo Jueves 20 de marzo Viernes 21 de marzo 8:30 8:45

Registro de participantes

8:45 9:00 Repaso del día anterior Repaso del día anterior

9:00 10:00 Bienvenida y palabras de introducción

STATA I: Tamaño muestral y

Poder estadístico

Implementación III: Amenazas y Análisis de Datos

10:00 10:30 Evaluación inicial de conocimientos DIEGO VERDUGO DEAN KARLAN

10:30 10:45 Coffee Break

10:45 12:00

Clase de Introducción Evaluación de principio a fin

Interludio: Evaluación de impacto y Ética

STATA III: Análisis de datos

FRANCISCO GALLEGO CRISTIÁN LARROULET SEBASTÍAN OTERO

12:00 13:15

Diseño I: Lógica de programa

Implementación I: Diseño de Instrumentos

Taller de Costeo

LEIGH LINDEN CRISTIÁN LARROULET THOMAS VARGAS

13:15 14:30 Almuerzo

14:30 15:45:

Diseño II: ¿Por qué y cómo implementar

evaluaciones aleatorias?

Implementación II: Levantamiento de datos

Clase de Cierre De la evidencia a la acción

DEAN KARLAN NICOLE CARPENTIER RYAN COOPER

15:45 16:00 Coffee Break Evaluación final de conocimientos

16:00 17:15

Diseño III: Ejemplos de diseño de evaluaciones

experimentales

STATA II: Cómo aleatorizar

Cierre de curso y entrega de diplomas

DEAN KARLAN SEBASTÍAN OTERO

Agenda del curso



2

Agenda detallada Miércoles 19 de marzo

Inicio Fin Sesión Descripción Expositor 8:30 9:00 Registro de participantes 9:00 10:00 Bienvenida y palabras de

introducción

10:00 10:30 Evaluación inicial de conocimientos


10:45 12:00

Clase de inauguración Evaluación de principio a fin

En esta sesión presentaremos una evaluación aleatoria de principio a fin desde la perspectiva del evaluador. Se discutirá la teoría que conduce a investigar el tema, el diseño experimental propuesto, las restricciones prácticas que afectan al diseño, la administración de trabajo de campo, el análisis de los resultados y las conclusiones de política pública.

Francisco Gallego

12:00 13:15 Diseño I.

Lógica de programa

En esta sesión se explicará lo que es una Teoría de Cambio y se explicarán en detalle sus componentes por medio de un ejemplo. Se presentará la cadena causal como un método efectivo para plantear la Teoría de Cambio y se detallará como utilizarla. Finalmente se hablará de la importancia de la Teoría de Cambio para la evaluación experimental.

Leigh Linden


14:30 15:45

Diseño II. ¿Por qué y cómo

implementar evaluaciones aleatorias?

En esta sesión se hablará acerca de cómo el método experimental permite superar el problema del sesgo selección, permitiendo identificar el impacto causal de un programa. A su vez, se presentarán los principales aspectos que caracterizan al diseño de aleatorización.

Dean Karlan


16:00 17:15

Diseño III. Ejemplos de diseño de

evaluaciones experimentales

En esta sesión se repasarán algunos diseños de evaluaciones experimentales utilizando como ejemplo evaluaciones reales. Se señalarán las restricciones y ventajas de cada diseño. Dean Karlan

Agenda detallada



3

Jueves 20 de marzo

Inicio Fin Sesión Descripción Expositor 8:45 9:00 Repaso del día anterior

9:00 10:30

STATA I: Tamaño muestral y

Poder estadístico

En esta sesión se repasará brevemente la importancia del tamaño muestral para detectar el efecto de un programa, y se utilizará STATA para desarrollar un ejercicio de cálculo de tamaño muestral y poder estadístico.

Diego Verdugo


10:45 12:00

Interludio: Evaluación de impacto y

Ética

En esta presentación se discutirán los aspectos éticos de la investigación en ciencias sociales en general y sus implicaciones para la investigación basada en el método experimental.

Cristián Larroulet

12:00 13:15 Implementación I:

Diseño de instrumentos

En esta sesión se hablará de la importancia de contar con buenos instrumentos de medición a fin de medir de manera fiable los impactos de una intervención o programa, y de la complejidad que supone cuantificar ciertos resultados de interés.

Cristián Larroulet


14:30 15:45 Implementación II:

Levantamiento de datos

En esta sesión se revisarán los elementos operativos y logísticos implicados en el levantamiento de datos y el trabajo de campo. Se discutirá el costo de levantar datos a fin de proporcionar una idea de magnitud, para poder incorporar esto en el presupuesto de una evaluación de impacto.

Nicole Carpentier

16:00 17:15 STATA II:

Cómo aleatorizar

En esta sesión se utilizarán datos reales de una evaluación para realizar el proceso de asignación aleatoria en STATA, utilizando distintos diseños de aleatorización con distinto grado de complejidad.

Sebastián Otero



4

Viernes 21 de marzo

Inicio Fin Sesión Descripción Expositor 8:45 9:00 Repaso del día anterior

9:00 10:30 Implementación III: Amenazas y análisis

En esta clase se presentan y comparan los conceptos de validez externa y validez interna. Se definen las siguientes amenazas a la validez interna: desgate de muestra, presencia de externalidades y cumplimiento imperfecto de protocolos de asignación. En respuesta a estas amenazas se detallan soluciones prácticas y estadísticas al análisis de resultados, y se define el efecto de Intención de Tratar (ITT) y el efecto del Tratamiento sobre los Tratados (TOT).

Dean Karlan


10:45 12:00 STATA III:

Análisis de datos

Esta sesión se dedicará al análisis de datos en STATA. Se utilizará una base de datos de una evaluación real y se replicarán y discutirán los resultados usando el software estadístico.

Sebastián Otero

12:00 13:15 Taller de Costeo

En esta sesión se presentará sobre los costos relacionados a la evaluación de impacto en forma general y se realizará un ejercicio para calcular el costo de una evaluación de impacto experimental.

Thomas Vargas


14:30 15:45 Clase de Cierre

De la evidencia a la acción

En esta sesión se hablará sobre la importancia de que las evaluaciones de impacto incidan sobre la política pública. Se discutirá cómo este objetivo se relaciona con las decisiones acerca de qué evaluar y sobre cómo maximizar el uso de evidencia científica en el diseño de políticas.

Ryan Cooper

15:45 16:15 Evaluación final de conocimientos

16:15 16:45 Cierre de curso y entrega de

diplomas



5

Dean Karlan

Professor of Economics

Yale University

(Ph.D. Massachusetts Institute of

Technology)

Leigh Linden

Profesor Asistente de Economía

University of Texas, Austin


Technology)

Francisco Gallego

Director Científico de J-PAL LAC y

Profesor Asistente de Economía,

Pontificia Universidad

Católica de Chile


Technology)

Ryan Cooper

Director Ejecutivo de J-PAL LAC

M.A. Universidad de Chile

Dean Karlan está afiliado al Bureau for

Research and Economic Analysis of

Development y es Presidente y Fundador

de Innovations for Poverty Action. Su

investigación se centra en temas

microeconómicos sobre políticas

públicas y pobreza. En sus estudios

analiza la eficacia de determinadas

políticas para luchar contra la pobreza o

la importancia de las teorías económicas

sobre la toma de decisiones de los

individuos. Gran parte de su trabajo,

utiliza ideas y enfoques de la economía

del comportamiento para examinar

asuntos económicos y de política pública.

Leigh Linden es Profesor en el

Departamento de Economía de la

University of Texas at Austin. Su

investigación se centra en la capacidad de

los servicios sociales para mejorar el

bienestar de los niños, especialmente en

áreas empobrecidas. En este sentido, el

Profesor Linden ha analizado los procesos

de producción educativa y los problemas de

toma de decisiones en el núcleo familiar

que determinan la asignación de

oportunidades educacionales dentro de la

familia. Metodológicamente, Linden se

especializa en el uso de experimentos

aleatorizados de gran escala.

Francisco Gallego posee un Ph.D. en

Economía del MIT. Es Profesor Asociado

en el Instituto de Economía de la

Pontificia Universidad Católica de Chile

(PUC). Sus áreas de interés son el

desarrollo económico, la economía

política y la economía de la educación. Él

ha trabajado en evaluaciones

educacionales, enfocadas en el impacto

de la entrega de información sobre las

decisiones de los padres de los

estudiantes. Francisco Gallego es

Director Científico de J-PAL

Latinoamérica.

Ryan Cooper es Director Ejecutivo de J-

PAL Latinoamérica y El Caribe. Comenzó

su carrera profesional como Analista de

Evaluación en el Ministerio de Finanzas

del Gobierno de Chile. Luego se dedicó a

la creación y liderazgo de una ONG

educativa en Chile llamada OPTE. Al

mismo tiempo, en conjunto con un grupo

de economistas del World Bank,

University of California, Berkeley y Un

Techo para mi País (UTPMP), comenzó

una evaluación aleatoria del programa

UTPMP en tres diferentes países de

Latinoamérica. Desde noviembre de 2008

hasta Agosto de 2009, se desempeñó como

Analista de Investigación en el IFPRI.

Equipo de Profesores



6

Coordinadora del Curso

Anne Thibault

Training Manager

J-PAL LAC

Cristián Larroulet

Research Manager

J-PAL LAC

TEACHING

ASSISTANTS

(TAs)

Thomas Vargas

Training Analyst

J-PAL LAC

Nicole Carpentier

Research Analyst

J-PAL LAC

Sebastián Otero

Research Analyst

J-PAL LAC

Max Mendez-Beck

Training Analyst

J-PAL LAC

Diego Verdugo

Research Analyst

J-PAL LAC

José Vila-Belda

Training Analyst

J-PAL LAC

Equipo de Coordinación y Profesores Ayudantes



7

Indicaciones generales

Este ejercicio utiliza la base de datos “poder.dta”. En este ejercicio los participantes

utilizarán STATA para realizar cálculos de poder. Para realizar estos problemas es

necesario contar con STATA instalado en su computador.

Este ejercicio se basa en un ejercicio de Innovations for Poverty Action (IPA) para

funcionarios de IPA y J-PAL.

Objetivos

Después de esta sesión, los participantes serán capaces de:

1. Definir el concepto de poder en la evaluación experimental.

2. Identificar cómo el tamaño de la muestra, la existencia de clústers y otras

restricciones prácticas pueden afectar el poder de la evaluación experimental.

3. Calcular el tamaño de muestra óptimo para realizar una evaluación de impacto

experimental.

Sección 1: tamaño de muestra estimado para un experimento simple

El Banco Popular de la República Aleatoria (BPR) es un banco estatal que tiene dos

objetivos:

i. Aumentar los montos de ahorro en las cuentas de sus clientes existentes.

ii. Aumentar el número de clientes con cuentas de ahorros

Ejercicio

Poder de un experimento y tamaño de muestra



8

Algunos estudios previos sugieren que los recordatorios de mensaje de texto enviados a

teléfonos móviles y las reuniones informativas pueden ser una manera conveniente y eficaz

de lograr los dos objetivos antes planteados.

Suponga que el banco le entrega una base de datos originados a partir de una encuesta

piloto, que incluye tanto a clientes existentes como a personas sin cuentas bancarias, y le

encarga realizar los análisis que se detallan a continuación.

Tarea 1

Comencemos con el objetivo (i), relacionado a aumentar los montos de ahorro en las

cuentas de clientes existentes. Suponga que la gerencia del banco está planeando lograr

dicho objetivo mediante el envío de mensajes de texto a celulares, que según estudios

previos podría generar un aumento del 25%. Sigamos los siguientes pasos para encontrar el

tamaño de muestra que necesitaríamos para evaluar la eficacia de este procedimiento

mediante un experimento aleatorio:

1. Abra la base de datos. Recuerde que se llama “poder.dta”.

2. Recolectemos los insumos necesarios para estimar el tamaño de muestra necesario.

Primero, observe el conjunto de datos (escriba describe para averiguar cuál de las

variables corresponde a balance de ahorro). Luego, utilice summarize para

encontrar la desviación estándar y la media de los balances de ahorro de los clientes

existentes.

a. Media: _______________

b. Desviación estándar: _______________

3. Ahora, averigüemos cuál es la muestra mínima que se necesita para detectar si el

programa es tan eficaz como la gerencia de BPR espera que sea.

a. La respuesta que obtuvimos en la pregunta anterior (la media y desviación

estándar de ahorros de la encuesta piloto) es lo que se debería considerar

como la media y desviación estándar para el grupo de control. Si la

intervención supuestamente incrementa los balances de ahorro en un 25%,

¿cuál espera que sea la media para el grupo de tratamiento?



9

Media del grupo de tratamiento: _____________

b. Ahora, utilicemos el comando sampsi para averiguar el tamaño de muestra

que se necesita para detectar un 25% de aumento. La sintaxis que se debe

utilizar es la siguiente:

sampsi promedio1 promedio2, sd(desviación estándar)

donde promedio1 es la media del grupo de control y promedio2 es la media

del grupo de tratamiento. Se debe colocar la desviación estándar entre los

paréntesis contiguos a sd.

Anote el comando de Stata aquí: ___________________

c. ¿Cuál es el tamaño de la muestra que se necesita para el grupo de control y

el grupo de tratamiento?

Tamaño grupo control: _______________

Tamaño grupo tratamiento: _______________

Tamaño total: _______________

4. Suponga que el director de BPR menciona que el programa de mensajes de texto es

barato de implementar, y sería rentable aún si los balances de ahorro aumentan sólo

en un 15%. Por lo mismo, le interesa que el experimento sea capaz de detectar un

aumento de esa magnitud. ¿Cuál es el tamaño mínimo de muestra que se necesitaría

para detectarlo? ¿Cuál es la intuición del resultado? (Pista: se deben seguir los

mismos pasos anteriores, pero se debe calcular una diferencia de un 15% en vez de

un 25%)



Tamaño total: _______________



10

5. Esta es una muestra bastante grande. ¿Qué ocurre si reducimos el poder estadístico

del experimento a un 80% (el comando samspi usa por default un poder de 90%)?

¿Cuál es la intuición del resultado? (Pista: se debe utilizar el mismo comando de

Stata que se utilizó en la pregunta 3, pero se debe añadir p(.8) al final.).



Tamaño total: _______________

6. Si sólo tenemos los fondos como para encuestar a 1000 clientes, ¿deberíamos seguir

con el estudio?

Respuesta:_____________________________________________________________

______________________________________________________________________

Tarea 2. Diseño aleatorio simple y cumplimiento imperfecto con el tratamiento

1. La intervención con teléfonos móviles antes descrita tiene un pequeño problema:

sólo funciona con aquellas personas que mantienen el mismo celular que aparece en

las bases de datos del banco. Estimaciones preliminares sugieren que esto ocurre en

el 70% de los casos, pero no sabemos cuáles. ¿Qué tamaño de muestra se necesitaría

para detectar un aumento de un 25% en los balances de las cuentas de ahorro? ¿A

qué se debe el cambio? (Pista: primero, se debe "ajustar" el tamaño de efecto que

se quiere detectar según la proporción de individuos que se ven beneficiados por el

programa).

Ajuste del efecto: _______________



Tamaño total: _______________



11

Sección 2: tamaño de muestra estimado para un experimento con

conglomerados

Tarea 3. Diseño aleatorio por conglomerados

Para esta segunda parte de los ejercicios es necesario instalar "clustersampsi" en Stata.

Para este fin, escriba “findit clutersampsi” en la ventana del comando, y luego seleccione

el texto en azul debajo de donde dice “1 package found”.

Suponga ahora que el BPR está considerando realizar sesiones grupales informativas en las

distintas localidades, para lo cual ha decidido asociarse con una ONG que realiza

capacitaciones de gestión de portafolios y alfabetización financiera a hogares en las áreas

en donde opera. Lo bueno de este programa es que le permitiría al banco lograr los dos

objetivos que persigue (aumento en el número de clientes y en los montos ahorrados por

sus clientes existentes); lo malo es que es caro, y si se quiere llevar a cabo a una escala

regional, BPR calcula que debe aumentar la base de clientes en al menos 20 puntos

porcentuales y los ahorros de sus clientes existentes en un 25%.

BPR y la ONG contarán con un equipo de encargados de las capacitaciones, los que

viajarán a cada poblado. Los cursos quedan abiertos a todo el público en cada pueblo, por

lo que consideraremos que nuestra unidad de intervención serán los pueblos.

Comencemos con el ahorro de los clientes existentes y la intención de aumentarlos en 25%.

Lo primero que se debe hacer cuando se selecciona de manera aleatoria a nivel grupal es

calcular la correlación intra-conglomerado de la variable resultante dentro de esos grupos.

El comando que sirve para encontrar la correlación intra-conglomerado en Stata es

loneway, y se utiliza de la siguiente manera:

loneway variableresultado variabledegrupo

1. Encuentre la correlación intra-conglomerado de la variable del balance de ahorros

Correlación intra-conglomerado: _______________



12

2. A fin de incluir los conglomerados en los cálculos de poder estadístico de la

muestra, utilizaremos el comando clustersampsi. El formato es el siguiente:

clustersampsi, rho(correlación intra-conglomerado) m(observaciones por

conglomerado) mu1(promedio grupo control) sd1(desviación estándar grupo

control) mu2(promedio grupo tratamiento) sd2(desviación estándar grupo

tratamiento)

Observe que al ejecutar el comando éste le entrega primero el tamaño de muestra sin

conglomerados, y luego con conglomerados.

Repita el comando varias veces, y ajuste el número de observaciones por

conglomerado, según la siguiente tabla:

Personas por conglomerado Número de conglomerados Tamaño total de la muestra

10

30

50

¿A qué se deben los cambios en el número de grupos y en el tamaño total de muestra al

aumentar el número de clientes por conglomerado?

Respuesta:_____________________________________________________________

______________________________________________________________________

Tarea 4. Diseño aleatorio por conglomerados y cumplimiento imperfecto con el

tratamiento.

Veamos ahora el caso del aumento en el número de clientes, que se espera alcance 20

puntos porcentuales, y añadamos además el concepto de cumplimiento imperfecto.

Las reuniones antes descritas no tuvieron asistencia completa, pero aun así resultaron ser

relativamente exitosas: un 50% de los adultos en los poblados asistieron, y el número

promedio de asistentes fue de 60.



13

¿Cuántos poblados sería necesario visitar para verificar si se incrementó la captación en 20

puntos porcentuales? Respondamos por partes:

1. ¿Cuál es el tamaño de efecto esperado si se toma en cuenta el cumplimiento

(asistencia)?

Respuesta: _______________

2. ¿Cuál es el número de observaciones por conglomerado?

Respuesta: _______________

3. ¿Cuáles son los comandos de Stata que se deberían utilizar? (Notar que la sintaxis

del comando clustersampsi es diferente cuando se quiere comparar proporciones en

lugar de promedios.)

Respuesta: _______________

4. ¿Cuántos poblados se deberían visitar?

Respuesta: _______________

Tarea 5. Tamaño de muestra y múltiples tratamientos

1. En término generales, ¿cuál es el tamaño de muestra que debemos elegir si

queremos implementar múltiples tratamientos en un experimento?

Respuesta: _______________



14



15

Objetivos:

Identificar los parámetros más importantes a la hora de presupuestar una evaluación

de impacto.

Entender cómo se calculan los costos del trabajo de campo.

Observar como variar ciertos parámetros impactan los costos finales de la

evaluación.

Presentación

¿Cuál es la estructura presupuestaria de una evaluación de impacto experimental? ¿Cómo

se costean los costos del trabajo de campo? ¿Cuáles son los parámetros con mayor

incidencia sobre el presupuesto? ¿Qué es un rango de precios aceptable para un contrato

de trabajo de campo?

Estas preguntas son sólo algunas de los interrogantes que caracterizan las discusiones sobre

la conformación y análisis de los presupuestos de evaluación. Estas discusiones casi nunca

son triviales pues, si bien la evaluación es un ejercicio deseable, es un evento costoso cuyo

valor pudiese sobrepasar el costo de algunas intervenciones. Dado que los recursos siempre

son limitados, entender la estructura de costos de una evaluación, es de esencial para

justificar, cuantificar, y validar su valor en vista de sus eventuales beneficios.

El siguiente documento provee una guía complementaria al “Taller de Costeo” del Curso de

Evaluación de Impacto impartido por J-PAL LAC en la Universidad de Montevideo. La

sección de ejercicios proveerá un espacio resumir las observaciones y conceptos más

importantes expuestos en el taller para apuntes y respuestas. Acompañe estos ejercicios con

el documento de Excel llamado “Taller de Costeo”.

Taller de Costeo



16

I. Ejercicio 1: ¿Cómo se calculan los costos del trabajo de campo?

Los costos del trabajo de campo y/o levantamiento de datos en terreno tienden a ser el ítem

presupuestario con mayor incidencia sobre el costo total de la evaluación. Es importante

entender cómo se estima el costo del trabajo de campo para identificar potenciales ahorros,

analizar propuestas de contratistas, en el caso que este sea subcontratado, y tener una

apreciación más profunda del costo de la evaluación en relación a su valor esperado.

El Ejercicio 1 indagará de forma didáctica cómo se estiman los costos del trabajo de campo

utilizando las hojas de Excel:

Ejercicio 1 Hoja de Costeo 1

Ejercicio 1 Hoja de Costeo 2

Se variarían algunos parámetros, marcados en color gris para observar los cambios en el

presupuesto.

Las filas bajo “Parámetros Clave” de la hoja Ejercicio 1 Hoja de Costeo 1 señalan que en

este ejercicio se estimarán los costos de levantamiento de campo para una muestra de 150

escuelas en las cuales de aplicarán pruebas cognitivas y encuestas a 40 alumnos (diseño

clúster con medición individual). La totalidad de alumnos (100%) participará en la

evaluación; no se aplicarán los instrumentos a una sub-muestra.

El objetivo de este ejercicio es definir el número de días que el equipo de terreno estará en

campo para cumplir con este requerimiento. Conociendo el número de días, se pueden

calcular la mayoría de costos variables y, de hecho, todos los costos de campo con

excepción de algunos costos operativos (imprenta) y los costos de digitación.

Se puede identificar la duración del levantamiento siguiendo los siguientes pasos.

1. Establecer los supuestos de tamaño muestral.

a. Coloque el número de escuelas (N) en la casilla D16 y el número de

alumnos en la casilla D17.

b. Las casillas D18 y D19 se ocuparían si el levantamiento también contaría

con encuestas de hogar.



17

2. Convertir a los instrumentos en unidades de tiempo.

a. Colocar la duración de las pruebas por alumno (40 min) en la casilla K25.

Anotar la duración de la encuesta (15 min) en la casilla K26.

b. El tiempo designado a “Obtención de Consentimiento” K24 es un estimado

del tiempo necesario para ordenar a los alumnos y obtener su permiso para

aplicar las pruebas/encuestas.

c. Las casillas G24 y G25 contienen parámetros de tiempo, señalan el tiempo

de viaje que el equipo de terreno ocuparía para viajar acceder a las unidades

de muestra; ie la dispersión de la muestra.

d. La casilla D28, “Total por Etapa,” recuenta el número total de horas

requeridas para cumplir con la aplicación de instrumentos de la etapa

observada.

3. Calcular las “horas hombre” del equipo de evaluación.

a. Estimar el potencial de horas de trabajo del equipo de terreno. La cantidad

de horas disponibles dependerá del número de encuestadores K35 y

supervisores K37 en cada equipo y el número total de equipos G36.

b. Colocar 4 encuestadores por equipo, 1 supervisor por equipo, y 8 equipos de

terreno en las casillas correspondientes.

4. Hacer ajustes finales al número de días de medición.

a. Ajustar la duración de la medición reportada en la casilla D44 ajustando la

casilla “Días de Remuestro” D45 y la casilla “Factor de Ajuste por

Revisita.”

b. El producto final de estos ajustes se reporta en la casilla D47. Esta figura es

utilizada para costear los salarios del personal de campo y el transporte

requerido para efectuar el levantamiento. Estas cifras se reportan en las

casillas D55- D60. Los días de levantamiento son directamente insertados al

presupuesto como se demuestra en la Ejercicio 1 Hoja de Costeo 2.



18

II. Ejercicio 2: Variación de Parámetros de Campo

No es inusual que los presupuestos de evaluación sean sujetos a cambios. Eventos desde

tormentas hasta retrasos en la implementación del programa pueden afectar el presupuesto

junto con el comportamiento de la población objetivo. Dado el alto potencial de

variabilidad en el presupuesto, es recomendable conformar varios escenarios

presupuestarios que controlen por estas posibilidades de antemano. En esta sección se

presentará los parámetros macro y micro del presupuesto que, al ser modificados, tienen

una incidencia importante en el presupuesto.

En el Ejercicio 2 se ocuparán las hojas de Excel denominadas:

Presupuesto General

Ejercicio 2

Se variarían algunos parámetros, marcados en color gris para observar los cambios en el

presupuesto.

Hoja Presupuesto General

1. ¿Cuántas etapas tiene este presupuesto? ¿Cuál es el valor del presupuesto?

Respuesta:________________________________________________________________

_________________________________________________________________________

2. Modifique el número de etapas removiendo dos etapas del presupuesto,

¿Cuáles remueve? ¿Por qué? ¿Cuál es el valor del presupuesto?

Respuesta:________________________________________________________________

_________________________________________________________________________

Hoja Ejercicio 2

3. ¿Cuál es el valor original de esta etapa presupuestaria?

Respuesta:________________________________________________________________



19

4. Modifique el tamaño de muestra aumentando el número de clústers N16 de

150 escuelas a 300 escuelas. ¿Cuál es el valor del presupuesto?

Respuesta:________________________________________________________________

5. Modifique el tamaño de muestra aumentando la cantidad de individuos N17

medidos por clúster de 40 a 60 Q25 . ¿Cuál es el valor del presupuesto?

Respuesta:________________________________________________________________

6. Modifique la dispersión de la muestra el tiempo de transporte entre escuelas

de 60 a 120. ¿Cuál es el valor del presupuesto?

Respuesta:________________________________________________________________

7. Modifique el tiempo de búsqueda cambiando la tasa de revisita N46 de 1 a

1.25 (este cambio implica que se tendrán que aumentar los días de medición

por 25% para recuperar observaciones). ¿Cuál es el valor del presupuesto?

Respuesta:________________________________________________________________

8. Modifique la complejidad del instrumento cambiando la duración de la

prueba cognitiva de 50 a 120 U25. ¿Cuál es el valor del presupuesto?

Respuesta:________________________________________________________________

9. En base a las variaciones que acabamos de hacer, ¿qué conclusiones

podemos sacar sobre los parámetros que más afectan el presupuesto de una

evaluación de impacto experimental?

Respuesta:________________________________________________________________

_____________________________________________________________



20

I. Introducción

Este documento contiene lineamientos generales y buenas prácticas para considerar en el

proceso de conformar un presupuesto para una evaluación de impacto experimental. Las

observaciones presentadas se forman a base a las experiencias de J-PAL LAC en trabajos

de evaluación y recolección de datos en América Latina. Su objetivo es servir de referencia

para aquellos que desean presupuestar evaluaciones de impacto.

Este documento está organizado de la siguiente manera: la Sección II presenta los ítems

principales que se deben incluir en un presupuesto de evaluación, la Sección III desarrolla

una discusión sobre los parámetros que típicamente tienen mayor impacto sobre el

presupuesto, la Sección IV presenta parámetros adicionales a considerar, la Sección V

presenta varios ejemplos de presupuesto, desgloses de costos realizados y ofrece un rubro

de costo general, finalmente, la Sección VI ofrece sugerencias útiles para analizar el

presupuesto de una firma encuestadora.

II. Ítems Presupuestarios

Los presupuestos de evaluación de impacto están compuestos por costos variables y fijos

que generalmente pueden asociarse a una de las cinco categorías que se describen en el

siguiente cuadro. El anexo 1 contiene una lista detallada de insumos que caen bajo cada

ítem presentado a continuación.

Ítem Descripción

Salarios Salarios del equipo de investigación, usualmente incluye salarios de

investigadores principales, analistas y otro personal de apoyo.

Los salarios usualmente se fijan según un estimado de las horas que

los miembros del equipo de investigación invertirán en cada etapa de

la evaluación.

Los estimados de horas por persona varían según la etapa de

investigación y estructura de la evaluación de impacto

(subcontratada vs. interna).

Viajes Viajes asignados a miembros del equipo de evaluación. Los viajes

Elaboración y Análisis de Presupuestos



21

son necesarios para efectuar visitas a terreno, negociaciones y

realizar otros labores de investigación.

Los costos de viajes incluyen transporte, alojamiento, viáticos y

seguros.

El rubro de viajes varía según el tamaño del equipo de investigación,

proximidad a la población de estudio, extensión del trabajo de

campo, el ambiente político del estudio y otras características de la

evaluación y ubicación del estudio.

Trabajo de

Campo

Costos asociados con los labores requeridos para levantar datos de

terreno/ campo requeridos por la evaluación de impacto.

Los costos particulares de este proceso incluyen: salarios del equipo

de terreno (encuestadores, etc.), transporte, instrumentos impresos,

lapiceros, comunicaciones y otro material de apoyo.

En lo macro, los costos del trabajo de campo varían según las

fuentes de datos (datos administrativos vs datos de terreno)de la

evaluación y la estructura del trabajo de campo (subcontratado vs.

interno).

En lo micro, los costos del trabajo de campo varían según la unidad

(encuestas de hogar vs. pruebas escolares), tamaño y dispersión de la

muestra de evaluación.

Digitación Costos asociados con el proceso de transformación de datos de

terreno a formato digital.

Los costos de digitación incluyen salarios de equipo de

digitalización e insumos tecnológicos.

Costos

Administrativos

Costos operativos generados por la contratación de personal,

impuestos, manejo de fondo y otros costos.

En general, la recolección de datos suele ser el componente más costoso de una

evaluación de impacto, independientemente de si el trabajo de campo es

subcontratado o se realiza internamente. Esto puede variar según varios factores, como

por ejemplo, el tamaño de la muestra, la duración y tipo de la encuesta, y el uso de datos

administrativos. Un análisis de algunos presupuestos de evaluaciones de impacto realizadas

por J-PAL confirma la magnitud y variabilidad de los costos de recolección de datos. En los

presupuestos considerados, los costos asociados con la recolección de datos representaron

desde un 42% hasta un 85% del presupuesto total. Los salarios del equipo de investigación

representan otro costo importante y variable: puede ser desde un 12% hasta un 43% de los



22

costos totales de la investigación dependiendo del número de investigadores, cuánto

cobran, y el costo de vida en cada país.

Como se discute en la siguiente sección, pequeños cambios en la estructura del trabajo de

campo pueden afectar de gran manera los costos.

III. Parámetros Determinantes

Dentro de los presupuestos de evaluación de impacto el ítem con mayor incidencia sobre

los costos de evaluación es el trabajo de campo. El único caso en donde el presupuesto de

trabajo de campo no es determinante es el caso en que la evaluación de impacto se realiza a

base de datos administrativos. Salvo esta excepción el presupuesto de trabajo de campo es

central tanto cuando éste es subcontratado o realizado internamente.

El presupuesto de trabajo de campo y sus potenciales variaciones usualmente se concentran

en una colección de factores endógenos y exógenos a la evaluación de impacto. Los

factores endógenos que afectan el presupuesto son:

Parámetro Descripción

Tamaño de Muestra La cantidad de unidades en la muestra naturalmente afecta

el presupuesto, las muestras más grandes son más caras.

El tamaño mínimo de la muestra se puede determinar

mediante un cálculo de poder.

Unidad de Muestra La unidad de muestra es determinante: las muestras a nivel

individual (hogar, individuo) usualmente son más costosas

que medir que una muestra a nivel de clúster (escuela) en

la cual se puede medir a varios individuos a la vez.

A veces, se puede ahorrar tomando información

“masivamente” siempre y cuando esto no afecte la calidad

de la medición.

Dispersión de

Muestra

La dispersión de la muestra se refiere a las distancias entre

unidades de medición.

La dispersión es relevante tanto para muestras a nivel

individual (eg. distancia entre hogares) y clúster (eg.

distancia entre escuelas).

Las muestras más dispersas usualmente son más caras de

medir.



23

La importancia de los factores endógenos sobre el presupuesto se resume en una pregunta

clara: ¿Cuál es el costo requerido para llegar a cada unidad de medición? Esta cantidad

en gran parte es determinada por la unidad y dispersión de la muestra. Al ser multiplicada

por la cantidad de unidades determina la magnitud de los costos del trabajo de campo.

Los factores exógenos que afectan a la evaluación surgen de características particulares al

contexto en el cual se realiza la evaluación de impacto que afectan la eficiencia y duración

del trabajo de campo. En el contexto centroamericano, por ejemplo, la seguridad de las

rutas de transporte y de los equipos de recolección de datos es un factor importante que

afecta la movilidad de los equipos y por ende extiende la duración y costos del

levantamiento de datos. Igualmente, la calidad de la infraestructura, clima y ambiente

político del contexto de la evaluación son factores que pueden afectar la complejidad del

trabajo de campo y aumentar el presupuesto. Dado esto, se recomienda incluir dentro del

proceso de elaboración un análisis de factores contextuales que identifique eventos y

factores que puedan afectar los costos del trabajo de campo. Al subcontratar el trabajo

de campo, es importante discutir con la empresa encuestadora cuáles factores contextuales

ha considerado en su presupuesto. Esta discusión ayudará a evaluar su nivel de preparación

y experiencia para operar dentro del entorno local.

IV. Otras consideraciones y buenas prácticas

Esta sección presenta una lista de consideraciones adicionales y buenas prácticas que deben

evaluarse al definir el marco presupuestario de una evaluación experimental. Los

parámetros presentados no aplican a cada contexto de evaluación; al conformar un

presupuesto sólo se debe considerar los factores que apliquen.

1. Planificación: Desarrollar planilla de las tareas y etapas de la evaluación usando

Project, Excel o un software similar.

2. Implementación de la Evaluación: En casos cuando el evaluador también está

implementando la intervención, pueden haber ahorros de costos si se calibra el

proceso de implementación con los procesos de medición. Sólo se debería buscar

alinear estos procesos si no afecta a calidad de la medición o el comportamiento de

los sujetos de estudio.

3. Salarios: Coloque los salarios del personal de investigación en rubros diferentes de

los salarios del equipo de terreno.

4. Costos: Verificar costos con equipo de trabajo de campo y recolectar información

sobre los costos asociados con cada tarea.

5. Etapas: Divida el prepuesto por etapas. Esto ayudará con el cálculo de horas que

deben facturarse para el equipo de investigación, costear el trabajo de campo

ordenadamente y asignar viajes según las características de cada etapa.



24

a. Usualmente, las etapas incluidas en una evaluación son: diseño, línea base,

seguimiento y análisis final.

b. Si el trabajo de campo es subcontratado, es recomendable incluir en el

presupuesto una etapa especial de monitoreo durante los mayores

levantamientos (línea base y seguimiento).

6. Moneda: Redacte el presupuesto en dólares y en la moneda local. Si la tasa de

cambio no es estable, arme varios escenarios según potenciales tasas de cambio.

7. Escenarios: Arme varios escenarios presupuestarios variando parámetros claves

incluyendo: el número de etapas, el número de unidades sometidas a monitoreo,

personal de evaluación. Si el trabajo de campo es subcontratado, exija que la

encuestadora le entregue un mínimo de tres escenarios de presupuesto.

8. Imprevistos: Incluya entre 2-5% del prepuesto total como presupuesto para

imprevistos.

9. Aprobación: Enviar el presupuesto para su aprobación por las debidas autoridades.

V. Ejemplos

Ejemplos de distribución de costos en diferentes evaluaciones.

i. Evaluación de un programa de involucramiento parental en la educación de sus

hijos en Chile (Figura 1). Esta evaluación tiene una duración de 3 años. La muestra

consiste en 64 escuelas en Chile. Se recolectan datos en tres instancias: una línea de

base, una medición al final del segundo año y una encuesta final cuando se termine el

programa. Se utilizan varios instrumentos incluyendo una prueba de lenguaje, una

prueba de funciones ejecutivas, un cuestionario de involucramiento parental y un

cuestionario de hogar. Además se utilizan datos administrativos del Ministerio de

Educación de Chile. Todo el trabajo se está haciendo “in-house”.

ii. Evaluación de un programa de construcción de casas para personas viviendo en

asentamientos pobres en México (Figura 2). Esta evaluación tuvo una duración de

3 años. Se buscaba medir el impacto de la casa en salud, ingresos y bienestar familiar.

Este presupuesto contempla dos fases de una línea base al igual que una investigación

cualitativa. Ya que se estaba midiendo salud, se contrató enfermeras para ser parte del

equipo encuestador. Los instrumentos de medición incluían una encuesta ASQ (Ages

and Stages Questionnaire), balanzas y análisis de material fecal.



25

Figura 1. Evaluación de un programa de involucramiento parental en la educación de

sus hijos en Chile.

Figura 2. Evaluación de un Programa de construcción de casas para personas

viviendo en asentamientos pobres en México.

Figura 3. Evaluación en el área de educación en Honduras.



26

iii. Evaluación en el área de educación en Honduras (Figura 3). Esta evaluación

tiene una duración de aproximadamente 18 meses. La evaluación buscó medir el

impacto de un programa de educación sobre una muestra de 300 escuelas a nivel

nacional. El trabajo de campo consistió de dos levantamientos principales que

recolectaron pruebas educativas en la totalidad la muestra de evaluación y varios

levantamientos secundarios que monitorearon el progreso del programa. El

trabajo de campo pertinente a los levantamientos principales fue subcontratado,

el trabajo de campo de los levantamientos secundarios fue implementado por

equipos de trabajo de campo de J-PAL LAC. En este desglose, los costos

administrativos incluyen overheads y también impuestos.

VI. Analizando el presupuesto de una empresa encuestadora

Hay muchos factores que inciden sobre la decisión de contratar a una empresa

encuestadora. La expansión de la muestra de evaluación, la dificultad logística del trabajo

de campo, la dificultad de aplicar ciertos instrumentos y acudir a la muestra de estudio, y la

experiencia de las empresas encuestadoras son factores a considerar al momento de definir

si el trabajo de campo de una evaluación de impacto será subcontratada. En este contexto,

evaluar con precisión la relación de costo y valor entregado por las empresas

encuestadoras es clave. Esta sección se enfoca en evaluar la primera de estas

características: el costo asociado a subcontratar el levantamiento de datos para la

evaluación de impacto.

Los presupuestos presentados por empresas encuestadoras tienden a ser bastante generales

y son pocos los detalles en cuanto a supuestos y cálculos subyacentes (ver ejemplo a

continuación). En muchos casos, los presupuestos se entregan de esta manera debido a que

es muy difícil determinar precisamente los costos totales del levantamiento de datos en el

campo a gran escala. Aun así, es importante evaluar los presupuestos de la encuestadora

con el mayor escrutinio posible. A continuación se presentan cuatro prácticas que pueden

ayudar con este proceso.



27

i. Práctica Uno: Pedir un Listado Detallado de Supuestos

Es muy inusual que una empresa encuestadora provea los supuestos a base de cual

conformó el presupuesto de evaluación. Por ende, solicitar y revisar sus supuestos de fondo

es muy importante. Algunos supuestos clave que vale revisar son:

- ¿Cuál es la conformación del equipo?

- ¿De dónde vienen los cálculos de costos unitarios como costo de alquiler de

automóviles, seguros, costos de impresión y costos de materiales?

- ¿Cuáles son los imprevistos esperados, demoras y planes de contingencia para

situaciones adversas?

ii. Práctica Dos: Consultar el Costo Unitario

Las encuestadoras tienden a entregar presupuestos globales por los levantamientos de

campo, una pregunta clave que ayuda a desmantelar sus cálculos es: ¿Cuál es el costo

unitario (promedio) de llegar a cada observación en la muestra?1Entender los factores

que determinan los costos unitarios de un levantamiento puede revelar en efecto los

parámetros presupuestarios sobre los cuales se rige el presupuesto global. Es importante,

por ende, pedir en detalle el proceso por el cual se calcula el costo unitario. Tras obtener

esta figura, se recomienda indagar cómo el costo unitario varía entre diferentes

observaciones o grupos de observaciones. Con estas piezas de información, es posible

construir un estimado de costos para el trabajo de campo.

iii. Práctica Tres: Conformar Un Presupuesto Propio

La mejor manera de analizar el presupuesto de una empresa encuestadora es

rehaciendo los cálculos del levantamiento en un presupuesto propio. Este ejercicio es

relativamente sencillo de realizar conociendo los componentes que la encuestadora

considera determinante para los costos unitarios de la evaluación. Esta información permite

estructurar un presupuesto propio que puede entregar estimados base para los costos de

evaluación. Es importante establecer que el propósito de este ejercicio no es calcular cuánto

se ahorraría mediante un levantamiento propio, pero tener un número base con el cual se

pueden discutir los cálculos de la encuestadora y así evaluar con mayor profundidad sus

consideraciones presupuestarias.

1 Al solicitar el costo unitario es importante considerar la estructura de la muestra. Si la muestra está conformada a nivel

individual, la unidad relevante tiene a ser el hogar u individuo. Cuando la muestra está conformada a nivel de cluster, la

unidad relevante tiende a ser el cluster. Una excepción importante a estos lineamientos es una muestra que está

conformada a nivel individual pero los individuos están agrupados en cluster (eg. una muestra a nivel de hogar tomando

varios hogares de varias comunidades), en este caso el costo unitario relevante es el cluster.



28

iv. Práctica Cuatro: Solicitar un Presupuesto con un Mínimo de Tres Escenarios

Una manera muy efectiva de evaluar los presupuestos de las encuestadoras es ponerlas a

prueba al momento que se solicita el presupuesto. La mejor manera de hacer esto solicitar

que entreguen sus propuestas económicas con un mínimo de tres escenarios

presupuestarios. No es necesario especificar el contenido o diferencias entre escenarios. De

hecho es mejor dejar que las encuestadoras los realicen ellas mismas para poder observar

cuáles parámetros presupuestarios varían con el fin de generar opciones de costo. Observar

las opciones propuestas por las encuestadoras es otra manera de entender y cuestionar su

estructura de costos.



29

ANEXO

Insumos e Ítems Presupuestario Detallados

A continuación se presentan varios insumos específicos que corresponden a los uno de los

cinco ítems presupuestarios propuestos por la Sección 2 “Ítems Presupuestarios.”

1. Trabajo de Campo

Encuestas: Incluya todas las encuestas que la evaluación debe hacer, incluso encuestas que

se realicen antes del comienzo de la intervención o encuestas de seguimiento que se

realicen después de la evaluación. Esto incluye encuestas hechas durante pilotajes.

Recuerde también tomar en cuenta lo largo de la encuesta al momento de calcular tiempos.

Imprevistos: Al hacer un presupuesto, incluya días adicionales para imprevistos. Hemos

aprendido de la experiencia de J-PAL y de IPA que realizar las encuestas toma más tiempo

del que se planificó. Incluya alrededor de 10 días adicionales para los costos de

encuestadores. Similarmente, siempre se van a utilizar más encuestas que el tamaño de la

muestra, por lo que debe presupuestar imprimir 100 encuestas más por cualquier

imprevisto.

Costos de Traducción: Algunas veces los cuestionarios están en inglés y deben ser

traducidos al español. También incluya costos de traducción para documentos que deben

ser traducidos por un traductor certificado, como por ejemplo traducciones para el IRB.

Costos de Transporte: Si tiene que organizar transporte para los encuestadores o para

recoger encuestas, tome en cuenta que éstos pueden variar según distancia, modo de

transporte y temporada.

Costos de Comunicación: Incluya costos de comunicación del equipo durante el trabajo de

campo. Muchas veces, se tiene que comprar USB módems para conectarse al internet o

proveer saldo para los celulares.

Impresiones y Escaneo: Si su proyecto debe comprar o arrendar una impresora, scanner o

cualquier otro tipo de aparato (ejemplo, lector de código de barras), estos costos se incluyen

en la sección de costos generales.



30

Control de Calidad: Incluya todos los costos relacionados al control de calidad de los

dato: back-checks, spot checks, revisión de cuestionarios, etc. Esto normalmente ha

representado alrededor del 10% de los costos de encuestas, pero puede variar según el tipo

de encuesta y tamaño de la muestra.

Inflación y tipos de cambio: Al momento de presupuestar encuestas que serán realizadas

en más de seis meses después de hacer el presupuesto, debe tomar en cuenta costos de

inflación así como también posibles fluctuaciones en las tasas de cambio. Si la línea final

de tu encuesta es similar a la línea de base, los costos de la línea final deben reflejar

aumentos por la inflación.

Costos de Digitación: Aparte de los pagos a los digitadores, recuerde incluir gastos de

alquiler de salas y equipo para realizar la digitación.

Costos de Seguimiento: Incluya costos de seguimiento a los costos de las encuestas de

seguimiento y líneas finales ya que puede ser más difícil encontrar a los encuestados y es

posible que tenga que llamarlos, ir a otras comunidades, preguntar por ellos para

encontrarlos. Dependiendo del contexto y del tipo de información que tienes sobre los

encuestados, esto puede representar un 5 a 30% de los costos de la encuesta.

Tiempo para reportes y análisis: Muchas veces, se olvida incluir los tiempos invertidos

en preparación de reportes, análisis de datos, desarrollo de publicaciones y actividades de

difusión de resultados.

Costos de Seguridad: Para proyectos en países donde los índices de violencia son

mayores, es necesario agregar un 20% adicional al presupuesto para cubrir costos de

seguridad.

Monitoreo: Es necesario anticipar cualquier costo relacionado con el monitoreo del

tratamiento. Esto consiste en verificar que el tratamiento esté siendo implementado

correctamente en el grupo de tratamiento y que no esté siendo implementado en el grupo de

control. Es posible que esto requiera recolectar datos adicionales.

Materiales: Es posible que su proyecto necesite comprar equipo nuevo como sistemas de

GPS, kits médicos para tomar muestras, etc. Estos costos tienen que ir incluidos en el

presupuesto bajo costos generales y tome en cuenta que pueden tener costos adicionales,

como por ejemplo impuestos de aduana o de transporte si se traen del extranjero



31

Otros: Costos de capacitaciones para los encuestadores, compensación para los

encuestados si es que se les dará algo por su tiempo (ej. Giftcards), equipo para los

encuestadores (lapiceros, gorras, tabletas, etc).

2. Digitación:

La extensión de la encuesta: Adapte los costos de digitación al tiempo que toma digitar

toda una encuesta.

Bonos e Incentivos: Piense en el tipo de incentivos que tendrán los digitadores e incorpore

éstos al presupuesto.

Doble Digitación: Recuerde tomar en cuenta costos de hacer la doble digitación de datos.

Costos de software: Incluya costos asociados con desarrollar el software para la digitación

de datos o el costo de adquirir este software.

Revisión de errores: Incluya costos de revisar por errores en una sub-muestra de los datos.

Esto puede representar alrededor del 5% de los costos de digitación de datos.

3. Salarios Costos administrativos

Tiempo de analistas de investigación: Normalmente, el tiempo del equipo involucrado en

un proyecto es subestimado, por lo que debe recordar incluir tiempos de trabajo durante

todo el proceso de la evaluación, incluyendo tiempo antes y después de la intervención.

Recuerde también presupuestar por trabajadores temporales.

Otros: Para proyectos internacionales, tomar en cuenta gastos relacionados a visas y otros

trámites.



32

Este documento provee un rubro básico de estándares de calidad para el levantamiento de

datos en terreno de las evaluaciones de impacto. Los estándares presentados que deben

figurar dentro de los protocolos y planes de levantamiento de campo que levantarán datos

de terreno para una evaluación de impacto. En general, los estándares buscan promover: el

rigor y estandarización de procesos de medición, la protección de información confidencial

y derechos de la población de estudio, y la calidad, integridad, y validez de datos. Los

estándares estipulados pueden servir, no solamente para diseñar procesos de recolección y

digitación de datos, pero también para redactar términos de referencia y revisar propuestas

de encuestadoras y otros proveedores de servicios.

Confidencialidad: El levantamiento cuenta con protocolos estrictos de

confidencialidad que resguardan la información estudio, instrumentos de medición,

datos personales de los encuestados, y derechos de sujetos humanos del estudio. Se

recomienda incluir en el protocolo lineamientos que indiquen cómo manejar

consultas del estudio o la información levantada.

Muestreo: Existe un protocolo de muestreo que define claramente la muestra del

estudio al nivel(es) de medición relevante(s). El protocolo establece la tasa de

participación requerida por el estudio; se recomienda que las tasas de participación

se fijen entre 90-100% de la muestra de estudio. El protocolo de muestreo debería

incluir un plan de recuperación de muestra que se efectué en el caso de no llegar a

la tasa de participación especificada2.

Entrenamiento: El entrenamiento de los equipos de campo es competitivo, los

equipos de campo se eligen a través de varias pruebas prácticas y escritas.

Equipos: Se definen claramente la composición de los equipos de terreno; los

equipos de terreno incluyen aplicadores (encuestadores), supervisores, monitores; se

asignan responsabilidades específicas y competencias de cada cargo.

Pilotaje: El plan de terreno contempla realizar por lo menos un estudio piloto

previo al levantamiento de información. El pilotaje debe validar el contenido de los

instrumentos y protocolos de aplicación dentro del contexto local.

Monitoreo: El plan de terreno incluye un protocolo de monitoreo. El monitoreo

debe incluir actividades de re muestreo, acompañamiento, y revisión de documentos

2En el caso de que la muestra esté conformada a nivel individual (eg: hogar, persona) se debe especificar el número de revisitas a realizarse en el caso que el sujeto no se encuentre en la primer visita de aplicación.

Estándares de calidad en el levantamiento de datos



33

llenados. El protocolo debe establecer que se realizará cada tipo de monitoreo sobre

un mínimo de 10% de la muestra total. Es recomendable que el monitoreo se

extienda sobre el tiempo total de la medición. El protocolo de monitoreo debe

proveer un reglamento que especifique cómo corregir errores e inconsistencias.

Tasa de Error: Se establece que la tasa de error aceptable para los instrumentos de

datos levantados en terreno es 5%3.

Reportaje: Se establece un cronograma claro para la emisión de reportes de

resultados, progreso del trabajo de campo, y errores observados en terreno. Se

recomienda que los reportes de progreso y errores se exijan con una frecuencia

determinada (eg: semanalmente, bi semanalmente) por la duración del trabajo de

campo.

Digitación: La entrada de datos cuenta con doble digitación. La doble digitación es

el proceso por el cual los datos se ingresan dos veces por distintos operadores con el

fin de identificar y reconciliar errores. Adicional a la doble digitación, 10% de la

totalidad de instrumentos digitados deben ser sometidos a una re digitación

completa. Es decir, un monitor independiente debe re-digitar la totalidad de estos

instrumentos con el fin de detectar y corregir errores. La tasa de error acceptable

para digitaciones .01%4.

3La tasa de error de instrumentos de datos de terrenos (encuestas) se define como el número de campos que no fueron llenados del número de campo que debiesen haber sido llenados. Por ejemplo si a un encuestado le corresponden 10 preguntas pero el encuestador solo llena 9, la tasa de error es 10%. 4En los trabajos de digitación la tasa de error es el porcentaje de datos que no coinciden para la misma observación entre dos o más bases elaboradas por diferentes operadores. Por ejemplo, si de 10 preguntas solo coinciden 8 de las respuestas imputadas por dos operadores, la tasa de error es 20%.



34

Evaluar el impacto causal de un programa genera informes que pueden ser muy útiles para

los tomadores de decisiones. Esto no quiere decir que todo programa, componente o

intervención amerite una evaluación de impacto, particularmente porque éstas pueden tener

un costo relativamente elevado. Así mismo, se reconoce que no toda intervención debe ser

evaluada—hay varias alternativas que podrían generar evidencia importante para la mejor

gestión de un programa más allá de la evaluación de impacto. Por lo tanto, es importante

verificar que la intervención de interés cumpla con ciertas características que permitan

realizar sobre él un análisis prospectivo de impacto y que el plan de evaluación de impacto

sea factible y útil.

Este documento presenta algunas de las consideraciones que se deben tomar en cuenta al

realizar una evaluación de impacto y se basa en la experiencia de J-PAL y sus socios a lo

largo de la región en el diseño de sus proyectos.

Paso 1. Identificar si “vale la pena” evaluar una intervención.

Para evaluar el impacto de un programa de manera rigurosa, un programa o intervención

necesita cumplir con una serie de requisitos. J-PAL LAC trabaja de cerca con los

operadores de una intervención para verificar que el programa cumpla con estos requisitos.

Las siguientes preguntas ayudan a identificar si un programa está listo para ser evaluado:

¿Cuál sería el costo total de una evaluación experimental para el programa? ¿Son

proporcionales los costos relativos al tamaño, escala y presupuesto del programa o

intervención?

Con respecto al programa o intervención: ¿se encuentra maduro y estable en su

gestión?

¿Se pueden diseñar protocolos de evaluación que no incidan en el buen desempeño

del programa o de la intervención?

¿Qué tipo de preguntas importantes sobre el programa responderá la evaluación?

¿Cómo contribuirá esto al bienestar de los beneficiarios y la toma de decisiones de

los operadores de programa y de los hacedores de política pública?

¿Se podría replicar el programa a mayor escala en otros contextos?

Preguntas para el diagnóstico de evaluabilidad



35

Paso 2. Definir al equipo investigador.

Definir un buen equipo de investigación es fundamental para la ejecución de una

evaluación de impacto que resulte en una estimación rigurosa de un impacto causal. Este

equipo debe ser imparcial, de tal manera que no introduzca un sesgo en los estimadores de

impacto. A la vez el equipo debe asegurar un alto nivel de coordinación entre todos los

actores involucrados para permitir una evaluación rigurosa de acuerdo a los plazos

establecidos. Este equipo debe ser lo suficientemente creativo para poder definir el método

de identificación causal que mejor se ajusta a las características y contexto de la

intervención y que sea capaz de anticipar y sortear las amenazas a la ejecución y validez

interna de la evaluación.

Paso 3. Identificar las preguntas de evaluación que son relevantes.

J-PAL busca que sus evaluaciones se incorporen al proceso de diseño de políticas públicas.

Para lograr que esto suceda, se debe identificar ex ante cuales son las preguntas de política

pública más importantes que se podrían contestar con la evaluación. Entre las tareas del

equipo investigador se encontrará:

Identificar preguntas que puedan servir a los operadores de programa en la toma de

decisiones.

Circular estas preguntas entre todos los actores involucrados.

Con esta información en mano, se debe tener en mente que la evaluación se debe diseñar de

tal manera que permita:

Proveer información sobre las razones por las cuales el programa funciona o no

funciona, más allá de un simple análisis de impacto (es decir, los mecanismos a

través de los cuales la intervención funciona).

Compartir los resultados de la evaluación con todos los actores involucrados en la

intervención.

Educar a los tomadores de decisiones en otros contextos similares.

Paso 4. Definir el método de identificación causal.

El siguiente paso es definir el método de identificación causal. Identificar el impacto causal

de un programa requiere estimar el contrafactual rigurosamente. Bajo ciertas condiciones,

la evaluación experimental es el método más confiable para estimar el impacto causal de un

programa. Sin embargo, las reglas de operación de los programas deberían guiar la elección

del método de evaluación. Las siguientes preguntas pueden ayudar a definir el método de

identificación:



36

¿Cómo se seleccionan los beneficiarios? ¿Existen grupos prioritarios a la hora de

distribuir beneficios?

¿Hay consideraciones éticas que prohibirían impedir la entrega de algún beneficio

inmediatamente a ciertos grupos?

¿Con qué probabilidad se le podría entregar beneficios a personas en grupos de

comparación?

¿Cuáles son los costos y beneficios de utilizar una metodología en comparación con

las demás?

Si se puede aleatorizar:

o ¿A qué nivel se aleatorizará y por qué? ¿Cuál es el método de aleatorización

ideal?

Si no se puede aleatorizar:

o ¿Cuál es el método de identificación causal más apropiado dadas las reglas

de operación del programa?

¿Cuál es el tamaño de muestra necesario para detectar un impacto causal?

La elección del método de identificación causal es la pieza clave para una evaluación de

impacto. No obstante, no es el único insumo necesario. Una buena evaluación de impacto

incluirá una estimación del impacto del programa o intervención acompañada de un buen

levantamiento de datos y costos, una evaluación de procesos y un análisis de resultados que

especifique las recomendaciones de política pública.

Paso 5. Levantar datos de alta calidad.

Típicamente, el levantamiento de datos es el costo más alto de una evaluación de impacto.

Abaratar costos parte con establecer lineamientos claros con respecto a los diferentes

requisitos de un levantamiento de datos. Esto se define a partir de algunas de las siguientes

consideraciones:

Poner atención al levantamiento de datos en línea base.

Diseñar un plan de recolección de datos, que ligue el levantamiento con un

subsiguiente análisis de datos.

Desarrollar protocolos de levantamiento, digitación y seguridad de datos.

Asegurarse de que los protocolos se mantengan invariables a través del tiempo.

Validar la precisión de los datos.

Monitorear la calidad de los datos.

Entregar los datos con suficiente rapidez después de haber sido recolectados para su

análisis.



37

Paso 6: Estimar impacto causal del programa

Al analizar el impacto causal de un programa, es importante tener en cuenta que es óptimo

que el análisis se presente de manera transparente, sea consistente y comparable. Esto

asegura que sea de utilidad no solo para esta investigación sino para investigaciones

subsiguientes y cualquier evaluación que esté sucediendo o que haya sucedido. Para esto, se

debe asegurar que:

El equipo de investigación diseñe, levante y analice los datos de manera consistente.

Se realice un reporte de evaluación de impacto que señale, de manera transparente,

la metodología, los datos, así como los métodos de análisis y sus limitaciones.

Se publiquen los datos para que el análisis de los investigadores pueda ser replicado.

Se documente cualquier conflicto de interés.



38

Términos Importantes Análisis de regresión: Un método estadístico que determina la asociación entre las

variables dependientes y una o más variables independientes.

Asignación aleatoria: Un diseño de intervención en el cual los miembros de la población

elegible son asignados aleatoriamente bien sea al grupo de tratamiento o al de control (i.e.

asignación aleatoria). Es decir, el que alguien esté en el grupo de tratamiento o en el de

control es un asunto de azar exclusivamente y no una función de cualquiera de sus

características (observadas o no).

Cálculos de poder: El cálculo de la muestra requerida para la evaluación de impacto, el

cual depende de diversos factores, tales como el tamaño de efecto mínimo detectable o el

nivel de confianza requerido.

Contaminación (Spillover): Cuando los miembros del grupo de control se ven

afectados,ya sea por la intervención propia (ver efectos secundarios) o por otra intervención

que afecte el resultado esperado.

Contrafactual: Corresponde al valor que hubiera tenido la variable de resultado para los

individuos del grupo de tratamiento en el caso hipotético de no haber recibido el

tratamiento. El contrafactual no puede ser observado por lo que debe ser inferido de un

grupo de comparación o grupo de control.

Correspondencia, Pareamiento (o Matching): Un método empleado para crear grupos de

control, en los cuales los grupos o individuos son hechos corresponder a aquellos en el

grupo de tratamiento en base a las características que se consideran relevantes para el

resultado o resultados de la intervención.

Correspondencia de puntaje de propensión (Propensity Score Matching (PSM)): Un

diseño cuasi-experimental para calcular el impacto de una intervención. Los resultados del

grupo de tratamiento se comparan con aquellos para un grupo de control, en donde este

último se construye a lo largo de correspondencias establecidas sobre puntajes de

propensión. Los puntajes de propensión son la probabilidad de participar en la intervención,

tal y como son dados por una ecuación probit sobre características observadas. Dichas

características no deben verse afectadas por la intervención.

Desgaste o Atrición: Datos perdidos a causa del retiro de los participantes del grupo de

tratamiento durante la intervención, o a causa de la imposibilidad de recolectar información

de una unidad en rondas subsiguientes en un sondeo de información. Cualquiera de las

anteriores formas de desgaste puede resultar en estimaciones de impacto sesgadas.

Términos Importantes



39

Diferencia única: La comparación en el resultado para el grupo de control después de la

intervención con el valor de su línea de base (también conocido como "antes versus

después" ), o bien una comparación ex post en el resultado entre los grupos de tratamiento y

control.

Diseño de evaluación ex ante: Un diseño para una evaluación de impacto preparado antes

de que tenga lugar la intervención. Los diseños ex ante son más fuertes que los diseños ex

post por su capacidad para considerar la asignación aleatoria así como la recolección de

información de base tanto del grupo de tratamiento como del grupo de control. También

conocido como evaluación prospectiva.

Diseño de evaluación ex post: Un diseño de una evaluación de impacto preparado una vez

que la intervención haya comenzado y posiblemente haya sido completada. Salvo que haya

habido una asignación aleatoria, deberá emplearse un diseño cuasiexperimental o no

experimental.

Diseño de Regresión Discontinua: Un diseño de evaluación de impacto en el cual los

grupos de tratamiento y control se identifican como aquellos que se encuentran

inmediatamente por encima y por debajo de un umbral que determina la elegibilidad o

participación en el programa. Este umbral puede basarse en un puntaje o una característica

observada (por ejemplo edad o ingresos) o un índice compuesto construido para este fin.

Diferencia en Diferencias: Es el cambio observado en la variable de interés en el grupo de

tratamiento “menos” el cambio observado en el grupo de control. La doble diferenciación

permite evitar el sesgo de selección que resulta de diferencias entre el grupo de control y el

grupo tratado que se mantienen constantes.

Efecto promedio del tratamiento: El valor promedio del impacto sobre el conjunto de la

población estudiada, incluyendo tanto al grupo tratado como al grupo de control. Ver

también “efecto intención de tratar” y “efecto del tratamiento sobre los tratados”.

Efectos indirectos o externalidades: Cuando la intervención tiene un impacto (bien sea

positivo o negativo) sobre unidades que se encuentran fuera del grupo de tratamiento. Hacer

caso omiso de los efectos indirectos puede resultar en una estimación sesgada del impacto.

De existir estas externalidades, el grupo de beneficiarios es mayor que el de participantes.

Cuando los efectos indirectos afectan a miembros del grupo de control, nos hallamos en un

caso de “contaminación” o spillover.

Error de muestreo: Es el error que se produce cuando se emplean estimaciones a partir de

una muestra en lugar de información obtenida a partir de la población entera.

Factores de confusión (Confounding factors):variables que están asociadas tanto con la

asignación al tratamiento o al control como con el resultado de interés. Si el grupo de control

y el grupo de tratamiento son distintos en términos de una variable que afecta al resultado, el

efecto de esta variable se confundirá con el efecto del tratamiento (si no se controla por esta

variable mediante regresión estadística).



40

Grupo de comparación o control: grupo de individuos no participantes en un programa

respecto a los cuales se comparan los resultados del grupo participante (grupo de

trataminento), a fin de estimar el efecto del programa.

Grupo de tratamiento: El grupo de personas, compañías, instituciones, etc. que recibe la

intervención (participantes del programa o intervención).

Hipótesis: una proposición específica acerca de la relación entre dos variables. En una

evaluación de impacto, las hipótesis generalmente se plantean como una relación causal

entre la intervención y las distintas variables de resultado, afirmándose que la intervención

no tiene efecto (hipótesis nula) o si lo tiene (hipótesis alternativa).

Impacto: se define como la diferencia entre el valor de la variable de interés en presenciadel

programa y el valor que tendría esta variable si el programa no hubiera tenido lugar.

Indicadores: Métricas usadas para cuantificar o medir las dimensiones que un programa

busca afectar, así como la forma en que se implementa un programa.

Línea base: Levantamiento de información que se realiza antes de dar inicio a la

intervención. Los datos de línea base pueden servir para mejorar la precisión de la

estimación de impacto y deberían ser recolectados tanto en relación con el grupo de

tratamiento como con el de grupo control.

Nivel de aleatorización: El nivel (e.g. individual, hogar, escuela, aldea) en el cual se realiza

la asignación aleatoria a grupos de tratamiento y de control.

No observables: Características que no pueden ser observadas ni medidas. La presencia de

inobservables puede generar sesgo en la selección en diseños no experimentales si dichas

variables inobservables están correlacionadas con la participación en el programa y con la

variable resultado.

Efecto de Intención de tratar: Efecto promedio del tratamiento calculado sobre la

totalidad del grupo de tratamiento cuando algunos de los individuos asignados al

tratamiento no fueron tratados (no participaron en la intervención).

Teoría de cambio: Describe la forma en que la implementación de un programa se traduce

en resultados, por medio de una cadena de relaciones causales. Un enfoque basado en

teoría de cambio examina las presunciones que subyacen a las hipótesis de una evaluación

de impacto.

Muestra: Un subconjunto de la población estudiada. La muestra se obtiene al azar del

marco de muestreo. En una muestra aleatoria simple todos los elementos del marco tienen

una probabilidad igual de ser seleccionados, pero normalmente se emplean los diseños de

muestreo más complejos, los cuales requieren el uso de peso de las muestras en el análisis.



41

Prueba aleatoria controlada: Un diseño para la evaluación de impacto en el cual se

emplea la asignación aleatoria para adjudicar la intervención entre miembros de la

población elegible. Dado que no debería haber ninguna correlación entre las características

de los participantes y el resultado, y que las diferencias entre el resultado entre los grupos

de tratamiento y control pueden atribuirse enteramente a la intervención, es decir, que no

hay sesgo en la selección. Sin embargo, estas pruebas pueden estar sujetas a diferentes tipos

de sesgo y por tanto requieren de protocolos estrictos.

Sesgo de selección: Sesgo introducido en la estimación de un impacto debido a diferencias

en la composición promedio entre los grupos de tratamiento y control. Cuando ambos

grupos no son idénticos en promedio, parte de las diferencias en los resultados pueden

deberse a dichas diferencias preexistentes, no solo al tratamiento.

Tamaño de efecto mínimo: El tamaño mínimo de efecto que el investigador considera

necesario detectar en la evaluación de impacto. Debe ser definido con anterioridad a la

evaluación para desarrollar el cálculo de potencia, a fin de determinar el tamaño de muestra

requerido.

Tamaño del efecto: Magnitud de la asociación entre la variable de tratamiento (que toma

valores cero o uno) y la variable de resultado. Esta asociación se considera causal bajo

determinadas condiciones.

Efecto del tratamiento sobre los sujetos tratados: Estimación del impacto promedio del

tratamiento sobre la población tratada, es decir, sólo para aquellos que efectivamente fueron

objeto de la intervención.

Validez externa: Los resultados de una evaluación tienen validez externa si son

generalizables a otros contextos temporales o culturales.

Validez interna: Los resultados de una evaluación tienen validez interna si se puede

argumentar que la estimación del impacto es una estimación adecuada del efecto causal de

la intervención. Ello supone abordar amenzadas a la validez interna tales como el sesgo en

la selección, los efectos indirectos o la contaminación (spillovers).

Variable dependiente: Una variable que se cree que puede ser predicha por o causada por

una o más variables variables independientes. El término se utiliza comúnmente en el

análisis de regresión.

Variable independiente: Una variable que se cree causa cambios sobre la variable

dependiente. Usualmente se aplica en el análisis de regresión.

Basado en el glosario para la evaluación de impacto de 3ie.

3ie (2011), 3ie Glosario para la Evaluación de Impacto. Iniciativa Internacional para la Evaluación de

Impacto. Nueva Delhi, India.



42

Apuntes



43

Apuntes



44

Apuntes



45

Apuntes



46

Apuntes



47

Apuntes



48



49

Mapas

El curso se desarrollará en el Centro de Postgrados de la Universidad de Montevideo (UM). La dirección es: Puntas de Santiago 1564, (Carrasco).



50

curso avanzado de evaluaciones de impacto … · en esta clase se presentan y comparan los...

Documents