evaluaciones de impacto en la prÁctica · evaluaciones de impacto en la prÁctica ejemplos en el...
Post on 01-Feb-2020
23 Views
Preview:
TRANSCRIPT
EVALUACIONES DE IMPACTO EN LA PRÁCTICAEjemplos en el sector de agua y saneamiento
Germán SturzeneggerDivisión de Agua y SaneamientoBanco Interamericano de Desarrollo
EL EVALUADOR VS. EL POLÍTICO
PREGUNTAS EVALUADOR POLÍTICO
¿QUÉ MEDIMOS?Lo que aporte mejores insumos
para el diseño de políticas El impacto en salud
¿CUÁNTO TARDA LA EVALUACIÓN?
Depende de los resultados que quieras medir
Menos de lo que dure mi mandato
¿QUÉ TIPO DE DISEÑO USAMOS?
El metodológicamente + sólido El que me dé mejor
¿CUANTO CUESTA?Depende del diseño y lo que
quieras medirNo importa. Lo pagas tú
no?
DEFINIR QUÉ SE QUIERE EVALUAR (teoría del cambio)
Outcomes de interés
Tipo de intervención: no es sólo evaluar ladrillos
DEFINIR CÓMO EVALUARLO:
Método: experimental o cuasi-experimental (viable log/fin/etic/pol)
Grupo de tratamiento y control
Tipo de datos: primarios / secundarios (administrativos)
DEFINIR QUÉ NECESITAMOS PARA EVALUAR
¿QUÉ DEFINICIONES HACEN A TODA EVALUACIÓN?
EQUIPO: FINANCIADOR + GOBIERNO + EXTERNO
DISEÑO: QUÉ – CÓMO – CUÁNDO?
INSTRUMENTOS
RECURSOS: CUÁNTO CUESTA EVALUAR?
ESTRATEGIA DE SEGUIMIENTO (EVITAR ATTRITION)
EVALUACIÓN DE PROCESOS: el efecto depende de la calidad de la ejecución
ESTRATEGIA DE DISEMINACIÓN/RETROALIMENTACIÓN
¿QUÉ NECESITAMOS PARA EVALUAR?
NO EVALUAR POR EL PAPER ACADÉMICO (retroalimentación)
BUSCAR OPORTUNIDADES DE POLÍTICA / PRIORIZAR
SUPERAR PRECONCEPTOS
Éticos: aleatorización (limitación presupuestaria)
No aceptación / spillovers (se pueden controlar desde el diseño)
TRANSPARENTAR IMPLICANCIAS OPERATIVAS
Conoce tus reglas de operación
INSERTAR EL MARCO DE EVALUACIÓN DESDE EL DISEÑO
¿QUÉ CONSIDERACIONES HACEN A TODA EVALUACIÓN?
El efecto del hardware (obra)
Salud – Uso del Tiempo – Ingresos – Bienestar
Cobertura efectiva
El efecto del software (informac., capacitac., educac., incentivos)
Salud – Uso del Tiempo – Ingresos – Bienestar
Awarness y/o cambio de comportamiento
Cobertura efectiva
Conectividad a redes
Modelos de gestión (cent./desc. – particip./no particip. – púb./priv.)
EFECTO DIRECTO VS. INDIRECTO (SPILLOVERS)
¿QUÉ PODEMOS EVALUAR EN EL SECTOR?
EN EJECUCIÓN
PARAGUAY (PR-L1022) → Rural – Experimental
BOLIVIA (BO-L1065) → Rural – Experimental
BOLIVIA (BO-L1034) → Periurbana – Experimental + Cuasi
EN DISEÑO
HAITÍ → Rural – Experimental
AGENDA DE EVALUACIÓN
BOLIVIA: PROCESO DE ALEATORIZACIÓN PÚBLICO
400 comunidades - 4 años de ejecución (obras)
PARAGUAY: CRONOGRAMA PROYECTO & EVALUACIÓN
EVALUAC
AÑO 1 AÑO 2 AÑO 3 AÑO 4
CONSTRUCCIÓN 100 COMUNIDADES
AÑO 1
PROYECTO
SELECCIÓN ALEATORIA DE 100
COMUNIDADESAÑO S 2 (T) Y 4 (C)
LEVANTAM. LINEA DE BASE
COMUNIDADES AÑOS 2 (100) Y
4 (100)
CONSTRUCCIÓN 100 COMUNIDADES
AÑO 2
SELECCIÓN ALEATORIA DE 200 COMUNIDADES (2-4) Y SELECCIÓN NO ALEATORIA DE 200
COMUNIDADES(1-3)
CONSTRUCCIÓN 100 COMUNIDADES
AÑO 3
CONSTRUCCIÓN 100 COMUNIDADES
AÑO 4
LEVANTAM. DE ENCUESTA DE
SEGUIMIENTO EN COMUNIDADES AÑOS 2
(100) Y 4 (100)
DESAFÍOS → “blindar” el grupo de control (100 comunidades año 4)
→ ejecución paralela del treatment (paquetes de obra)
AÑO 0MAPEO DE DEMANDA
(400 COMUN.)
SANTA CRUZ: PLAN 3000
FRONTERA COMPARABLE
SANTA CRUZ: 20.600 hogares
SANTA CRUZ: PLAN 3000
Objetivo: impacto de diferentes estrategias de saneamiento en nivel
de cobertura, uso de las soluciones de saneamiento y salud
Metodología: Experimental
Randomized phased implementation (450 comunidades)
150 T1: Agua + Saneamiento (Promoción + Subsidio Parcial) + Higiene
150 T2: Agua + Saneamiento (Promoción ) + Higiene
150 T3: Agua + Higiene
HAITI: MARCO DE EVALUACIÓN
HAITÍ: DISEÑO METODOLÓGICO
T2
T3
T1
T2
T3
T1
T2
T3
T1
T2
T3
n=25
n=25
n=25
n=50
n=50
n=50
n=25
n=25
n=50
n=50
n=50
n=25
Baseline Year 1 Year 2 Year 3 Year 4
Pure Control
Pure Control
Pure Control
Pure Control
Pure Control Pure Control
BASELINE FOLLOW UP FOLLOW UP FOLLOW UP ENDLINE
T1
top related