evaluación, monitoreo y supervisión en procesos de capacitación
DESCRIPTION
Evaluación, Monitoreo y Supervisión en procesos de capacitación. Dr. Anibal Velásquez [email protected]. Plan de Clase 1. Duración 4 horas Objetivos Identificar las etapas de la evaluación de programas de capacitación. Elegir el modelo más apropiado para cada intervención. - PowerPoint PPT PresentationTRANSCRIPT
Evaluación, Monitoreo y Supervisión en procesos
de capacitaciónDr. Anibal Velásquez
Plan de Clase 1
• Duración 4 horas• Objetivos
– Identificar las etapas de la evaluación de programas de capacitación.
– Elegir el modelo más apropiado para cada intervención.– Identificar e interpretar una evaluación de impacto.– Identificar las diferencias entre monitoreo y supervisión.– Interpretar los resultados de la evaluación para la toma
de decisiones y la implementación de programas de capacitación.
Plan de Clase 2
• Contenidos– Conceptos básicos de evaluación.– Modelos de evaluación.– Evaluación, monitoreo y supervisión de
programas de capacitación.
Actividades de enseñanza-aprendizaje
• Sesión expositiva-participativa
• Taller– Debate grupal– Estudio de un caso
• Material: – Guía del taller
– Resúmen ejecutivo de la Experiencia del PCMI
– Informe final de la evaluación del Proyecto 2000
Pregunta
• ¿Cuál es el resultado esperado de un programa de capacitación?
• ¿Cuándo se podría decir que un gerente de un Programa de Capacitación ha tenido éxito?
• ¿Cuál debe ser el principal objetivo de un programa de capacitación?
De esto depende la evaluación
• Si su objetivo comienza con verbos que no representen un cambio, entonces... Solo está interesado en monitorizar.
• Si su respuesta comienza con verbos que indican cambio (reducir, ampliar, incrementar), Ud. Está interesado en conocer la efectividad del programa.
Esto quiere decir...
• Que la evaluación depende de los objetivos del Programa.
• Y muchas veces estos objetivos no son correctos.
• Y lo que se encuentra con más frecuencia son actividades.
OBJETIVOS DE ESTA PRESENTACION
• Comprender, valorar y aplicar los conceptos fundamentales asociados a la evaluación de programas de capacitación.
• Crear un marco de referencia (lenguaje común) en los participantes, para el uso e interpretación de los enfoques, métodos y técnicas que serán revisados en el taller.
¿QUÉ ES EVALUACIÓN?
• Un juicio sobre valor o mérito
• El uso de procedimientos científicos para investigar sistemáticamente la efectividad de programas de intervención (Rossi et al, Bertrand)
UN POCO DE HISTORIA• La evaluación, en su concepción moderna, es un
producto del siglo XX• El surgimiento de las Ciencias Sociales en las
universidades y el creciente apoyo a la investigación social le dieron un empuje decisivo a las actividades de investigación evaluativa
• El mayor auge vino después de la Segunda Guerra Mundial (incluyendo la creación de programas internacionales para planificación familiar, salud y nutrición)
• La Evaluación nace como disciplina a finales del los 60 y principios de los 70 (libro de Weiss)
¿QUÉ EVALUAMOS?
• Programas (eficiencia, efectividad)
• Personas (aprendizajes, desempeño)
• Instituciones
• Las anteriores constituyen tres grandes áreas de especialización en el campo de la evaluación
EVALUACION NO ES...• (solamente) medición
• (solamente) investigación
• (solamente) establecer logro de objetivos
• auditoría
• una actividad que se realiza cuando las cosas van mal
• una forma de castigo
• Programa: Esfuerzos organizados para responder a un problema social
• Proyecto:Un conjunto de actividades específicas, con objetivos específicos, que contribuyen al objetivo del programa o de una institución
Todos los programas o proyectos tienen (implícita o explícitamente):• Objetivos y resultados esperados• Población objetivo
• Mecanismo o sistema para entregar servicios (la intervención)
• Un marco conceptual que brinda justificación al programa (también llamado la hipótesis de desarrollo)
Procesos Productos ResultadosInsumos
Recursos:- Personal-Métodos - Equipo-Asistencia técnica-Instrumentos
Actividades:- Talleres-Pasantías-Análisis crítico de la práctica-Plan de mejora-Supervisión
Competencias-Cognitivas-Actitudinales-Conductuales
Mejor calidadMayor eficiencia
Mejor salud
Mayor equidad
A Nivel de Programa A Nivel de Población
Componentes de un Programa de Capacitación en salud
Conjunto de procedimientos y herramientas analíticas para examinar el desempeño de programas, y determinar si obtuvieron el efecto (impacto) para el que fueron diseñados
Importancia:• Identificar si algún componente del programa
necesita mejora• Contribuye a una eficiente asignación y
administración de recursos• Determinar si los objetivos del programa se han
alcanzado o no
Evaluación de Programas:
Necesidades de información para tomar decisiones
Al inicio de la gestión
Durante la gestión
Al finalizar la gestión
EvaluaciónSituacional
Basal
Evaluación deProcesos
Evaluación de Resultados
Al inicio de la gestión
Durante la gestión
Al finalizar la gestión
EvaluaciónSituacional
Basal
Evaluación deProcesos
Evaluación de Resultados
Análisis situacionalE. FactibilidadLínea de base
Monitoreo
Evaluación deImpacto
Tipos de evaluación
I. Monitoreo o seguimiento
II. Evaluación de impacto
I. Monitoreo o Seguimiento
• Objetivos:
- Brindar información acerca del funcionamiento del programa:
a) ¿Está progresando de acuerdo al plan?b) Identificar problemas para su correción
- Documentar cambios de elementos claves del programa en el tiempo
• Características:- Enfasis en los insumos, actividades y productos del programa- Principalmente estima indicadores, pero puede incluir métodos cualitativos
- No examina cuál es la causa del cambio en los indicadores (es decir, no examina el impacto del programa)
II. Evaluación de Impacto
• Objetivos:- Determinar el impacto neto del programa en el resultado a nivel de población (o en productos a nivel de programa)
- ¿Cuánto del cambio observado en el resultado es debido, o puede ser atribuido, al programa y no a otros factores?
• Características:- Enfasis en productos y resultados- Examina atribución
Evaluación de impacto
Preguntas que se hace un político, una agencia donante, o un gerente
sobre Programas Sociales • Hemos invertido millones de dólares en
capacitación, cuál ha sido el impacto de las intervenciones?
• Cuáles han sido los cambios en la sociedad? • En cuánto se ha contribuido a reducir los daños?• En cuánto se ha mejorado la salud o el bienestar
de las comunidades atendidas?• Cuáles son las estrategias más efectivas y
eficientes?
Preguntas que se hace un gerente, sobre
los Programas de Capacitación en Salud • El programa de apacitación que se brinda satisface la
demanda?• Cuál es la efectividad de los programas de capacitación? • Cuál es la eficiencia de los programas de capacitación?• Cuál es el impacto de la capacitación en los servicios de
salud?• Cuál es el impacto de la capacitación en la salud de la
población?• Cuáles son las estrategias o intervenciones más efectivas
y eficientes?
Toma de decisiones
• Las respuestas están asociadas a la toma de decisiones.
• Los que toman decisiones requieren juicios de valor con base en información válida, confiable y oportuna.
Inicio delprograma
Punto medio o final del programa
Tiempo
Resultado
La pregunta deevaluación:
¿Cuánto de este cambio esatribuible alprograma?
Evaluando el Impacto del Programa
Conprograma
Sin programa
Inicio delprograma
Punto medio o final del programaTiempo
Resultado
Impacto netodel programa
Evaluando el Impacto del Programa
• El problema de evaluación:El segundo término, el contrafáctico, no es conocido pues no podemos observar al mismo individuo expuesto y no expuesto al programa al mismo tiempo
Sin embargo, el segundo término puede ser estimado. Existen diferentes diseños de evaluación disponibles para evaluar el impacto del programa
Impacto del programa =Resultado conel programa -
Resultado que sehubiese obtenido si elprograma no se hubieseestablecido
Diseños de investigación para evaluar el impacto
• Diseño Experimental
• Diseño Observacional
Grupo 1(Tratamiento)
Población
Esquema básico para evaluar el impacto de programas
Grupo 2(Control)
PROGRAMA
Grupo 1(Tratamiento)
Grupo 2(Control)
Si “Asignación Aleatoria”: Grupo 1 = Grupo 2
Si Asignación no aleatoria: (datos de encuestas)
Grupo 1 Grupo 2
Grupo 1 Grupo 2Diferencia debida al programa
Group 1 Group 2 Diferencia debida al programa y a diferencias pre-existentes (observadas y no observadas)
Individuos son asignados aleatoriamente a un grupo de “Tratamiento” y a uno de “Control” antes del programa. Si es bien implementado:
Impacto = Promedio(“Tratamiento”) - Promedio(“Control”)
Pocas condiciones son necesarias:+ La asignación es aleatoria+ La “intensidad” del programa es homogénea+ Los individuos en el grupo de “Tratamiento” no cambian su comportamiento por participar en un experimento (no hay efecto Hawthorne)+ Los factores externos influyen ambos grupos por igual+ Los individuos permanecen en los grupos durante la duración del experimento (no hay atrición o ésta no es selectiva)
Diseño ExperimentalDiseño Experimental
Diseño Experimental (Cont.1)
• El diseño experimental clásico es el Gold Standard
• Ventajas: SimpleSi bien implementado y el tamaño de la muestra es suficientemente grande, la asignación aleatoria causa que los grupos sean equivalentes en cuanto a características observadas y no observadas. Es decir, en ausencia del programa, no habría diferencias en los resultados de los dos grupos.
Diseño Experimental (Cont.2)
Desventajas:
+ Difícil de implementar (factores prácticos, políticos y éticos)
+ Contaminación es posible
+ Efecto Hawthorne es posible
+ Deserción o atrición selectiva es posible
+ Programas son intervenciones complejas con muchos componentes
+ Generalización es dudosa (criterio de validez externa)
Diseño Observacional
• No hay asignación aleatoria de los individuos a grupos de tratamiento y control. Los propios individuos deciden si participan en el programa o no. Por tanto, diversos factores influyen el resultado obsevrado y no hay garantía que esos otros factores relevantes sean equivalentes entre el grupo expuesto y el grupo no expuesto al programa
• Es necesario usar técnicas estadísticas para estimar el efecto del programa controlando por el efecto de los otros factores. Una técnica para ello es el Análisis de Regresión
Diseño Observacional (Cont 1)
• El análisis de regresión examina la relación entre varias variables explicativas y la variable dependiente. Permite cuantificar la contribución de cada factor a la variable dependiente
• Importante: Se necesita definir cuales son los factores relevantes que influyen el resultado de interés y se necesitan datos sobre ellos
Con los estudios observacionales se estima el contrafáctico (qué hubiese ocurrido si no se realiza el programa) mediante modelos y técnicas de análisis de datos; y se hace mediante el control estadístico de las “otras” variables relevantes que pueden afectar el resultado de interés
Los enfoques más comunes se basan en modelos de regresión
Y, variable dependiente
X2
X1
X5
X4X3
Estas son las variables independientes, factores relevantes(incluyendo el programa) que pueden influenciar la variable de interés
En condiciones “naturales”, por ejemplo, por medio de una encuesta, podemos observar una variable de respuesta cuyo nivel puede ser el resultado de la influencia simultánea de muchos factores
El programa
EN UN MODELO DE REGRESION
• Y = f(X1,X2,…,Xn)Y, la variable de respuesta o variable dependiente, es una función de las variables independientes
• Una vez que el modelo es “ajustado” se puede juzgar la importancia relativa de cada variable independiente
• Nuestro foco de interés, se refiere por supuesto a la(s) variable(s) independiente(s) que identifican al programa
Si medimos los otros factores relevantes es posible “aislar” el efecto del programa entre los efectos de las otras variables independientes
VARIABLES CONFUSORAS
• En el contexto de una evaluación de impacto hablamos de variables confusoras cuando nos referimos a todos los otros factores relevantes, además del programa, que pueden influenciar el resultado de interés
• Dejan de ser confusoras cuando se miden e incorporan en el modelo de regresión
ES POR ESTO QUE...
• Un marco conceptual comprensivo (que incluya el programa y los potenciales factores confusores) es especialmente importante para la aplicación de los métodos de regresión en evaluación de impacto
Qué es el marco conceptual de un programa?
EL MARCO CONCEPTUAL
El marco conceptual o “de investigacion” es un diagrama que identifica e ilustra las relaciones entre factores sistémicos, organizacionales, individuales y otros elementos relevantes que pueden influenciar la operación de un programa o proyecto y el logro exitoso de sus metas y objetivos
El marco conceptual tiene base en...
La Teoría del Programa.
Es el conjunto de supuestos sobre la forma en que el programa (o proyecto) provoca los beneficios que se espera que produzca, incluyendo las estrategias y tácticas que ha adoptado para lograr sus metas y objetivos.
LA TEORÍA DEL PROGRAMA ...
• A veces no es explícita, no ha sido formalmente articulada o establecida.
• Evaluación de caja negra: cuando se realiza la evaluación sin haber articulado formalmente la teoría del programa
• Nuestra recomendación: no hacer evaluación de caja negra
EN LA TEORÍA DEL PROGRAMA DEFINIMOS...
• Hipótesis de acción: son las que ligan o conectan causalmente la teoría del proceso (están bajo el control directo del programa)
• Hipótesis conceptuales: son las que ligan o conectan causalmente la teoría del impacto (no están bajo el control del programa)
Vinculando el Programa de capacitación a Resultados de Salud …………………….Características
del Individuo y del Hogar
Características de comunidad Uso de
Servicios
Práctica de salud
Resultadode Salud
Programade
capacitación
Gobierno, ONGs, otros donantes, privadoOtras capacitaciones
oferta de servicios de salud
Vinculando Insumos del Programa a Resultados de Salud (fuentes de datos)Características del Individuo y del Hogar
oferta de servicios de salud
Uso de Servicios
Práctica de salud Healthy
Outcome
Programa capacitación
Gobierno, ONGs, otros donantes, privado
Encuesta de hogares(ENDESA,ESR,ENV)
Enc. Establecimientos (desempeño)Enc. Comunidades
Características de comunidad
comunidad
hogar
individuo
ClínicasBasado enla comunidad
Oferta deServicios deSalud
OtrasCaracterísticasde la Comunidad
Niveles de Factores que influyen Comportamientos y Resultados de Salud
Encuesta de Hogares
Enc. de Establecimientos
Encuesta de ComunidadesFuentes de Datos
Oferta deServicios deSalud
OtrasCaracterísticasde la Comunidad
ClínicasBasado enla comunidad
Importante: Las encuestas deben estar “vinculadas”
BIBLIOGRAFIA
Bertrand, J.T. et al. (1996). Evaluación de Programas de Planificación Familiar. The Evaluation Project, USAID
Mohr, L. (1995). Impact Analysis for Program Evaluation. Sage Publications
Rossi, P.H.; Freeman, H.E. & Lipsey, M.W. (1999). Evaluation: A Systematic Approach. Sage Publications