guÍa para la elaboraciÓn de un proyecto con el enfoque de desarrollo...

Guía para le Elaboración de un Proyecto con el Enfoque Sistémico (M4P/DSM) - Parte 1: Introducción y el Marco Estratégico 1

GUÍA PARA LA ELABORACIÓN DE UN PROYECTO CON EL ENFOQUE DE DESARROLLO DE SISTEMAS DE MERCADO

(M4P/DSM)

PARTE 5: EVALUAR EL CAMBIO - EL ESTÁNDAR CDDE

GUÍA PARA LA ELABORACIÓN DE UN PROYECTO

CON EL ENFOQUE DE DESARROLLO DE SISTEMAS DE MERCADO (M4P/DSM)

PARTE 5: EVALUAR EL CAMBIO - EL ESTÁNDAR CDDE

Elaborado por: Annick Vollmar

Revisado por:

Maja Rüegg y Yordana Valenzuela

Lima, Septiembre 2014 Guía para la elaboración de un Proyecto M4P

Parte 1: Introducción y el Marco Estratégico

Guía para le Elaboración de un Proyecto con el Enfoque de Desarrollo de Sistemas de Mercado (M4P/DSM) Parte 5: Evaluar el Cambio i

Guía para le Elaboración de un Proyecto con el Enfoque de Desarrollo de Sistemas de Mercado (M4P/DSM)

Parte 5: Evaluar el Cambio (aplicando el Estándar CDDE)

Contenido

ÍNDICE DE ILUSTRACIONES .......................................................................................................................................... I

ÍNDICE DE HERRAMIENTAS .......................................................................................................................................... I

GLOSARIO ................................................................................................................................................................... II

1. COMPONENTE 5: EVALUAR EL CAMBIO .............................................................................................................. 1

1.1 EL ESTÁNDAR CDDE PARA LA MEDICIÓN DE RESULTADOS (ESTÁNDAR CDDE) ...................................................................... 1

1.1.1 Los ocho elementos del sistema de medición de resultados ........................................................................ 1

1.2 LA CADENA DE RESULTADOS ........................................................................................................................................ 3

1.2.1 La Cadena de Resultados .............................................................................................................................. 5

1.3 DEFINIR INDICADORES CLAVE DE CAMBIO ....................................................................................................................... 7

1.3.1 Tabla de Indicadores .................................................................................................................................... 7

1.4 MEDIR CAMBIOS EN INDICADORES ................................................................................................................................ 8

1.4.1 El Plan de Medición ...................................................................................................................................... 9

1.4.2 Ficha Descriptiva de los Indicadores ........................................................................................................... 10

1.5 ESTIMAR CAMBIOS ATRIBUIBLES ................................................................................................................................. 11

1.6 AGREGACIÓN .......................................................................................................................................................... 13

1.7 MONITOREAR LOS COSTOS DEL PROGRAMA, REPORTAR RESULTADOS Y MANEJAR ES SISTEMA DE MONITOREO ......................... 14

Índice de Ilustraciones

Ilustración 1: Ejemplo de una Cadena de Resultados ................................................................................................ 6

Ilustración 2: Cambio atribuible .............................................................................................................................. 11

Ilustración 3: Selección de Método de Atribución .................................................................................................. 12

Ilustración 4: Manual del Sistema de Monitoreo .................................................................................................... 15

Ilustración 5: Guía de Intervención ......................................................................................................................... 15

Índice de Herramientas

Herramienta 1: La Cadena de Resultados .................................................................................................................. 5

Herramienta 2: Tabla de Indicadores ........................................................................................................................ 7

Herramienta 3: Plan de Medición .............................................................................................................................. 9

Herramienta 4: Ficha Descriptiva de los Indicadores .............................................................................................. 10

Herramienta 5: El Plan de Atribución ...................................................................................................................... 13

Guía para le Elaboración de un Proyecto con el Enfoque de Desarrollo de Sistemas de Mercado (M4P/DSM) Parte 5: Evaluar el Cambio ii

Glosario

CDDE Comité de Donantes para el Desarrollo Empresarial

CdR Cadenas de Resultados

DSM Desarrollo de Sistemas de Mercado

M4P Lograr que los Mercados Funcionen Para los Pobres (del inglés: Making Markets

Work for the Poor)

Guía para le Elaboración de un Proyecto con el Enfoque de Desarrollo de Sistemas de Mercado (M4P/DSM) Parte 5: Evaluar el Cambio 1

1. Componente 5: Evaluar el Cambio

Hay más y más presión de medir y reportar los resultados del desarrollo del sector privado (DSP) y en otros sectores.

Énfasis en marco lógicos y encuestas de línea de base no son suficiente para medir resultados, sobre todo cuando

proyectos/programas aspiran lograr impactos en un sistema de mercado. Los proyectos/programas que aplican un

enfoque sistémico (M4P/DSM) deben evaluar rigurosamente su impacto directo en los sistemas de mercado. El

Comité de Donantes para el Desarrollo Empresarial (CDDE) desarrolló un Estándar para la Medición de Resultados

(Estándar CDDE) (para más información, véase página web del CDDE) que es una metodología para el monitoreo y la

evaluación (M&E) de programas de desarrollo de mercados y que es promovida por diferentes donantes, entre ellos

COSUDE y DFID. Además de este Estándar, existen otras metodologías para la medición y evaluación. Pero esta guía

se apoya en el Estándar CDDE, porque éste fue desarrollado para proyectos / programas que quieren lograr un cambio

en un sistema.

1.1 El Estándar CDDE para la Medición de Resultados (Estándar CDDE)

El Estándar CDDE es útil para valorar la efectividad y eficiencia de la cooperación para el desarrollo de las

organizaciones sociales y empresas. El Estándar se basa sobre todo en la articulación de Cadenas de Resultados (CdR),

un modelo causal de impacto, y tiene los siguientes objetivos:

facilitar la medición y reportar resultados por parte de los programas;

llegar a una comprensión común sobre el nivel de precisión en estimaciones de resultados para que estos sean

confiables y útiles;

medir un pequeño número de “indicadores de impacto universales“ de una misma manera, para que las

organizaciones de desarrollo puedan agregar su impacto con base a los programas;

permitir que los programas usen la medición de resultados para la gestión cotidiana, particularmente para

validar las hipótesis sobre las que se fundamenta la lógica de estos.

1.1.1 Los ocho elementos del sistema de medición de resultados

El Estándar CDDE define ocho elementos de un sistema de medición de resultado exitoso:

Articulando Cadenas de Resultados: La CdR es una herramienta que muestra cómo actividades de programas influyen

en sistemas específicos, cómo cambios en este sistema afectarán a empresas, y como estos cambios en las empresas

finalmente reducen la pobreza y/o contribuyen a otras finalidades. Para establecer una base para la medición de

resultados, las CdR tienen que mostrar cómo un cambio en un nivel lleva a un cambio en el próximo nivel, con el

objetivo de tener impacto a la finalidad del programa. Esto requiere que el equipo del programa formula

explícitamente como las intervenciones llevan a cabo un efecto positivo del grupo meta en el transcurso del tiempo.

Al contrario del marco lógico, que es una herramienta importante para M&E, las CdR no son lineares y por eso

permiten ilustrar como intervenciones, efectos e impactos están vinculados vertical, horizontal y diagonalmente.

En resumen, la CdR es una herramienta que permite resumir en una gráfica:

la finalidad y objetivos del programa,

los vínculos entre las intervenciones del programa y los efectos esperados a la finalidad y objetivos y

la formulación de presunciones de cómo estos vínculos funcionan y llevan a cabo en la práctica.

Para garantizar un buen funcionamiento es necesario revisar las CdR regularmente para reflejar cambios en la

estrategia del programa, en actores externos y/o en las condiciones del programa.

Definir Indicadores Claves de Cambio: La definición de indicadores claves del cambio permite a programas especificar

los cambios esperados en una CdR con el objetivo de monitorear si los cambios esperados se den y en caso de sí, en

qué dimensión, y en caso de no se den, porqué no. Es importante que haya un indicador relevante por cada cambio

http://www.enterprise-development.org/page/measuring-and-reporting-results


descrito en la CdR. Además, se recomienda incluir los indicadores universales de impactos (que pueden ser los

siguientes, u otros formulados por el programa o donante) en todas las CdR relevantes y de tener indicadores

específicos que permiten evaluar la sostenibilidad de resultados:

Escala: Número de empresas meta que recibieron un beneficio financiero como resultado de las actividades del

programa, anual y acumuladamente. Es importante definir la «empresa meta», distinguir entre beneficiarios

directos e indirectos y desagregar por sexo.

Ingreso Neto Adicional: Ingreso neto adicional (ventas adicionales menos costos adicionales) acumulado para

las empresas meta como resultado del programa, por año. El programa tiene que explicar por qué los ingresos

tienen probabilidad de sostenerse en el tiempo. Si los beneficiarios no han producido el producto en cuestión

antes, hay que pensar en el costo de oportunidad: Ingreso neto del nuevo producto – ingreso neto del producto

substituido. Es importante de desagregar por beneficiarios directos e indirectos y sexo. Se puede medir a nivel

sectorial, no necesariamente a nivel de hogares.

Empleos Netos Adicionales: Empleos netos adicionales equivalentes a tiempo completo creados en empresas

meta como resultado del programa, por año y acumuladamente. «Adicional» significa empleos creados menos

empleos perdidos. Empleos creados puede ser tanto empleos nuevos como un incremento en el tiempo de

trabajo en los empleos existentes. «Por año» implica 240 días laborales (promedio global), pero puede ser

adaptado al contexto nacional. El programa debe explicar por qué estos trabajos tienen la probabilidad de ser

sostenibles. Es importante de considerar solamente empleo renumerado y desagregar por beneficiarios

directos e indirectos y sexo.

Medir Cambios en Indicadores: Medir cambios en indicadores permite a programas de medir progreso, reportar

éxito y mejorar áreas menos efectivos. Además, apoya a verificar la validez de la lógica de la CdR, y permite a

programas seleccionar la estrategia correcta para lograr los impactos esperados. Para medir cambios en indicadores

es necesario tener una línea de base que provee información por cada indicador tanto como información cualitativa

de cambios a diferentes niveles de la CdR.

Estimar Cambios Atribuibles: Atribución se refiere a la dimensión de un cambio que un programa puede invocar de

un cambio total que se realiza. Es importante estimar los cambios atribuibles en todos los indicadores clave, eso al

validar los diferentes niveles de cambio de la CdR. La CdR muestra el vínculo entre actividades del programa y los

cambios que se realizan debido a esas. Si no se mide el cambio de cada nivel, no es posible de mostrar el vínculo entre

actividades y el cambio que se realizó, porque también otros factores pueden llevar a este cambio.

Capturar Cambios más amplios en el Sistema o Mercado: Con un enfoque y un sistema de medición convencional,

programas aspiran a mejorar directamente las vidas del grupo meta, cuales efectos están limitados (beneficios para

recipientes directos solamente, muchas veces sin sostenibilidad) y frecuentemente pueden capturar beneficios

directos solamente, pero no medir cambios sistémicos. Al contrario, la búsqueda de cambios de sistemas (en el

sistema como mercados, gobiernos, sociedad civil) pueden tener un impacto más significativo a más gente con más

sostenibilidad. Es importante de reevaluar los resultados de cambios sistémicos en cada nivel clave de la CdR.

Programas tienen que considerar durante el diseño de la CdR en qué nivel y cómo esperan que se realizarán cambios

sistémicos y cómo contribuirán a lograr la finalidad. Es bien complicado capturar cambios sistémicos como ellos se

desarrollan despacio, involucran diferentes personas y empresas, y están relacionados a actitudes y normas sociales.


En esa guía, este elemento está incluido explícitamente en los elementos 1 (Articulación de la Cadena de Resultados),

y 2 (Definir Indicadores Clave de Cambios).

Monitorear los Costos del Programa: Casi todos los programas de desarrollo de mercados tienen un sistema de

gestión financiero y monitorean los costos de cara a controlar egresos y reportar a los donantes. Estos costos deben

ser monitoreado anual y cumulativo y vinculados a los resultados obtenidos para juzgar la eficiencia de cada

programa. Se recomiende de integrar el sistema de medición de resultados en un sistema existente para minimizar

costos adicionales.

Reportar Resultados: El Estándar CDDE requiere que todos los programas documentan claramente y bien descrito

sus resultados obtenidos por lo menos una vez por año. Es un aspecto crítico de la medición de resultados, porque

si los datos no están reportados adecuadamente, no se les puede usar. El CDDE recomienda hacer de la información

algo transparente y público, que tiene el potencial de mejorar el sector y mostrar los impactos del DSP, que a menudo

son impresionante. El Estándar requiere que todos los cambios en los indicadores claves reportados estén

desagregados por género y que otros programas financiados con recursos públicos o privados sean reconocidos.

Manejar el Sistema para Medición de Resultados: El programa necesita un sistema de medición de resultados bien

claro a través del cual se puede usar los datos realistas actuales en la gestión del programa, ajuste de estrategia toma

de decisión. Es necesario de integrar el sistema de medición de resultados consecuentemente en todos los aspectos

de la gestión de un programa, desde el diseño hasta el final. Además, el programa tiene que disponer de suficientes

recursos humanos y financieros para asegurar una buena implementación del sistema de medición de resultados.

El sistema de monitoreo no solamente tiene el objetivo de legitimización con donantes, socios, gobiernos e

instituciones, sino también sirve para la gestión diaria, si todos los colaboradores – incluyendo gerentes de proyectos

– están involucrados en la medición de resultados, y para aprender durante la implementación, es decir para evaluar

si los eventos se desarrollan según lo previsto o porque no.

1.2 La Cadena de Resultados

Se recomienda desarrollar cadenas de resultados a diferentes niveles: para el proyecto, el sector y las diferentes

intervenciones. En un primer paso se desarrolla una cadena de resultados del proyecto que permite recibir una vista

general del proyecto. En un segundo paso se desarrolla las cadenas de resultados por sector, las cuales son más

detalladas que la CdR del proyecto y permite la gestión del sector. En un tercer paso se desarrolla las cadenas de

resultados por intervención, las cuales son más detalladas y apoyan la gestión de las intervenciones. Es decir, por cada

intervención se desarrolla una cadena de resultados.

La cadena de resultado es una herramienta que muestra cómo un cambio en un nivel lleva a un cambio en el próximo

nivel, con el objetivo de tener impacto a la finalidad del programa. Las cadenas de resultados no son lineares sino

permiten ilustrar como intervenciones, efectos e impactos están vinculados vertical, horizontal y diagonal.


Pasos Metodológicos Propuestos: Elaborar la cadena de resultados con todo el equipo de proyecto/programa y también la con la participación de socios y otros actores. Adicionalmente, se recomienda de involucrar al donante. Desarrollar la cadena de resultados en base a un análisis profundo para justificar la posibilidad que los cambios esperados se van a realizar y serán sostenibles. 1. Desarrollar la CdR de abajo (intervención) hacia arriba (finalidad) o vice versa, dependiente de lo que

conviene más, tomando en cuenta el marco estratégico, el análisis profundo con las intervenciones definidas y modelos de negocio formulados. Poner todas las actividades apoyadas por el proyecto en el nivel inferior. Desarrollar una cadena de resultados lógica y no cronología. Evitar casillas sin salida. Usar frases activas (xx hace yy).

2. ¡Tomar en cuenta género y equidad social! Formular impactos esperados a mujeres y hombres explícitos. Considerar factores que pueden reducir o demorar impactos en mujeres/jóvenes (ej. actitudes, valores, normas, otros roles de mujeres/jóvenes, poder, etc.).

a) De abajo hacia arriba: (1) Anotar la(s) actividad(es) clave(s) del proyecto. Si es más que una actividad es necesario mostrar|

la relación entre ellos, al preguntar: ¿Lleva una actividad a otra actividad o llevan a cabo al mismo tiempo? ¿Apuntan las actividades al mismo actor o a diferentes actores? ¿Esas actividades tienen como objetivo de llevar a un cambio específico o a diferentes cambios. (2) Describir los cambios del sistema: el disparador del mercado y la respuesta del mercado. El disparador del mercado es un actor del cual se espera que pueda – con un apoyo puntual del proyecto – llevar a un cambio sistémico. Es decir, es un resultado inmediato de una intervención que va desencadenar el resto de los cambios. El disparador del mercado provoca una respuesta del mercado, es decir un actor que demanda los servicios, compra los insumos, aplica conocimientos o reglas / normas implementados.

(3) Describir los cambios a nivel de la granja (a nivel del grupo meta). b) De arriba hacia abajo: (1) Anotar la finalidad. (2) Añadir las actividades que son necesarios para disparar cambios. (3) Describir los cambios del sistema: el disparador del mercado y la respuesta del mercado. El disparador del mercado es un actor del cual se espera que pueda – con un apoyo puntual del proyecto – llevar a un cambio sistémico. Es decir, es un resultado inmediato de una intervención que va desencadenar el resto de los cambios. El disparador del mercado provoca una respuesta del mercado, es decir un actor que demanda los servicios, compra los insumos, aplica conocimientos o reglas / normas implementados. (4) Describir los cambios a nivel de la granja (a nivel del grupo meta) cambios a nivel de la granja 3. Identificar los vínculos horizontales, verticales y diagonales lógicos con la indicación de la dirección

durante el proceso y luego revisar y si necesario ajustar y agregar vínculos adicionales. 4. Identificar posibilidades de imitación y/o crowding-in (= incremento de actores) y añadir casillas

adicionales (en color diferente). 5. Revisar si cada cuerda/cadena de resultados muestra los cambios claves en un orden lógico y enuncia

cómo las intervenciones conducen a un impacto duradero. 6. Revisar si todas las cuerdas/cadenas de resultados son suficientemente detalladas y que no hay “vacíos”

en la lógica para que se pueda medir (cualitativo y/o cuantitativo) los cambios a todos los niveles claves.


1.2.1 La Cadena de Resultados

Reducción de pobreza

Intervención

Intervención

Cambio a nivel de hogar/granja

Disparador de

mercado

Disparador de

mercado

Respuesta de

mercado

Cambio a nivel del sector

Intervención

Respuesta de

mercado

Efecto Indirecto: Imitación

Otras granjas adoptan


Más crecimiento del sector

Efecto Indirecto: crowding-in

Otras granjas adoptan


Más crecimiento del sector

Otros actores asumen esta función

Grupo meta responde

Cadena de Resultados Crowding-in Imitación

Herramienta 1: La Cadena de Resultados


Asesoría a la empresa de semillas para la preparación de un módulo de capacitación

Vendedores minoristas de semillas capacitados sobre los beneficios y uso de semillas de calidad

Identificación de una empresa da semilla interesada en ofrecer capacitación a vendedores

Los campesinos obtienen información de vendedores minoristas capacitados sobre los beneficios uso de semillas de calidad

Los campesinos usan semillas de calidad adecuadamente durante el cultivo

Los vendedores minoristas de semillas que tienen más conocimientos sobre los beneficios y uso de semillas de calidad

comparten esta información con sus clientes campesinos

Aumento de rentabilidad

Aumento de ingresos

Aumento de rendimiento

Actividades

Disparador de Mercado

Respuesta del Mercado

Cambio a nivel del hogar/granja

Crecimiento del Sector

Reducción de Pobreza

Otros vendedores de semillas buscan capacitación sobre los beneficios y uso de semillas de calidad

Otros campesinos son influenciados por los campesinos beneficiados para usar semillas de calidad adecuadamente durante

el cultivo

Aumento de rentabilidad

Aumento de ingresos

Aumento de rendimiento

Ilustración 1: Ejemplo de una Cadena de Resultados simplificada1


1.3 Definir Indicadores Clave de Cambio

En un segundo paso, se identifica indicadores clave de cambio apropiados para cada casilla/paso en la cadena de

resultados para monitorear los resultados e impactos. Proyectos/programas que quieren cumplir el Estándar CDDE

tienen que identificar por lo menos un indicador por casilla. Para proyectos, los cuales no aspiran de seguir

exactamente el Estándar CDDE, se recomiende de identificar cambios claves e identificar indicadores. El propósito de

la definición de indicadores es por un lado medir si el cambio previsto está sucediendo, hasta qué punto y por qué /

por qué no y por otro lado para evaluar la sostenibilidad (rentabilidad, satisfacción, capacidad, actitud).

Pasos Metodológicos Propuestos: 1) Si el proyecto tiene el fin de cumplir con el Estándar CDDE, se numera las casillas de arriba hacia abajo.

Si el proyecto no aspira de seguir el Estándar CDDE exactamente, se identifica los cambios claves y se numera las casillas correspondientes de arriba hacia abajo).

2) Para cada casilla priorizada se identifica por lo menos un indicador relevante. Es necesario de disponer (por intervención) de los indicadores cualitativos y cuantitativos. Incluir en todas las cadenas de resultados los indicadores universales1. Si necesario, definir el indicador. Se puede utilizar indicadores proxy (con justificación), es decir no medir directamente un fenómeno, sino proporcionar una medida indirecta, substituta. Para identificar un indicador se puede usar estas preguntas de apoyo: ¿Qué evidencia nos indica que el cambio ha ocurrido? ¿Cómo podemos medir el cambio o apreciar el progreso? Si identificaron en casillas de imitación y crowding-in será necesario identificar indicadores para estas casillas adicionalmente.

3) Definir los indicadores. 4) Describir como se calcula el indicador. 5) Revisar si los indicadores seleccionados pueden dar la siguiente información:

- ¿Sí o no ocurren los cambios esperados? - ¿Hasta qué dimensión los cambios ocurren? - ¿Cómo y porqué los cambios ocurren? - ¿Qué tan sostenible están los cambios?

6) Revisar si los indicadores cumplen los criterios SMART (específicos, mensurable, realizables, pertinentes y sujetos a plazo).

7) Revisar si se toma en cuenta género y equidad social (incluye hombres/mujeres, edades sobre todo jóvenes, grupos vulnerables o excluidos): En cada nivel de la cadena de resultados objetivos de género y equidad social deberán ser incluidos.

8) Revisar si hay indicadores específicos que permiten la evaluación de la sostenibilidad de los resultados (rentabilidad para todos los actores, sostenibilidad de las fuentes de ingresos, satisfacción entre los actores de mercado de todos los niveles, capacidades para desarrollar nuevas funciones, actitudes de los actores).

1.3.1 Tabla de Indicadores

Herramienta 2: Tabla de Indicadores

No. Casilla Indicador Definición Cálculo

1 Si un indicador universal no tiene sentido para un proyecto/programa, se lo puede abandonar con una buena explicación. Además, si la organización implementadora o el donante tiene sus indicadores definidos, se los puede incluir.


1.4 Medir Cambios en Indicadores

Para medir cambios en indicadores es necesario tener una línea de base, metas/proyecciones y herramientas. Las

metas/proyecciones son estimaciones razonables de los resultados futuros, basado en conocimientos actuales sobre

el sistema. Es decir, un cambio de valor del indicador debido al programa en fechas específicas. Durante la etapa de

diseño, metas/proyecciones ayudan a decidir si la intervención vale la pena y pueden identificar vacíos en el

conocimiento del programa. En la etapa de implementación sirve como base para el monitoreo. La línea de base

provee información por cada indicador tanto como información cualitativa de cambios a diferentes niveles de la CdR.

Idealmente se levanta la primera línea de base antes de la intervención. Normalmente se requiere varias líneas de

base durante las intervenciones. Si la línea de base falta porque no se recolectó la información o porque no se

conocían a los beneficiarios al inicio de una intervención, se podría, entre otros, (i) usar información secundaria, (ii)

derivar una línea de base a partir de investigación retrospectiva, (iii) utilizar información de otras regiones con

demografía similar o utilizar registros de los socios. Para recoger la línea de base tanto como para medir los cambios

es necesario levantar información. Dependiente de la rigurosidad y disponibilidad de recursos se seleccionará las

herramientas de recolección de información y se determinará la frecuencia y responsabilidad.

Pasos Metodológicos Propuestos: 1) Línea de base: Determina la información sobre indicadores que está disponible de investigaciones y

análisis de mercado previos. Basada en esta información, calcular y registrar la línea de base para tantos indicadores como fuera posible. Identificar información que falta: Elaborar un plan para la colección de información adicional requerida para completar. Considerar las siguientes preguntas: - ¿Cuál indicadores se mide? ¿Qué tipo de data exactamente se requiere? - ¿Cuál es el presupuesto? - ¿Qué rigoroso/preciso será? Resultados necesitan ser fiable, bien documentado y convincente - ¿Qué métodos se usará? - ¿Quién hará? - ¿Qué tamaño de muestra es realista (considerando recursos financieros/ marco temporal)?

2) Meta/Proyecciones: Empezar desde la parte inferior de la Cadena de Resultados. y detalle los supuestos en cada paso. Se recomiende de ser conservador (sesgo de optimismo), tener suficiente información para hacer estimaciones razonadas y comprobar supuestos críticos con socios locales y/o actores de mercado. - Detallar los supuestos en cada paso por cada indicador. - Formular estimaciones razonables y realistas de los resultados futuros - Incluye una descripción del cálculo - Revisar si las proyecciones están basados en las estimaciones y resultados de investigaciones de mercados, observaciones u otras fuentes fiables - Ser conservador (sesgo de optimismo) y revisar si es realista de lograr las proyecciones dentro del marco temporal

3) Herramientas: Seleccionar herramientas de método cualitativo y/o cuantitativo de recolección de información o fuente de información para cada casilla/indicador, tomando en cuenta rigor, costos, recursos humanos y tiempo disponible para la recolección de información. Utilizar varias herramientas simples para la triangulación. Las ochos herramientas más usadas son: - Observación. - Fuentes secundarias (p.ej. información de monitoreo previa, análisis de mercado previo, estadísticas e informes del gobierno, etc.). - Registros empresariales / reportes de socios - Grupos focales. - Consultas a actores.


- Entrevistas a profundidad. - Encuestas realizadas por cuenta propia. - Encuestas tercerizadas. Ojo: Incluir mujeres, jóvenes como entrevistados de una manera que sus roles en el sistema de mercado están reflejado y recoger datos desagregados por género para la línea de base. Contratar a investigadoras femeninas/jóvenes, incluir pericia de género y planificar entrevistas en una forma y sitio que permite la participación de mujeres.

4) Determinar la frecuencia de medida y la responsabilidad. 5) Si hay indicadores complicados (p.ej. a nivel de impacto) es recomendable usar la ficha de descripción

de indicadores (véase tabla 1.4.2).

1.4.1 El Plan de Medición

Herramienta 3: Plan de Medición

No. Casilla Indicador Definición Línea de Base

Proyección / Meta

Herramientas Frecuencia Responsabilidad


1.4.2 Ficha Descriptiva de los Indicadores

Herramienta 4: Ficha Descriptiva de los Indicadores

Código/No.* Código del indicador en función del resultado u objetivo que mide.

Nombre del indicador* Enunciado del indicador.

Tipo de indicador Describe si es un indicador de actividad, producto, efecto o impacto.

Descripción y Definición*

Explicación de la información que el indicador solicita.

Cobertura Número de Municipios/áreas a los que el indicador hace referencia.

Ámbito de medición Describe en qué ámbito se aplica el indicador. A saber, familia, comunidad, municipio, mancomunidad o nacional.

Forma de cálculo En caso de indicadores que requieran de aplicación de una fórmula matemática, se incluirá la descripción de la fórmula a aplicar para su cálculo.

Sub indicadores Se refiere a productos intermedios relacionados al logro de los resultados que interesan al directorio con el propósito de evaluar avance del programa.

Unidad de medida Unidad con la que se mide y expresa el indicador.

Proyección / Meta del indicador*

Meta alcanzable por el indicador en el tiempo de ejecución del proyecto.

Proceso metodológico

Se describe los principales pasos de la metodología para el relevamiento de las variables de medición y procesamiento de la valoración del indicador. Si el indicador requiere mayor detalle, la explicación correspondiente se la realizará en el instrumento a utilizar.

Herramientas/Métodos* Fuente (herramientas/métodos) de la que se obtiene la información requerida por el indicador.

Responsable de levantamiento de información*

Persona encarada dentro de la estructura de levantar la información y rellenar la tabla correspondiente.

Responsable de análisis de los datos*

Persona encargada del análisis de la información contenida en cada uno de los indicadores para obtener en la medición del indicador.

Frecuencia* Frecuencia con la que se recoge la información requerida por el indicador (incluido en el plan de medición).

Fechas Momentos temporales concretos en los que el indicador será recogido

Tabla (código y tipo de instrumentos

Código de las tablas donde se recoge la información necesaria para medir el indicador. (Se describe el código y tipo de instrumento a utilizar para la etapa de relevamiento del indicador)

Observaciones Otros comentarios relevantes, acerca del indicador, no recogidos en la descripción anterior.

* Incluido en el plan de medición.


1.5 Estimar Cambios Atribuibles

Atribución se refiere a la dimensión de un cambio que un programa puede invocar de un cambio total que se realiza.

La atribución de un proyecto depende de la existencia de factores externos que influyen lo que se mide como

resultados, significa medir cuales son los factores externos que han contribuido al cambio (véase ilustración 2). En

general al nivel más bajo (Intervención) estos factores son más controlables y por eso más fácil de medir mientras

más arriba menos control hay sobre la propia intervención. Para atribuir de manera plausible los impactos de una

intervención es necesario medir la diferencia entre el crecimiento sin la intervención y el crecimiento con la

intervención y estimar la contribución de manera transparente, validar de manera transparente, demostrar de

manera rigurosa.

La Cadena de Resultados ayuda para superar retos de la atribución en establecer la atribución poco a poco porque no

solo mide los resultados al nivel de impacto sino ayuda de establecer la atribución para cada nivel de la cadena de

intervención. Eso significa de verificar si el cambio al nivel del disparador del mercado ha sido por la intervención, el

cambio al nivel de respuesta del mercado ha sido por el cambio al nivel del disparador del mercado etc. Ese sistema

ayuda también a determinar cuándo y en qué nivel el cambio no es atribuible a la intervención del proyecto. Los

cambios atribuibles en todos los indicadores clave de las cadenas de resultados son estimados utilizando métodos

que guardan conformidad con buenas prácticas establecidas:

Comparación Antes – Después (CAD): Comparación Antes – Después del grupo de tratamiento

Comparación Antes – Después con opinión (CADO): Comparación Antes – Después del grupo beneficiarios de

tratamiento

Análisis de Tendencias (AdT)

Diseño Cuasi-Experimental (DCE): Comparación Antes – Después con grupo de tratamiento y grupo de control

Grupo de Comparación (GC): Comparación Antes – Después con grupo de tratamiento (usuario / non-usuario

del servicio ofrecido)

Indicador de impacto

Comienzo de la intervención

Fin de la intervención

Crecimiento con la intervención

Tiempo

Crecimiento sin la intervención

Impacto

Ilustración 2: Cambio Atribuible


Pasos Metodológicos Propuestos: 1. Definir cómo se mide la atribución, utilizando la siguiente tabla: Qué información es necesario obtener para

responder a las siguientes preguntas, empezando en el nivel de disparador: ¿Este cambio a nivel del disparador ha sido por la intervención? / ¿Este cambio a nivel de la respuesta del mercado ha sido por el cambio al nivel del disparador? Etc.

2. ¿Qué factores externos influyen? 3. ¿Cuál es el método de atribución? Usar el diagrama de la ilustración 3 para determinar el método de

atribución

4. ¿Cuándo y cómo va a establecer la línea de base?

¿Otros factores pueden influenciar?

¿Están todos afectados por el proyecto?

¿Disponibilidad de recursos secundarios?

Sí

Sí

Sí

No

Sí

No

No

No ¿Se puede identificar grupo de

beneficiarios y grupo de control?

CAD(O)

GC

CAD(O)

AdT

DCE

CAD(O)= Comparación Antes-Después (con Opinión) GC = Grupo de Comparación

DCE = Diseño Cuasi-Experimental AdT = Análisis de Tendencia

Ilustración 3: Selección de Método de Atribución

Fuente: Hans Posthumus Consultancy


1.5.1.1 Plan de Atribución

Herramienta 5: El Plan de Atribución

Nivel Factores externos ¿Cuál es el método de atribución?

¿Cuándo y cómo elaborarán la línea de base?

¿Qué otros factores podrían influenciar cambios a nivel del disparador de mercado?

¿Qué otros factores podrían influenciar cambios a nivel de la respuesta de mercado por parte del grupo meta?

¿Qué otros factores podrían influenciar cambios a nivel rendimiento (hogar/granja) y del sector del grupo meta?

¿Qué otros factores podrían influenciar cambios a nivel de impacto del grupo meta?

¿Qué otros factores podrían influenciar cambios a nivel del socio/colaborador?

1.6 Agregación

Programas y proyectos tienen diferentes intervenciones, las cuales tienen diferentes resultados intermediarios

pero que al final llevan al mismo objetivo. A menudo, se requiere mostrar los impactos del proyecto en conjunto.

Para ser capaz de calcular esos números, se requiere indicadores universales. El Estándar CDDE recomienda que

todos los programas utilicen 3 indicadores universales (véase también capítulos 1.1.1 y 1.3) para que se pueda

agregar los resultados de impacto de diferentes intervenciones: escala, ingresos netos, empleos netos creados

(u otros indicadores universales definidos). En general, es necesario comunicar el impacto del proyecto en su

conjunto y no solamente los resultados intermedios. Muchas veces se junta números. Por ejemplo, un proyecto

apoya a la mejora de servicios básicos. El proyecto benefició a 1700 personas por las vías construidas, 2500 por la

electrificación rural y 2300 por agua y saneamiento. Se puede agregar 1700+2500+2300 = 6500? ¿O puede ser que

hay personas que beneficiaron de dos o tres intervenciones y por ende puede ser que el número total es más alto

que el número de población? Por eso se debe agregar números absolutos. Eso se hace a través de identificar y

definir las intersecciones con detalle. Medir el impacto de solo una intervención es más fácil, pero cuando hay

varias intervenciones que contribuyen a un impacto es más difícil de determinar su contribución individual al

impacto final.

Fuente: Hans Posthumus Consultancy


Es necesario de identificar el tipo de las intervenciones:

Intervenciones que se relacionan, pero sin grandes intersecciones. Se agrega todo

Intervenciones con una gran intervención determina principalmente la escala: Se toma la mayor

Intervenciones con intersecciones significativas: Se estima

En general, intersecciones tienen características: pueden ser del mismo sector; puede ser entre sectores, pueden

ser geográficas o pueden ser en el tiempo.

Pasos Metodológicos Propuestos:

Identificar y documentar intersecciones. Se identifica las intersecciones: entre las intervenciones de un mismo sector, entre sectores, geográficas, en el tiempo: - Las intervenciones se relacionan, pero sin grandes intersecciones : se agrega todo - Una gran intervención determina principalmente la escala : Se toma la mayor - Intersecciones significativas : Se estima

Indicar las hipótesis

Definir para cada intersección la manera de calcular los indicadores universales.

1.7 Monitorear los Costos del Programa, Reportar Resultados y Manejar es Sistema de Monitoreo

El Estándar CDDE exige que hay que informar sobre los costos anuales y acumulados del programa, los cambios

claves y los indicadores hay que medir al menos anualmente, quiere decir que al menos una vez por año habría

que hacer un informe incluyendo el tema de agregación. El Estándar requiere que todos los cambios en los

indicadores claves reportados están desagregados por género y que otros programas financiados por recursos

públicos o privados están reconocidos.

El programa necesita un sistema de la medición de resultados bien claro a través de lo cual se puede usar los

datos realistas actuales en la gestión del programa, ajuste de estrategia toma de decisión. Existen dos diferentes

tipos de documentos que se recomiende elaborar: (a) un manual del sistema de monitoreo (véase Ilustración 4) y

(b) una guía de intervención (véase Ilustración 5):

La Medición de Resultados tiene tres objetivos:

Legitimación: mostrar resultados con el fin de rendir cuentas a grupos de interés.

Aprendizaje durante la implementación: ¿Los eventos se desarrollan según lo previsto? ¿Sí? ¿No? ¿Por qué?

Gestión: Revisión si los cambios sistémicos se desarrollan según lo previsto y dependiente de esto

mejorar/ajustar la estrategia de implementación.

El Estándar CDDE exige que hay que informar sobre los costos anuales y acumulados del programa. Los cambios

claves y los indicadores hay que medir al menos anualmente, quiere decir que al menos una vez por año habría

que hacer un informe incluyendo el tema de agregación. El Estándar requiere que todos los cambios en los

indicadores claves reportados están desagregados por género y que otros programas financiados por recursos

públicos o privados están reconocidos.

El programa necesita un sistema de la medición de resultados bien claro a través de lo cual se puede usar los

datos realistas actuales en la gestión del programa, ajuste de estrategia toma de decisión. Existen dos diferentes


tipos de documentos que se recomiende elaborar: (a) un manual del sistema de monitoreo y (b) una guía de

intervención (gestionada por el/la responsable de la intervención).

Es importante que todos los colaboradores – incluyendo gerentes de proyectos – deberían estar involucrados en

la medición de resultados (y no solamente el equipo de M&E) para garantizar una buena gestión del proyecto. Por

eso, reuniones de revisión regulares (por ejemplo trimestrales) con todo el equipo del proyecto son necesarias.

Esas reuniones permiten de (a) identificar resultados/logros/retos los cuales deberían ser incluidos en la toma de

decisiones estratégicas y (b) hacer ajustes necesarios en la estrategia de implementación.

Pasos Metodológicos Propuestos: Hay diferentes posibilidades para la revisión y la gestión cotidiana. Se propone tres opciones en lo siguiente, de los cuales se podría seleccionar una de las opciones o una combinación de diferentes opciones. Opción 1: Discutir y documentar las resultados de intervenciones desde la última reunión estratégica (idealmente cada 3 meses) considerando los resultados y efectos determinados. Se puede basar la discusión en las siguientes preguntas clave: - ¿Qué hemos logrado hasta ahora? ¿Estamos todavía en el camino para lograr los objetivos de

intervenciones? En caso que no, ¿por qué y cómo se apeó? - ¿La estrategia de intervención todavía corresponde al análisis de mercado y al contexto del sistema de

mercado? En base de esta discusión se reevalúa la estrategia de intervención y se identifica posibles ajustes para cada una de ellas considerando la siguiente pregunta: - ¿Qué ajustes en la estrategia de intervención son necesarios? Si necesario se identifica preguntas clave para investigar durante los próximos meses y se hace ajustes en la cadena de resultados y el plan de monitoreo. Opción 2: Se puede revisar las Cadenas de Resultados regularmente para reflejar cambios en la estrategia del programa, en actores externos y/ó en las condiciones del programa: Usar diferentes colores para marcar cambios que ya han ocurrido en transcurso del proyecto (p.ej. de color verde), cambios que empezaron (p.ej. de color naranja) y cambios que todavía son atrasados (p.ej. de color rojo). Opción 3: Por cada intervención se puede considerar los siguientes elementos de un cambio sostenible con las preguntas correspondientes para identificar e progreso (escala y sostenibilidad) del proyecto: - Adoptar: ¿Mantiene el actor el cambio? ¿Hay propiedad por parte del actor? - Adaptar: ¿Han actores invertido en la innovación sin apoyo del proyecto? - Extender: ¿Han otros actores asumido nuevos papeles o se ha difundido la innovación? - Responder: ¿Han actores del mercado ajustado lo que están haciendo para captar la innovación?


1. Antecedentes 2. El sistema de monitoreo y evaluación

- Objetivo general del sistema - Objetivos específicos - El marco lógico y la cadena de resultados - Indicadores

3. Ámbitos de medición (contexto, resultados, impactos, gestión) 4. Formatos de reportaje / documentos

- Guía de intervención - Informes

5. Recolección de data y reportaje - Línea de base - Monitoreo - Hallazgos

6. Herramientas de recolección de data y uso 7. Agregación y Atribución 8. Roles y Responsabilidades 9. Cronograma de implementación 10. Anexos

Ilustración 4: Manual del Sistema de Monitoreo

1. Panorama general de las intervenciones 2. Estrategia general 3. Cadena de resultados 4. Plan de medición (incluyendo la estrategia de atribución) 5. Registros de medición 6. Cálculos de soporte 7. Apuntes de cambios/revisión

Ilustración 5: Guía de Intervención

guÍa para la elaboraciÓn de un proyecto con el enfoque de desarrollo...

Documents