manual de evaluación - adg cultivons le...
TRANSCRIPT
Oficina de Evaluación
Manual de evaluaciónMETODOLOGÍA Y PROCEDIMIENTOS
Abril de 2009
Abreviaturas y siglas 03
Prólogo 05
1. Antecedentes 07
2. Conceptos metodológicos básicos 11
A. Criterios de evaluación 11
B. Evaluación del impacto 14
C. Sistema de calificación 16
D. Agregación 17
E. El “porqué” 18
F. Variabilidad entre distintos evaluadores 18
G. Serie de evidencias 18
H. Atribución y escenarios contrafácticos 18
I. Evaluación y análisis retrospectivo 19
J. Responsabilización respecto al aprendizaje 20
K. Técnicas e instrumentos 20
L. Establecimiento de bases de referencia 25
M. Evaluaciones conjuntas 26
N. Transparencia 26
3. Metodología para la evaluación de proyectos 27
A. Procedimientos más importantes 27
B. Informes de evaluación de proyectos: contenido, definiciones y ejemplos 36
4. Metodología para la evaluación de programas en los países 52
A. Fases clave del proceso de evaluación del programa en el país 55
B. Informes de las evaluaciones de los programas en los países:contenido, definiciones y ejemplos 59
Apéndice: Fragmentos extraídos de los debates del Comité de Evaluación acerca del Apéndice: Manual de evaluación de la OE 71
Anexos
1. Bibliografía 72
2. Referencias complementarias sobre técnicas de recopilación de datos 74
3. Lista de buenas prácticas: ejemplos de entregas clave de evaluación 75
4. Modelo de informe preparatorio del proyecto 76
5. Protocolo de la Oficina de Evaluación para las comunicaciones internas y externasen las diferentes etapas del proceso de evaluación 80
6. Conflictos de interés de los consultores y ampliación de la reserva de especialistasde evaluación 86
7. Modelo de acuerdo en el punto de culminación 89
8. Lista de las políticas y estrategias subsectoriales pertinentes del FIDA 90
9. Directrices sobre buenas prácticas para la organización de talleres 91
Índice
APC acuerdo en el punto de culminación
ARRI informe anual sobre los resultados y el impacto de las actividades del FIDA
CAD Comité de Asistencia para el Desarrollo de la OCDE
CCA consorcio central de aprendizaje
COSOP Programa sobre oportunidades estratégicas nacionales
DELP documento de estrategia de lucha contra la pobreza
EPP evaluación del programa en el país
GPP gerente del programa en el país
IFI institución financiera internacional
IFP informe final del proyecto
IFPRI Instituto Internacional de Investigación sobre Políticas Alimentarias
OCDE Organización de Cooperación y Desarrollo Económicos
OE Oficina de Evaluación
OMS Organización Mundial de la Salud
ONG organización no gubernamental
PIB producto interno bruto
PMD Departamento de Administración de Programas
(Programme Management Department)PNUD Programa de las Naciones Unidas para el Desarrollo
SyE seguimiento y evaluación
Abreviaturas y siglas
03
Manual de evaluaciónMetodología y Procedimientos
04
En el presente manual se expone la metodología básica que la Oficina de Evaluación(OE) aplica al realizar sus evaluaciones, que comprenden, entre otras, evaluacionesde proyectos, temáticas, de programas en los países y a nivel institucional. Tambiénse presentan los procedimientos más importantes para el diseño y la realización deevaluaciones de proyectos y programas en los países, que actualmente son los tiposde evaluación que la OE realiza con mayor frecuencia.
El manual se basa en las buenas prácticas internacionales en esta esfera seguidaspor el Grupo de Cooperación en materia de Evaluación de los bancos multilateralesde desarrollo, la Red de Evaluación del Comité de Ayuda al Desarrollo de laOrganización de Cooperación y Desarrollo Económicos y el Grupo de las NacionesUnidas sobre Evaluación. También se han tenido en cuenta las últimas novedadesque se han producido en la coyuntura externa, como el aumento de la atenciónprestada a las evaluaciones conjuntas entre organismos de desarrollo, la importanciade utilizar los recursos de evaluación nacionales y la aplicación de la Declaración deParís sobre la Eficacia de la Ayuda y del Programa de Acción de Accra, así como losrecientes cambios introducidos en el FIDA, especialmente los derivados del Plan deacción del FIDA para mejorar su eficacia en términos de desarrollo. El manual tieneel objetivo fundamental de garantizar la coherencia, el rigor y la transparencia de lasdistintas evaluaciones independientes y, en último término, mejorar la eficacia y lacalidad del trabajo de la OE.
Los destinatarios principales del manual son el personal y los consultores de la OEque secundan a la Oficina en la realización de las evaluaciones previstas en suprograma de trabajo anual. Ahora bien, el documento también es útil para los colegasque trabajan en el Departamento de Administración de Programas del FIDA y para losasociados nacionales que participan en las evaluaciones de la OE, ya que explica conclaridad el enfoque global que ésta aplica a las evaluaciones independientes y lasfunciones y responsabilidades de los distintos participantes durante el proceso.
El documento se ha elaborado de manera participativa, mediante amplios y variadosdebates entre el personal de la OE y algunos consultores experimentados que hancolaborado en el pasado con la OE en la realización de evaluaciones. Además, sehan celebrado varias rondas de conversaciones con el personal y la dirección delFIDA. Durante la elaboración del manual también se recabó información entre losdirectores de determinados proyectos respaldados por el FIDA en todas las regiones.
La OE ha sacado partido de las reveladoras observaciones e indicaciones de ungrupo de expertos internacionales integrado por siete asesores superioresindependientes: el profesor Robert Picciotto (ex Director General del Grupo deEvaluación Independiente del Banco Mundial) en calidad de presidente;la Sra. Cheryl Gray (Directora del Grupo de Evaluación Independiente del BancoMundial); el Sr. Shiva Kumar (profesor invitado en la Indian School of Business,en Hyderabad); el Sr. Hans Lundgren (Jefe de la Sección de Evaluación de laOrganización de Cooperación y Desarrollo Económicos); la Sra. Saraswathi Menon(Directora de la Oficina de Evaluación del Programa de las Naciones Unidas para
Prólogo
05
el Desarrollo y Presidenta del Grupo de las Naciones Unidas sobre Evaluación); laSra. Zenda Ofir (especialista en evaluación, Sudáfrica), y el Sr. Rob D. van den Berg(Director de Evaluación del Fondo para el Medio Ambiente Mundial). Por último, perono por ello menos importante, el manual también se examinó, antes de ultimarlo,en un seminario oficioso del Comité de Evaluación de la Junta Ejecutiva del FIDA.
El manual, redactado en inglés, se ha traducido al árabe, el francés y el españolpara que pueda utilizarse en todas las regiones geográficas en las que el FIDA llevaa cabo sus operaciones, y está disponible en formato electrónico en los cuatroidiomas en la sección de evaluación de la página web institucional del Fondo.
Luciano LavizzariDirector de la Oficina de Evaluación
06
La agricultura y la ayuda en el programamundial de desarrollo. Tras varios decenios
de inversiones insuficientes y decrecientes de
los gobiernos, el sector privado y los organismos
de desarrollo en el sector agrícola, cada vez se
reconoce más ampliamente que la agricultura
es fundamental para el desarrollo. En elInforme sobre el desarrollo mundial 2008:Agricultura para el desarrollo del Banco
Mundial se destaca el papel de la agricultura
como motor del crecimiento de la economía
en general, medio de vida de la mayoría de las
personas que viven con menos de 1 dólar al
día y proveedora de servicios medioambien-
tales. En ese informe se estima que el creci-
miento del producto interno bruto (PIB) en la
agricultura es cuando menos el doble de eficaz
para reducir la pobreza extrema que el creci-
miento del PIB generado en otros sectores.
Sin embargo, a pesar de este acuerdo general
acerca de la importancia de la agricultura para
el crecimiento y la reducción de la pobreza,
el apoyo que se presta al sector sigue siendo
sumamente escaso, y el proteccionismo
obstaculiza el crecimiento y la innovación
agrícolas. La insuficiencia de las inversiones
públicas se ha visto agravada por la evolución
de la asistencia oficial para el desarrollo
destinada a la agricultura, que disminuyó de
USD 8 000 millones en 1984 a alrededor de
USD 3 000 millones en 2006. Tampoco está
claro que las nuevas fuentes de financiación
de la ayuda que han surgido (fundaciones
privadas, grandes países de ingresos medios,
etc.) sirvan para corregir ese desequilibrio.
La función del FIDA. En vista de lo que ante-
cede, la misión del FIDA es más pertinente que
nunca. El Fondo funciona como institución
1. Naciones Unidas (2006):The Millennium DevelopmentGoals Report 2006 (Informede 2006 sobre los objetivosde desarrollo del Milenio).
2. IFPRI (2007): “Focus on theWorld’s Poorest and HungryPeople” (Atención prioritaria alas personas más pobres delmundo y a quienes padecenhambre).
3. Ravaillon M. et al. (2007):New Evidence on theUrbanisation of GlobalPoverty (Nuevas pruebassobre la urbanización de lapobreza mundial), Washington,D.C.: Banco Mundial.
4. Datt y Ravallion (1996)demuestran que el crecimientodel sector rural en la Indiaprovocó una reducción de lapobreza tanto en las zonasrurales como urbanasmientras que el crecimientoeconómico en las zonasurbanas contribuyó poco a lareducción de la pobreza rural.Warr (2001) aporta pruebasde que el crecimiento de laagricultura en varios paísesde Asia sudoriental contribuyóa reducir notablemente lapobreza, aunque no fueacompañado por uncrecimiento del sectormanufacturero. Gallup et al.(1997) demuestran que cadaaumento del 1% del productointerno bruto (PIB) agrícola percápita lleva aparejado uncrecimiento del 1,61% de losingresos del 20% más pobrede la población, lo querepresenta un efecto muchomayor que el impacto quetienen incrementos parecidosen los sectores manufactureroo de servicios.
El desafío de reducir la pobreza rural.
El compromiso que la comunidad dedicada al
desarrollo contrajo en la Cumbre del Milenio
para reducir a la mitad, entre 1990 y 2015, el
porcentaje de personas que viven en condiciones
de pobreza extrema y padecen hambre ha
arrojado resultados desiguales. Por un lado,
en los países en desarrollo la proporción de
personas que viven con menos de 1 dólar al
día ha disminuido del 28% al 19%. En cambio,
los progresos han sido mucho menos acusados
en lo que a la reducción del hambre y la malnu-
trición se refiere, y sigue habiendo enormes
diferencias regionales. Los impresionantes
progresos alcanzados en Asia meridional y
oriental contrastan con la lentitud de los avances,
o incluso los retrocesos, que se han producido
en otros lugares.1 La desigualdad de los ingresos
ha aumentado, al igual que la proporción de
personas en situación de pobreza extrema que
viven en África subsahariana y América Latina.2
Si bien la dinámica cambiante de la pobreza
pone de manifiesto un incremento de la propor-
ción de personas pobres que viven en las zonas
urbanas, la pobreza, y sobre todo la pobreza
extrema, todavía es un fenómeno predominan-
temente rural y lo seguirá siendo durante varios
decenios3. La mayoría de los pobres del medio
rural depende de forma directa o indirecta de la
agricultura y, por consiguiente, el crecimiento
agrícola es más beneficioso por lo que se refiere
a la reducción de la pobreza que el crecimiento
en cualquier otro sector4. De modo análogo, en
un momento de trastornos sin precedentes en
los mercados mundiales de productos básicos
la seguridad alimentaria es fundamental para
lograr un desarrollo equitativo y sostenible. Las
zonas rurales expuestas a los estragos del cam-
bio climático requieren una atención especial.
1Antecedentes
07
financiera internacional (IFI) a la par que como
organización especializada del sistema de las
Naciones Unidas, con el mandato de contri-
buir a reducir la pobreza rural prestando
apoyo a actividades agrícolas y de desarrollo
rural en los países en desarrollo. Los princi-
pales instrumentos de ejecución que utiliza
son proyectos y programas financiados
mediante préstamos, aunque también recurre
en pequeña medida a la modalidad de finan-
ciar sus actividades mediante donaciones5.
El Fondo también participa cada vez más
en actividades no crediticias, como el diálogo
sobre políticas, la creación de asociaciones y
la gestión de los conocimientos.
Habida cuenta de su tamaño relativamente
reducido, el FIDA centra su labor en los pobres
de las zonas rurales y en la promoción de inno-
vaciones que les sean favorables6 y que otros
asociados, como los gobiernos, los organismos
donantes y el sector privado, puedan reproducir
y ampliar. El Fondo, cuyo mandato es de alcance
mundial, trabaja en cinco regiones geográficas7 y
está plenamente comprometido con el logro de
los objetivos de desarrollo del Milenio.8 Como
signatario de la Declaración de París sobre la
Eficacia de la Ayuda al Desarrollo (2005), suscribe
los principios de la apropiación nacional, la
armonización, la asociación, la alineación y la
responsabilidad por los resultados, que se
ratificaron en el Programa de Acción de Accra.
El objetivo primordial del FIDA, estipulado en el
Marco Estratégico del FIDA (2007-2010), es
empoderar a las mujeres y los hombres pobres
de las zonas rurales de los países en desarrollo
para que mejoren sus ingresos y la seguridad
alimentaria en el hogar. En el Marco Estratégico
se especifican seis objetivos principales, desti-
nados a garantizar que los hombres y mujeres
pobres de las zonas rurales tengan un acceso
más amplio y sostenible a los siguientes
elementos: i) recursos naturales; ii) tecnologías
agrícolas mejoradas; iii) servicios financieros
rurales; iv) mercados de insumos y productos;
v) oportunidades de empleo y creación de
empresas rurales fuera del sector agrícola, y
vi) procesos locales y nacionales de formulación
de políticas y programación.
La evaluación en el FIDA. Los procedimientos
y la metodología de evaluación independientes
del Fondo se rigen por los principios recogidos
en la política de evaluación9 aprobada por la
Junta Ejecutiva en abril de 2003. También se
fundamentan en el marco metodológico para la
evaluación de proyectos revisado por el Comité
de Evaluación10 en su 34º período de sesiones,
celebrado en 2003/2002. Las evaluaciones de
los programas en los países (EPP) se llevan a
cabo sobre la base de una metodología elabo-
rada en consulta con el Grupo de Evaluación
Independiente del Banco Mundial en 2005.
El objeto del presente manual es perfeccionar,
actualizar y consolidar las directrices actuales
con el fin de que las evaluaciones del FIDA
alcancen niveles de gran calidad en el marco
de la política de evaluación convenida.
La política de evaluación tiene su fundamento
en la rendición de cuentas, el aprendizaje, la
independencia y la asociación, cuatro principios
que rigen la realización de todas las evaluaciones
de la Oficina de Evaluación (OE), y cuya apli-
cación, por consiguiente, debe estar respal-
dada por los métodos y procedimientos adop-
tados. Para ello se precisa una gestión cuida-
dosa, puesto que la promoción de un principio
puede incidir en los demás. Por ejemplo, la OE
está decidida a garantizar la participación
durante todo el proceso de evaluación a fin de
promover la inclusión y el sentido de apropiación
en las constataciones y recomendaciones de
evaluación, pero, en cumplimiento del principio
de independencia, no se debe permitir que la
participación y el sentido de apropiación
adquieran el control del proceso de evaluación.
Análogamente, el principio del aprendizaje no
debe minar el principio de rendición de cuentas,
dado que la independencia de actuación exige
la producción sistemática de documentos de
evaluación rigurosos.
La independencia de la función de evaluación
del FIDA reviste especial importancia y queda
reflejada en varias disposiciones de la política
de evaluación que, entre otras cosas, estipulan
lo siguiente: i) el Director de la OE rinde cuentas
a la Junta Ejecutiva y no al Presidente del Fondo;
ii) el programa de trabajo y el presupuesto de la
5. El programa de trabajo delFondo para 2008 dispone deun nivel de financiación deUSD 650 millones, el 10% delos cuales se ha reservadopara conceder financiaciónmediante donaciones.
6. Esas innovaciones puedenproducirse, por ejemplo, enlos ámbitos de la tecnología,las disposiciones institucionalesy la ingeniería social.
7. Asia y el Pacífico, Áfricaoriental y meridional, AméricaLatina y el Caribe, CercanoOriente y África del Norte yÁfrica occidental y central.
8. En particular, los objetivosde desarrollo del Milenio 1, 3 y 7.
9. Véase el documento EB2003/78/R.17/Rev.1, “Políticade evaluación del FIDA”.
10. Véase el documento EC2003/34/W.P.3, “Marcometodológico para laevaluación de proyectos –Principales criterios ypreguntas clave para laevaluación de proyectos”.
08
OE se elaboran con independencia de la direc-
ción del FIDA y se presentan directamente a la
aprobación de la Junta y al Consejo de Gober-
nadores; iii) el Presidente ha delegado su
autoridad en el Director de la OE para que
adopte todas las decisiones en materia de
recursos humanos relacionadas con la OE, y
iv) el Director de la OE está facultado para
presentar los informes de evaluación a la direc-
ción del Fondo y a sus órganos rectores, y
divulgarlos entre el público en general, sin
necesidad de obtener el visto bueno de ningún
funcionario ajeno a la Oficina.
La OE realiza evaluaciones de distintos tipos,
como evaluaciones de proyectos, de programas
en los países, temáticas y a nivel institucional.
En lo que se refiere a los proyectos, lleva a cabo
tanto evaluaciones intermedias como finales.
Estas últimas, de acuerdo con la política de
evaluación, son obligatorias. Las evaluaciones
intermedias se realizan cuando finaliza el
período de ejecución de un proyecto, antes de
que el FIDA y el país prestatario inicien el diseño
de una nueva fase de esa misma operación.
Las evaluaciones finales se llevan a cabo
después del cierre del proyecto.
El manual de evaluación. La elaboración del
presente manual obedece al empeño de la OE
por armonizar aún más sus metodologías con
las buenas prácticas seguidas en la comunidad
internacional dedicada a la evaluación del
desarrollo y, por consiguiente, representa un
paso adelante en la puesta en práctica de la
Declaración de París. Este manual de evaluación
consolidado y actualizado se ha preparado en
respuesta a la evidente necesidad de aumentar
el rigor, la coherencia y la imparcialidad de las
actividades de evaluación. Con él se trata
asimismo de satisfacer la obligación de trans-
parencia que lleva aparejada la excelencia de
la labor de evaluación.
La finalidad principal del manual es brindar
orientación al personal de la OE y a los consul-
tores que intervienen en la labor de evaluación.
En él se tienen en cuenta los recientes cambios
derivados de la aplicación del Plan de acción
del FIDA para mejorar su eficacia en términos
de desarrollo, como el Marco Estratégico delFIDA (2007-2010), las estrategias de innova-
ción y gestión de los conocimientos, la política
de focalización, la adopción del nuevo modelo
operativo del FIDA (que conlleva la supervisión
directa y el apoyo a la ejecución, así como una
presencia en los países más pronunciada),
los nuevos mecanismos de mejora y garantía
de la calidad, las actividades de autoevaluación
(como la puesta en práctica de un marco insti-
tucional de medición de los resultados) y la
introducción del programa sobre oportunidades
estratégicas nacionales (COSOP) basado en
los resultados.
El manual se centra en las evaluaciones de
proyectos y en las EPP, ya que representan la
mayor parte de las evaluaciones que realiza la
OE. A la espera de que se elaboren nuevos
materiales de orientación dedicados a las
evaluaciones temáticas y a nivel institucional,
se prevé que en esas evaluaciones también se
sigan las disposiciones amplias contenidas en
el presente manual. En función de la naturaleza
y alcance de esas evaluaciones se definirán,
para cada caso concreto, procedimientos y
metodologías ad hoc. Además, se invita a los
evaluadores a complementar las disposiciones
del manual con las orientaciones formuladas
por el Comité de Asistencia para el Desarrollo
(CAD)11 cuando lleven a cabo la evaluación de
un proyecto o una EPP en naciones que se
encuentren en fases de conflicto o posteriores
a un conflicto.
Si bien con el manual se trata de inculcar un
cierto grado de coherencia en las evaluaciones
de la OE, también se deja un amplio margen
para la creatividad, la innovación y la flexibilidad.
Por ejemplo, aunque en el capítulo 2 figura una
lista de técnicas y métodos, basados en buenas
prácticas para la recopilación de datos, se deja
a los evaluadores la libertad de elegir el enfoque
y su aplicación final según las circunstancias
y el contexto específicos de la evaluación de
que se trate.
La elaboración y puesta en práctica de este
manual deben servir para facilitar la participación
de la OE en evaluaciones conjuntas con otras
11. Véase al respecto“Encouraging EffectiveEvaluation of ConflictPrevention and Peace-Building Activities: TowardsDAC Guidance” (Haciauna guía del CAD para laevaluación de las actividadesde prevención de conflictosy construcción de la paz),OCDE, septiembre de 2007.
09
organizaciones de desarrollo. Cada vez se está
recurriendo más a ese tipo de evaluaciones
con el fin de reducir los costos de transacción
para los países asociados, ampliar el alcance de
las evaluaciones para que todos los asociados
principales en las actividades de desarrollo
intervengan en los programas que se evalúan y
propiciar intercambios más amplios de conoci-
mientos y experiencias. También se prevé que
en las evaluaciones conjuntas se respete el
principio de la responsabilidad mutua consa-
grado en la Declaración de París y ratificado en
el Programa de Acción de Accra de 2008.
Este manual se ha elaborado de forma partici-
pativa mediante la interacción con el personal y
los consultores de la OE, así como con los
colegas del Departamento de Administración
de Programas (PMD) y los asociados sobre el
terreno.12 A fin de aprovechar los recientes
avances conseguidos en las metodologías y
prácticas de evaluación del desarrollo de otras
organizaciones, el personal de la OE también
ha colaborado con el Grupo de las Naciones
Unidas sobre Evaluación, el Grupo de Coope-
ración en materia de Evaluación, integrado por
los bancos multilaterales de desarrollo, la Red
de Redes sobre la Evaluación del Impacto y la
Red sobre Evaluación del CAD de la Organiza-
ción de Cooperación y Desarrollo Económicos
(OCDE). El manual se basa en las normas y
criterios del Grupo de las Naciones Unidas
sobre Evaluación, las normas pertinentes de
buenas prácticas del Grupo de Cooperación en
materia de Evaluación y los principios clave de
evaluación del CAD/OCDE.
En la elaboración del manual la OE ha tomado
en consideración las observaciones formuladas
por el grupo de expertos internacionales inte-
grado por asesores superiores independientes,13
cuya función principal ha sido brindar orienta-
ciones y contribuciones a la OE y dar seguri-
dades a los órganos rectores del FIDA de que
el manual se ajusta a las normas de buenas
prácticas en materia de evaluación internacional
del desarrollo. Formaban parte de ese grupo
representantes de IFI, las Naciones Unidas y
el CAD/OCDE, así como expertos de evalua-
ción provenientes de países en desarrollo.
Por último, antes de finalizar el documento, se
celebraron consultas con el Comité de Evalua-
ción de la Junta Ejecutiva del FIDA.
El manual está organizado de la manera
siguiente: en el capítulo 2 se ofrece un pano-
rama de los conceptos metodológicos básicos,
en el capítulo 3 figura información detallada
sobre la metodología para la evaluación de
proyectos, y en el capítulo 4 se hace otro tanto
con las EPP. En los anexos se han incluido,
entre otras cosas, ejemplos de buenas prác-
ticas en lo relativo al marco de evaluación, los
documentos conceptuales, prólogos de las
evaluaciones, resúmenes operativos, acuerdos
en el punto de culminación, etc.
12. Entre ellos, algunosdirectores de proyectos.
13. El grupo estaba formadopor el profesor RobertPicciotto (ex Director Generaldel Grupo de EvaluaciónIndependiente del BancoMundial), la Sra. Cheryl Gray(Directora del Grupo deEvaluación Independientedel Banco Mundial); elSr. Shiva Kumar (Profesorinvitado en la Indian Schoolof Business, Hyderabad,India); el Sr. Hans Lundgren(Secretario de la Red sobreEvaluación del Desarrollo delComité de Asistencia para elDesarrollo de la OCDE); laSra. Saraswathi Menon(Directora de la Oficina deEvaluación del PNUD yPresidenta del Grupo de lasNaciones Unidas sobreEvaluación); la Sra. Zenda Ofir(especialista en evaluación,Sudáfrica) y el Sr. Robertvan den Berg (Director de laOficina de Evaluación delFondo para el MedioAmbiente Mundial).
10
evaluación y gestión basada en resultadosdel CAD/OCDE.14 Los criterios suscitan
preguntas genéricas15 que reflejan el marco
metodológico para la evaluación de proyectos
debatido con el Comité de Evaluación en
septiembre de 2003 y tienen en cuenta la
experiencia adquirida en la aplicación de
dicho marco, la introducción del Marco Estra-tégico del FIDA (2007-2010), los cambios
fundamentales introducidos en virtud del Plan
de Acción y los esfuerzos por armonizar los
sistemas de autoevaluación y de evaluación
independiente en el FIDA.
Los principales criterios de evaluación utili-
zados por la OE para evaluar los resultados
de los proyectos y el impacto de las opera-
ciones del FIDA figuran, junto a sus defini-
ciones, en el cuadro 1. Los tres criterios
básicos son la pertinencia, la eficacia y la
eficiencia. La OE también emplea un criterio
específico para calcular el impacto en la
pobreza rural, que se desglosa en cinco
esferas de impacto: ingresos y activos de los
hogares; capital humano y social y empodera-
miento; seguridad alimentaria y productividad
agrícola; recursos naturales y medio ambiente,
e instituciones y políticas. Los otros criterios
son la sostenibilidad, las innovaciones y el
desempeño de los asociados.
La OE define el “impacto” como los cambios
que se han producido —tal como se perciben
en el momento de la evaluación— en la vida de
los pobres de las zonas rurales (tanto si son
positivos o negativos, directos o indirectos,
deliberados o involuntarios) como resultado de
las intervenciones del FIDA. En esta definición
también tiene cabida, de ser pertinente, una
En este capítulo se describen brevemente los
conceptos metodológicos básicos que la OE
utiliza en las evaluaciones de proyectos y en las
EPP. El conocimiento de estas nociones entre
los evaluadores ayuda a reducir las diferencias
en los distintos enfoques utilizados y en los
modelos de presentación de informes entre
distintos evaluadores y evaluaciones.
A. Criterios de evaluaciónLos criterios de evaluación aplicados en las
evaluaciones de proyectos y en las EPP son
congruentes con las buenas prácticas interna-
cionales y garantizan la armonización de la
metodología de evaluación del FIDA con la de
los demás organismos donantes. Además, se
ajustan a las prácticas establecidas en el
Glosario de los principales términos sobre
Conceptos metodológicos básicos
14. Este glosario forma partede la colección Evaluationand Aid Effectiveness Series(Serie sobre evaluación yeficacia de la ayuda) y fuepublicado en 2002 por elGrupo de trabajo del CAD dela OCDE sobre evaluaciónde la ayuda (actualmenteconocido como Red deEvaluación) y elaborado encolaboración con otras IFI yvarias organizaciones de lasNaciones Unidas.
15. Las preguntas claverelativas a las evaluacionesde proyectos figuran en elcapítulo 3; las relativas a lasEPP se examinan en elcapítulo 4 de este manual.
A. Criterios de evaluación
B. Evaluación del impacto
C. Sistema de calificación
D. Agregación
E. El “porqué”
F. Variabilidad entre distintos
evaluadores
G. Serie de evidencias
H. Atribución y escenarios
contrafácticos
I. Evaluación y análisis retrospectivo
J. Responsibilización respecto
al aprendizaje
K. Técnicas e instrumentos
L. Establecimiento de bases
de referencia
M. Evaluaciones conjuntas
N. Transparencia
2
11
evaluación de los efectos previstos de lasintervenciones apoyadas por el FIDA. En lasevaluaciones finales de los proyectos y en lasEPP16 de la OE se hace hincapié en los efectosa largo plazo (o lo que es lo mismo, en elimpacto) causados por una operación. Sinembargo, en las evaluaciones intermedias, quepor lo general se realizan cuando el proyectoestá a punto de cerrarse con el fin de satisfacerlos requisitos de rendición de cuentas y extrac-ción de enseñanzas, la evaluación de la OE secentra en los efectos probables, además de enlos efectos a corto y medio plazo ya alcan-zados. La sostenibilidad de los beneficiosgenerados por las operaciones financiadas porel FIDA más allá de la fase de apoyo financieroexterno también recibe una calificación. Paraello es preciso evaluar la medida en que losresultados de desarrollo están expuestos ariesgos que podrían afectar la continuidad alargo plazo de los beneficios.
El FIDA presta una atención prioritaria a lapromoción, la reproducción y la ampliación dealcance de las innovaciones en favor de lapoblación pobre. Esa atención es unacaracterística explícita del mandato del FIDA,motivo por el cual la reproducción de solu-ciones de desarrollo ensayadas por las opera-ciones del FIDA, así como sus posibilidadesde ampliación de alcance por parte de losgobiernos, los donantes, el sector privado y
otras partes interesadas, ocupa un lugar prefe-rente en los criterios de evaluación del FIDA.
La evaluación del desempeño de losasociados principales, especialmente del FIDAy el gobierno interesado, también es parteintegrante de la metodología de la OE. Esteaspecto reviste importancia a efectos derendición de cuentas, así como para el aprendizaje y la transparencia, dado que lasasociaciones se definen no sólo por los objetivos compartidos, sino también por unarendición de cuentas y obligaciones recíprocasbien diferenciadas respecto al logro de losresultados deseados.
En cuanto al cuadro 1, es preciso formulartres observaciones. En primer lugar, losresultados de un proyecto son una combina-ción de su pertinencia, eficacia y eficiencia.En segundo lugar, esos resultados no siemprese corresponden con el desempeño del FIDA,dado que existen otras influencias (enparticular, el desempeño de los gobiernosasociados y otros factores exógenos) quetambién contribuyen a los resultados de losproyectos. Y en tercer lugar, la promoción dela equidad de género y la focalización en lapobreza no se evalúan ni se califican porseparado sino que, al contrario, se consideranparte integrante de los distintos criterios deevaluación adoptados por la OE.
CUADRO 1: Definiciones de los criterios de evaluación utilizados por la Oficina de Evaluación
Resultados del proyecto
• Pertinencia
• Eficacia
Medida en que los objetivos de una interven-ción para el desarrollo son congruentes conlos requisitos de los beneficiarios, las necesi-dades del país, las prioridades institucionalesy las políticas de los asociados y donantes.Comporta asimismo realizar una evaluaciónde la coherencia del proyecto para el logrode sus objetivos.
Medida en que se lograron o se esperan lograrlos objetivos de la intervención para el desarro-llo, tomando en cuenta su importancia relativa.
16. En las EPP también seevalúan y califican proyectosindividuales financiados porel FIDA.
12
CRITERIOS DEFINICIONESa
CUADRO 1 (continuación): Definiciones de los criterios de evaluación utilizados por la Oficinade Evaluación
• Eficiencia
Impacto en la pobreza rural
• Ingresos y activos de los hogares
• Capital humano y social yempoderamiento
• Seguridad alimentaria yproductividad agrícola
• Recursos naturales y medio ambiente
• Instituciones y políticas
Otros criterios de desempeño
• Sostenibilidad
Medida en que los recursos/insumos (fondos,conocimientos técnicos, tiempo, etc.) se hanconvertido económicamente en resultados.
El impacto se define como los cambios quese han producido o se espera que se produz-can en las vidas de la población rural pobre(ya sean positivos o negativos, directos oindirectos, deliberados o involuntarios) a raízde intervenciones de desarrollo.
Los ingresos de los hogares constituyen unmedio de evaluar la corriente de beneficioseconómicos que han recaído en un individuoo grupo, mientras que los activos guardanrelación con una reserva de productos acu-mulados de valor económico.
Este criterio entraña una evaluación de loscambios que se han producido en el empo-deramiento de los individuos, la calidad delas organizaciones de base y de las institu-ciones, y la capacidad colectiva e individualde la población pobre.
Cambios en la seguridad alimentaria relativosa la disponibilidad, el acceso a los alimentosy la estabilidad de ese acceso, mientras quelos cambios en la productividad agrícola semiden en función de los rendimientos.
La atención prestada a los recursos naturalesy al medio ambiente implica evaluar el gradoen que un proyecto contribuye a producircambios respecto de la protección, rehabilita-ción o agotamiento de los recursos naturalesy el medio ambiente.
El criterio relativo a las instituciones y políticasestá concebido para evaluar los cambios enla calidad y desempeño de las instituciones,las políticas y el marco regulador que influyenen la vida de la población pobre.
Probabilidad de que los beneficios netosproducidos por una intervención de desarrollocontinúen más allá de la fase de prestaciónde apoyo financiero externo. Comportatambién evaluar la probabilidad de que losresultados efectivos y previstos consigansuperar los riesgos que se presenten unvez finalizado el proyecto.
13
CRITERIOS DEFINICIONESa
B. Evaluación del impactoLa comunidad internacional dedicada a laevaluación de las actividades de desarrollolleva largo tiempo debatiendo la cuestión delimpacto. La Red sobre Evaluación delDesarrollo del CAD, el Grupo de Cooperaciónen materia de Evaluación, el Grupo de lasNaciones Unidas sobre Evaluación y la Asocia-ción Europea de Evaluación han estudiadométodos apropiados de abordar el impactode las intervenciones de desarrollo. Con todo,últimamente el debate se ha intensificado aúnmás si cabe.
Como consecuencia de ello, recientemente sehan formado redes y asociaciones centradasen la evaluación del impacto, como la Red deRedes sobre Evaluación del Impacto y laIniciativa Internacional para la Evaluación delImpacto. En un esfuerzo por llevar a caboevaluaciones del impacto más rigurosas, se
están realizando investigaciones y celebrandodebates entre la comunidad académica (p. ej.,el Abdul Latif Jameel Poverty Action Labdel Instituto de Tecnología de Massachu-setts). Fundaciones privadas y organiza-ciones internacionales de desarrollo tambiénestán contribuyendo al debate en torno a lasposibilidades y limitaciones de los métodosexperimentales utilizados en la evaluación delas intervenciones de desarrollo.
En la etapa actual no hay acuerdo acerca demetodologías convenidas que permitan atri-buir con rigor a factores o causas específicosel impacto que los proyectos y programas dedesarrollo tienen en la sociedad. Por un lado,algunos investigadores instan a analizarrigurosamente la causalidad a través demediciones cuantitativas del impacto y reco-miendan el empleo de pruebas de controlaleatorias y otros métodos experimentales y
a. Estas definiciones se han extraído del Glosario de los principales términos sobre evaluación y gestión basada enresultados del CAD de la OCDE y del marco metodológico para la evaluación de proyectos concordado con elComité de Evaluación en septiembre de 2003.
14
CRITERIOS DEFINICIONESa
CUADRO 1 (continuación): Definiciones de los criterios de evaluación utilizados por la Oficinade Evaluación
• Promoción de innovaciones en favorde la población pobre, reproducción yampliación de alcance
Logros generales del proyecto
Desempeño de los asociados
• FIDA• Gobierno• Institución cooperante• ONG y organizaciones comunitarias
Medida en que las intervenciones de desarro-llo del FIDA: i) han contribuido a introducirenfoques innovadores de reducción de lapobreza rural, y ii) han sido o es probable quesean reproducidas y ampliadas por las auto-ridades públicas, las organizaciones donantes,el sector privado y otros organismos.
Este criterio ofrece una valoración general delproyecto, haciendo uso del análisis efectuadosegún los distintos criterios de evaluacióncitados anteriormente.
Mediante este criterio se evalúa la contribu-ción de los asociados al diseño, ejecución,seguimiento y presentación de informes,supervisión y apoyo a la ejecución y evalua-ción del proyecto. Se evaluará el desempeñode cada asociado de forma individual conmiras a establecer la función y responsabi-lidad previstas del asociado en el ciclo devida del proyecto.
17. Las técnicas decorrespondencia basadas enla puntuación de la propensiónse suelen utilizar paramantener bajo control lossesgos cuando no es posiblerecurrir a la aleatorización. Sedesarrollaron para garantizar lacomparabilidad entre el grupode tratamiento y el grupo decontrol en lo relativo a lapropensión a participar en unprograma de desarrollo.En primer lugar es precisocalcular las probabilidades(la “puntuación de lapropensión”) que una personau hogar ha tenido de recibirun tratamiento o beneficiarsede una intervención teniendoen cuenta ciertascaracterísticas. Una vezcalculadas las puntuacionesde la propensión, éstas seutilizan para agruparobservaciones que mantienenun cierto parecido. Luego lascomparaciones de losresultados de las actividadesde desarrollo pueden aplicarsea grupos diferentes deobservaciones que tienen lamisma propensión a participary de ese modo se garantizala comparabilidad (véaseRavallion, M. (1999): “TheMystery of the VanishingBenefits: Ms. SpeedyAnalyst’s Introduction toEvaluation” [El misterio delos beneficios desaparecidos:Introducción a la evaluaciónde la Sra. Analista Rápida].Documento de Trabajon.º 2153, Washington D.C.:Banco Mundial).
15
cuasiexperimentales (p. ej., el uso de técnicasde correspondencia basadas en la puntuaciónde la propensión)17 como la “regla de oro”para evaluar el impacto. Por el otro, nume-rosos estudios publicados han demostradoque esos métodos presentan serias limita-ciones en entornos de desarrollo complejos einestables. La bibliografía al respecto tambiénplantea difíciles cuestiones de orden ético,dado que esas actividades requieren una grancantidad de conocimientos técnicos y datos,y son costosas. Para obtener resultados útilesse precisa una cantidad considerable detiempo y trabajo. Por ello otros especialistasafirman que las metodologías participativasy cualitativas representan una base másadecuada para analizar el impacto. Gracias aesos métodos es posible medir el impactobasándose en indicadores cualitativos, comolos cambios producidos en el empodera-miento, la dignidad, la condición y el bienestar,o bien en las modificaciones registradas en elnivel de participación comunitaria.
No cabe duda de que el FIDA, habida cuentade la importancia especial que la Junta Ejecu-tiva atribuye a la evaluación del impacto, debeseguir con suma atención el debate actual.El impacto es uno de los indicadores básicosdel marco de medición de los resultados parala elaboración de informes de gestión sobrelos progresos realizados en la aplicación delMarco Estratégico del FIDA (2007-2010)aprobado por la Junta. La dirección del FIDAevalúa el impacto tanto durante la ejecución(es decir, el impacto previsto) como al finalizarun proyecto, basándose en los procedimientosvigentes y las entregas correspondientes (p. ej., las revisiones a mitad de período, losinformes finales de los proyectos (IFP), losinformes sobre la situación de los proyectoselaborados por los gerentes de programas enlos países [GPP] durante la ejecución, etc.).Los indicadores (especialmente los conce-bidos para medir el impacto) del marco demedición de los resultados se han seleccio-nado porque el FIDA puede emparejarlos conlos datos pertinentes en un plazo relativa-mente breve sin tener que crear un conjunto
de sistemas complicados y costosos derecopilación de datos.
El reto con que se enfrenta la OE es adoptarun enfoque de evaluación del impacto rigu-roso y fidedigno que utilice una combinaciónde métodos cuantitativos y cualitativos y quesea acorde con el nivel de recursos disponi-bles. La OE también está decidida a garan-tizar que los resultados estén disponiblespuntualmente para que puedan incorporarseen los procesos institucionales relacionadoscon la formulación de estrategias y políticas,así como con el diseño y la ejecución deproyectos. Como norma general, el enfoquede evaluación del impacto de la OE sebasará en una combinación de análisiscontrafáctico (p. ej., utilizando grupos decontrol), técnicas basadas en el “antes ydespués” y métodos de triangulación. Seutilizará el muestreo aleatorio para selec-cionar a los beneficiarios que participaránen encuentros individuales y en los debatesen grupos de discusión, así como paradeterminar los lugares de ejecución de losproyectos que se visitarán para fines deobservación directa. La utilización de estastécnicas sentará las bases de las encuestasy estudios de casos que se encargarán conel fin de reunir datos primarios, especial-mente en aquellas circunstancias en que lafalta de datos de seguimiento y evaluación(SyE) frene los esfuerzos por llegar a unaevaluación pormenorizada del impacto delos proyectos.
Gracias a su participación activa y constanteen el Grupo de Cooperación en materia deEvaluación, la Red de Redes sobre laEvaluación del Impacto, el Grupo de lasNaciones Unidas sobre Evaluación y otrasplataformas de evaluación del desarrollo, laOE seguirá interviniendo en el debate inter-nacional y en las iniciativas de investigaciónrelacionadas con las evaluaciones delimpacto. La OE estará abierta a los nuevosmétodos y enfoques que se vayan elabo-rando y validando y los integrará en su laborpara utilizarlos en el contexto del FIDA.
18. En el que el 6 representa lapuntuación mejor y el 1 la peor.
¿Es necesario evaluar el criterio de la eficaciaseparadamente del impacto en la pobrezarural? Por un lado, resulta lógico que unproyecto no pueda considerarse satisfactoriosi no ha generado un impacto beneficioso enla pobreza rural. Por el otro, el criterio de laeficacia se basa en las metas fijadas y secentra principalmente en los efectos que sepretendía conseguir, es decir, en si la interven-ción ha alcanzado (o se prevé que alcance)sus objetivos. Por el contrario, en los criteriosdel impacto en la pobreza rural se tienen encuenta todos los efectos, deliberados o invo-luntarios, directos o indirectos, positivos onegativos y, por lo tanto, hay que examinarcon detenimiento si habrán de utilizarse paraarrojar luz sobre la función del FIDA comoincubadora de cambios en la realidad rural.
Los dos conjuntos de criterios, aun siendodistintos, están estrechamente relacionados.El riesgo de duplicación se atenúa si el criteriode la eficacia se centra en el logro de losobjetivos inmediatos del proyecto y en losefectos iniciales que éste tiene, mientras quelos criterios del impacto permiten determinartodos los efectos secundarios y a largo plazo.Así pues, la utilización de estos criteriosconduce a una comprensión mayor de lasvinculaciones regresivas y progresivas de unaoperación financiada por el FIDA. Comoconsecuencia de ello, esos criterios contri-buyen a orientar las actividades de ampliaciónde alcance de esas operaciones y el diseñode los proyectos futuros del FIDA.
Además, cada vez con más frecuencia losobjetivos de los proyectos financiados por elFIDA son más específicos y realistas que enel pasado, y en la cadena de resultados dela matriz del marco lógico de un proyectose colocan a nivel de los “propósitos”. Porconsiguiente, cuando se evalúa la eficaciahay que determinar la medida en que unproyecto ha alcanzado o se prevé quealcance sus objetivos, mientras que, alevaluar el impacto, deben evaluarse loslogros de un proyecto a nivel de las “metas”de la cadena de resultados.
Existe otra razón para incluir los criterios delimpacto en la pobreza rural entre los criteriosrelativos a los resultados. Se trata de unanecesidad estratégica: las cinco esferasseleccionadas permiten a la OE estableceruna relación explícita entre el impacto en lapobreza rural de cada proyecto evaluado y lasprioridades temáticas principales del Fondo yde sus órganos rectores.
Además, la introducción de esas cinco esferasentre los criterios del impacto en la pobrezarural tiene por objeto facilitar la agregación delas calificaciones y de los temas relativos alaprendizaje en la elaboración del informe anualsobre los resultados y el impacto de las activi-dades del FIDA (ARRI), permitiendo de esemodo identificar problemas sistémicos y ense-ñanzas aprendidas, y contribuyendo a mejorarla eficacia de las actividades de desarrollo delFIDA en general, en lugar de limitarse simple-mente a analizar cada proyecto por separado.
C. Sistema de calificaciónEn 2002 la OE estableció un sistema decalificación de cuatro puntos aplicable a loscriterios de evaluación con el propósito decuantificar el juicio de los evaluadores, que esde índole cualitativa, determinar las prácticasde financiación del desarrollo satisfactorias ydeficientes, y facilitar la agregación dentro decada proyecto y entre distintos proyectos. Apartir de 2005, de conformidad con la prác-tica adoptada en otras IFI, la OE comenzó autilizar un sistema de calificación de seispuntos,18 que permite una valoración másmatizada de los resultados de los proyectos.En concreto, este sistema puede ser útil parasuperar la renuencia de los evaluadores aatribuir la puntuación máxima (4) o mínima (1)a las intervenciones, que suelen provocar unaconcentración de las calificaciones en lasposiciones intermedias (2 y 3).
Además de elaborar informes sobre los resul-tados basándose en la escala de calificaciónde seis puntos, en 2007 la OE introdujo lascategorías amplias de “satisfactorio” e “insatis-factorio” para dar cuenta de los resultados en
16
19. Para la preparación delExamen Anual de la Eficaciaen Términos de Desarrollo,el Grupo de EvaluaciónIndependiente del BancoMundial utiliza unaclasificación similar.
20. El Grupo de EvaluaciónIndependiente no utilizaponderaciones en susmétodos de evaluación.
6 Muy satisfactorio
5 Satisfactorio
4 Moderadamente satisfactorio
3 Moderadamente insatisfactorio
2 Insatisfactorio
1 Muy insatisfactorio
SATISFACTORIO
INSATISFACTORIO
17
todos los criterios de evaluación (véase elcuadro 2). Este método consiste en agregar elporcentaje de calificaciones de los proyectosque han obtenido las tres calificaciones másaltas (4-6) en el apartado de “satisfactorio”, y a
los que obtienen las tres puntuaciones másbajas (1-3) en el de “insatisfactorio”. La intro-ducción de estas dos categorías amplias19
permite realizar un seguimiento más precisode la evolución de los resultados.
PUNTUACIÓN EVALUACIÓN CATEGORÍA
CUADRO 2: Sistema de calificación
D. AgregaciónEn algunos casos, las calificaciones obtenidaspor los distintos criterios han de agregarsepara generar calificaciones globales. En lasevaluaciones de proyectos este método esaplicable cuando se calculan los resultadosde un proyecto y su impacto en la pobrezarural, y cuando se determinan los logrosgenerales del proyecto. Los resultados de losproyectos se calculan como una media arit-mética de las calificaciones atribuidas a lapertinencia, la eficacia y la eficiencia, y, porlo tanto, es posible que la calificación finalcontenga decimales. La calificación delimpacto en la pobreza rural se basa en eljuicio fundado y objetivo de los evaluadores,quienes tienen en cuenta las distintas califica-ciones atribuidas a las diferentes esferas delos criterios relativos al impacto en la pobrezarural. Los logros generales de los proyectosse calculan de un modo semejante, utilizandolas calificaciones obtenidas por la pertinencia,la eficacia, la eficiencia, el impacto en lapobreza rural, la sostenibilidad y la innova-ción. Tanto en el caso del impacto en lapobreza rural como en el de los logros
generales de los proyectos, los evaluadoresasignan una calificación en forma de númeroentero, sin decimales.
También en las EPP es preciso recurrir a laagregación de las calificaciones para deter-minar los resultados de la cartera general deproyectos, la calificación agregada de lasactividades no crediticias y los resultadosde los COSOP en cuanto a su pertinenciay eficacia y, por último, para generar unacalificación global de las realizaciones de laasociación entre el FIDA y el gobierno encuestión. En el capítulo 4 se facilitan orienta-ciones para efectuar la agregación de lascalificaciones en las EPP.
Si se introdujera el uso de ponderaciones seaumentaría el grado de complejidad de lametodología de evaluación. En otros bancosmultilaterales la ponderación se utiliza a vecespara dar cuenta del volumen de los prés-tamos y créditos. En el caso del FIDA, sinembargo, las asignaciones financieras tienenuna importancia limitada a causa de la aten-ción prioritaria que se presta a la innovación.20
18
21. Principalmente deldocumento conceptual y delborrador de informe final deevaluación.
E. El “porqué”Al tiempo que se vela por que las evaluacionesindependientes sean instrumentos para reforzarla rendición de cuentas, hay que desplegaresfuerzos concertados para comprender lascausas inmediatas de los buenos resultados odeterminar las operaciones del FIDA que debanmejorarse y precisen mayor atención. Por esemotivo, los informes de evaluación debendedicar suficiente espacio y atención a lapregunta de “por qué” y garantizar que las cali-ficaciones numéricas asignadas al análisis decada criterio de evaluación sea coherente conlas pruebas obtenidas en la evaluación.Además de dar cuenta de “cuáles” han sidolos resultados, las evaluaciones deberíanproporcionar una comprensión más profundade “por qué” los resultados fueron los quefueron. Esto, a su vez, ayuda a determinar yconsolidar las enseñanzas que se han detener en cuenta en la formulación de la estra-tegia para el país, así como en el diseño y laejecución de los proyectos.
F. Variabilidad entre distintosevaluadoresCon la expresión “variabilidad entre distintosevaluadores” se hace referencia a las discre-pancias en las apreciaciones y juicios relativosa los resultados que se derivan principalmentede las diferencias en la comprensión y aplica-ción de la metodología de evaluación por partedel personal y los consultores de la OE. Setrata de un motivo legítimo de preocupación,no sólo dentro de una determinada evaluación,sino también entre diferentes evaluaciones,pues la variabilidad entre distintos evaluadoreslimita el grado de fiabilidad que se obtiene alagregar los resultados, así como al compararlos resultados de diversas evaluaciones.
Además de ofrecer orientaciones para elempleo de las calificaciones numéricas, la OEestá desplegando medidas concretas parareducir al mínimo esa variabilidad. A tal fin secelebra una sesión informativa obligatoria paratodos los consultores jefes de los equipos deevaluación y algunos miembros de los equiposacerca de la metodología de evaluación y del
proceso que debe seguirse; dentro de la OEse llevan a cabo sistemáticamente revisionesinternas21 inter pares de las entregas másimportantes elaboradas durante las evalua-ciones; se pide a todos los miembros de losequipos de evaluación que formulen observa-ciones sobre las calificaciones y sobre elproyecto de informe final de evaluación, y secelebran periódicamente talleres en la OE paraofrecer orientación al personal y a los consul-tores de evaluación sobre las metodologíasque deben seguirse y la manera de aplicarlas.
G. Serie de evidenciasLa credibilidad y calidad de cualquier evalua-ción se basan en la solidez del análisis reali-zado; a este respecto, es importante garan-tizar que se deje clara constancia de lasevidencias halladas. Las constataciones yconclusiones de una determinada evaluación,por ejemplo, deberían estar fundadas cohe-rentemente en el análisis y documentadas enlos informes de evaluación. Toda recomenda-ción debería tener su origen en las conclu-siones contenidas en la evaluación. Además,para trazar esa serie de evidencias, losinformes de evaluación deberían contenerreferencias cruzadas con las secciones ypárrafos pertinentes del documento, paraayudar a los lectores a encontrar con facilidadlas constataciones que han llevado a unadeterminada recomendación y el análisis queha conducido a una determinada conclusión.
H. Atribución y escenarioscontrafácticosLa cuestión de la atribución del impactorequiere un atento examen, sobre todoporque en las actividades respaldadas porel FIDA intervienen numerosos asociados y,además, porque los asociados estánexpuestos a factores externos que inciden enlos resultados. En particular, los resultadospueden verse afectados por las políticas delos países donantes, las políticas nacionalesde los países beneficiarios, otros programasde desarrollo, las fluctuaciones socioeconó-micas, los cambios estructurales y los fenó-menos climáticos. Por eso resulta complejo
19
atribuir los resultados alcanzados sobre elterreno a un proyecto o programa concretos,y mucho menos al propio desempeño delFIDA. Sin embargo, superar este desafío esfundamental para que las constataciones deevaluación tengan validez.
Para atribuir los efectos logrados a una inter-vención determinada se puede utilizar latécnica del “antes y después”, un tipo deanálisis que suele toparse con el obstáculode la falta de datos de referencia y desistemas de SyE inadecuados. Aun así,existen técnicas específicas (como el métodobasado en la rememoración, la clasificacióncon arreglo a la renta o la cartografía comuni-taria) que pueden arrojar luz sobre la situaciónimperante antes de la ejecución de unproyecto o programa, o de la aplicación deuna política y, por lo tanto, facilitar la valora-ción del “antes y después”.
Para abordar la atribución del impacto desdeuna perspectiva aún más global es precisodefinir un escenario contrafáctico plausible,que es la situación o escenario que hipotética-mente reinaría en caso de no haberse ejecu-tado la intervención de desarrollo. La utiliza-ción de escenarios contrafácticos plausibleses necesaria para determinar la contribuciónal desarrollo de una intervención (p. ej., lamedida en que los resultados de desarrolloobservados pueden atribuirse a una operacióndeterminada). Por eso, la OE, teniendo encuenta las asignaciones presupuestariasglobales y los calendarios establecidos para laevaluación, trata de examinar los resultados desus intervenciones en relación con los degrupos de control pertinentes.
Este método también se conoce como análisis“con o sin intervención” y puede utilizarse paraayudar a comprender el impacto de las opera-ciones respaldadas por el FIDA en los mediosde vida (p. ej, en lo relativo a los ingresos, lasituación nutricional, el acceso a los recursos,etc.) evaluando los resultados de las interven-ciones en los grupos-objetivo y comparán-dolos con la situación de las poblaciones que
no forman parte de esos grupos en regionescon una situación similar. Al empezar laevaluación deberían determinarse claramentelos grupos de control seleccionados y loscriterios aplicados. Para que el análisis seafiable, el grupo de control debe ser lo másparecido posible al grupo atendido por elproyecto que se está evaluando, y hay queseleccionarlo en zonas parecidas en cuantoa la situación agroecológica, los serviciossociales, los recursos destinados a infraes-tructuras, el acceso a los mercados, etc.
I. Evaluación y análisisretrospectivoHay otros tres dilemas que los evaluadoresdeben abordar:
• ¿Cómo evaluar los resultados de unaestrategia u operación si el contexto hacambiado, por ejemplo, en lo relativo almarco normativo nacional o a las disposi-ciones institucionales?
• ¿Cómo evaluar los resultados si el modode entender el desarrollo ha cambiadodesde el inicio de una estrategia uoperación?
• ¿Cómo evaluar los resultados si las polí-ticas y procedimientos del FIDA, o losrasgos distintivos de su modelo opera-tivo, han cambiado durante la ejecución?
El sentido común parecería sugerir que, paraevaluar resultados obtenidos en el pasado,hay que utilizar los métodos de medición delpasado, renunciando a las ventajas del análisisretrospectivo. Ahora bien, también parecelógico suponer que los resultados deberíanjuzgarse en función de la información actuali-zada acerca de las realizaciones y las normasde política observadas. No es posible calificarlos resultados como si el diseño de losproyectos y programas fuera inmutable einmune a la introducción de ajustes durantela ejecución. Habida cuenta de la dimensiónde aprendizaje que tienen las operaciones delFIDA, la capacidad de adaptación de losinstrumentos y prácticas que utiliza debería serun aspecto importante de las evaluaciones deresultados. Al mismo tiempo, revisar el diseño
de los proyectos y programas no está exentode costos y requiere el concurso de losasociados, en particular los prestatarios. Deahí que los evaluadores deban realizar unavaloración sólida de la viabilidad de introducirajustes para garantizar la equidad de las califi-caciones atribuidas a los resultados.
En otras palabras, hay que distinguir elaprendizaje de la rendición de cuentas. Elaprendizaje alcanza todo su potencial cuandose evalúa en función de las normas actuales.Pero quizá sería injusto achacar exclusiva-mente al personal directivo la responsabilidadde no haber cumplido las normas actualesantes de conocerlas. Por ejemplo, seríainjusto juzgar la pertinencia y calidad deldiseño de un proyecto sin prestar atención alos límites de los conocimientos disponiblesen ese momento. De modo análogo, no sepuede esperar que un proyecto de financia-ción rural cuyo cierre estaba previsto parafinales de 2008 se retroadapte para cumplirlas disposiciones de una nueva política definanciación rural que el FIDA comenzó aaplicar en 2007. En los casos en que lasnormas o políticas hayan cambiado tarde enla vida de un proyecto —cuando la retroa-daptación ya no es viable— la actuación delpersonal directivo debe evaluarse sin apelaral análisis retrospectivo.
También hay que tener en cuenta los costosque puede suponer esa retroadaptación enel caso, por ejemplo, de proyectos o compo-nentes que no pueden cambiar fácilmentesin consecuencias prohibitivas (p. ej,sistemas de riego o caminos rurales). Porotra parte, cuando haya sido posible ajustarel diseño de los proyectos y programas demanera económica y oportuna para quesigan siendo pertinentes con el paso deltiempo y la evolución de las circunstancias,es justo y legítimo evaluar los resultadosretrospectivamente. En resumen, la utilizaciónsensata de una perspectiva de evaluaciónactual permite determinar los resultados y elimpacto de los proyectos en función de lasnormas en vigor.
La experiencia demuestra que el contextogeneral en que se realizan las actividades dedesarrollo (político, agroecológico, normativo,institucional, etc.) en un país y una zona delproyecto determinados incide notablementeen los resultados. Esto significa que losequipos encargados del diseño de losproyectos deben integrar desde un principioen su labor los factores relacionados con elcontexto y que, durante la fase de ejecución,la estrategia programática debe ajustarsesegún sea necesario para adaptarse a los cambios que se produzcan en el entorno deejecución. Así pues, los equipos de evalua-ción deben determinar cuál era la naturalezadel contexto de desarrollo imperante en lafase de diseño, seguir su evolución y deter-minar la idoneidad y viabilidad de introducirajustes en el curso de la ejecución.
J. Responsibilización respectoal aprendizajeEn vista del mandato del FIDA relativo alaprendizaje, la evaluación de resultados querealiza la OE debe incluir una valoración de losmecanismos para asegurar la calidad y lossistemas de gestión de riesgos del Fondo, asícomo de la adaptabilidad de sus instrumentosy prácticas. En concreto, la OE deberíaanalizar en sus evaluaciones la medida en quelas recomendaciones formuladas en lasevaluaciones anteriores, los IFP, las revisionesa mitad de período y las misiones de apoyo ala ejecución han quedado reflejadas en elproyecto, programa o política que se estéexaminando. En las evaluaciones se deberíaanalizar si el PMD ha asimilado, en las fasessubsiguientes de desarrollo de proyectos,programas, estrategias y políticas, las suge-rencias derivadas de los procedimientos demejora y garantía de la calidad del FIDA.22
K. Técnicas e instrumentosLos evaluadores deben seleccionar técnicas einstrumentos específicos de recogida de datosque les permitan responder a las preguntascontenidas en el marco de evaluación. Esosinstrumentos dependerán, entre otras variables,del tipo de evaluación, los datos disponibles,
22. Se trata de nuevosprocesos introducidos en elmarco del Plan de Acción delFIDA para mejorar la calidad enlas etapas iniciales. El procesode mejora de la calidad es dela incumbencia del PMD,mientras que el proceso degarantía de la calidad se lleva acabo, de forma independienterespecto del PMD, bajo laresponsabilidad de la Oficinadel Vicepresidente.
20
CUADRO 3: Ejemplos de métodos de recogida de datos
Cua
lita
tivo
s -
sem
iest
ruc
tura
do
s
23. Véase el anexo D de laGuía para el SyE de proyectos(2002).
21
el contexto local, los recursos y el tiempo deque se disponga. En el cuadro 3 figura unabreve descripción de distintos métodos utili-zados para la recogida de datos.23 Algunosde los instrumentos que la OE utiliza pararecoger y analizar datos son los siguientes:estudios de casos (p. ej, contenidos en unaevaluación temática que abarque variospaíses de una región geográfica determinada),encuestas estadísticas para las evaluaciones
de los resultados y el impacto, cuestionariossemiestructurados destinados a reunir informa-ción, observaciones directas de las actividadesdel proyecto (para evaluar, por ejemplo, lacalidad de las infraestructuras realizadas),grupos de discusión con organizaciones comu-nitarias, debates informales con informantesclave, la clasificación con arreglo a la renta(para determinar los ingresos y situación de loshogares), evaluaciones rurales rápidas, etc.
MÉTODOS HABITUALES BREVE DESCRIPCIÓN OBSERVACIONES
Resulta necesaria en la mayorparte de las evaluaciones;puede ser una fuente deconstataciones inesperadas.Es posible que resulteproblemático generalizar lasconstataciones.
Resulta práctico en interven-ciones que se ajustan acriterios estándar (p. ej.,agua potable, planes de riego,centros de capacitación).Requiere preparar minuciosa-mente las directrices para lacalificación.
Es útil, entre otras cosas, paradebatir sobre cuestionesdelicadas que en condicionesnormales no se discutirían enpúblico. Puede resultar proble-mático generalizar las constata-ciones. Requiere preparar minu-ciosamente los instrumentos.
Particularmente útiles parafenómenos que afectanprofundamente al territorio(crecimiento generalizado deasentamientos humanos,deforestación, agotamientode las aguas de superficie).
Método valioso para entenderlas interrelaciones y las esferasde acuerdo o desacuerdo.Puede resultar problemáticogeneralizar las constataciones.
Observaciones de los sitios, prác-ticas, condiciones de vida, construc-ciones materiales (p. ej., silos) deacuerdo con una lista de verificaciónacordada previamente (se puedellevar a cabo junto con la asignaciónde calificaciones).
Clasificación sistemática de los pro-ductos materiales (p. ej., la calidad delos puntos de aguada o los centros desalud) o de las características de orga-nización (p. ej., sesiones de extensión,instituciones de microfinanciación),basándose en parámetros y escalasde calificación preestablecidos.
Entrevistas individuales acerca devarios temas seleccionados conarreglo a una lista de comprobaciónacordada previamente. La mayoríade las preguntas son abiertas ytienen por objeto estimular el debateen lugar de obtener una sola palabrao frase como respuesta.
Fotos terrestres, aéreas o satelitalesque representan un suceso (p. ej.,un incendio) o proceso (p. ej., lareducción del nivel de un lago o ladeforestación).
Intercambio de opiniones, con laintervención de un moderador,dentro de un grupo relativamentepequeño de personas (generalmentede 6 a 12) acerca de una serielimitada de temas. Los beneficiariosllegan a un acuerdo acerca dedistintas preferencias, conclusiones,creencias, actitudes, etc.
Observacionesdirectas
Calificacionesrealizadas porobservadorescapacitados
Entrevistasindividuales coninformantes claveutilizandocuestionariossemiabiertos olistas decomprobación
Fotos e imágenes
Grupos de discusión
22
CUADRO 3: (continuación) Ejemplos de métodos de recogida de datos
Cua
lita
tivo
s -
sem
iest
ruc
tura
do
s
MÉTODOS HABITUALES BREVE DESCRIPCIÓN OBSERVACIONES
Es una técnica que suele sernecesaria en todas lasevaluaciones, especialmentecuando no se dispone deestudios de referencia.
Los indicadores y parámetrosse recaban de las personas yno son los investigadoresquienes los seleccionanpreviamente. Puede resultarproblemático generalizar lasconstataciones.
Es probable que loscontenidos estén llenos deobservaciones perspicaces,aunque quizá sean subjetivas,especialmente si la selecciónde los cambios importantes larealizan agentes externos.Se recomienda cotejar losresultados con los obtenidosmediante otras técnicas.Puede resultar problemáticogeneralizar las constataciones.
Son importantes los criterioscon que se seleccionan loscasos. Las posibilidades sonseleccionar los mejores casos,los peores o una combinaciónde casos que hayan tenidoresultados buenos, medios omalos.
En el procedimiento demuestreo debería intentarsereflejar las “mediasverdaderas” de la población.Esta técnica es viable en elcontexto de la evaluación deun proyecto o programa en elpaís. Para planificar el diseñode la encuesta y analizarlos datos se necesitanespecialistas capacitados.
Rememoración
Técnicas participa-tivas: calificacióncon arreglo a larenta, calificaciónde problemas,cartografía comuni-taria, transectoshistóricos
Técnica de lanarración históricao del cambio másimportante
Estudios de casos
Miniencuestas(normalmentecon muestras deentre 100 y 200encuestados yobservaciones delos proyectos yobservaciones decontrol)
Cua
ntita
tivo
s -
est
ruc
tura
do
sConsiste en entrevistar a losbeneficiarios y otros interesados,individualmente o en grupo, paraque reconstruyan la situaciónreinante antes del proyecto.
Se pide a los participantes queelaboren sus propios criterios eindicadores para analizar unasituación determinada, un procesoo la distribución de los recursos,y los cambios que se han producidoa lo largo del tiempo.
Recopilación de relatos sobre loscambios importantes producidossobre el terreno y selección de losmás significativos por parte degrupos de interesados o funcionariosdesignados a tal fin. Una vezdetectados esos cambios, algunaspersonas leen los relatos en voz altay se realizan debates periódicos ydetallados acerca del valor de loscambios notificados.
Evaluación detallada de un númeromuy limitado de observaciones(p. ej., de algunas organizacionesde microfinanciación, proyectosde desarrollo comunitario oexplotaciones agrícolas). Lastécnicas adoptadas puedensuperponerse con las presentadasmás arriba.
Se extrae una muestra de lapoblación abarcada por el programa(y, en su caso, de un grupo decontrol). Las entrevistas corren acargo de encuestadores que sebasan en un cuestionario impresoy codificado previamente. Lasanotaciones se registran en undispositivo auxiliar electrónico y seanalizan utilizando programasinformáticos sobre la base detécnicas descriptivas, deductivas yeconométricas normalizadas.
Los datos pertinentes para la evaluaciónpueden extraerse de los informes existentescompilados por los responsables del proyectoo por el personal de operaciones del FIDA.Pueden consultarse asimismo materialesprovenientes de otras fuentes, como lasoficinas estadísticas o administrativas públicas,los censos nacionales, los Indicadores deldesarrollo mundial del Banco Mundial y elPrograma de las Naciones Unidas para elDesarrollo (PNUD), etc. Por consiguiente,durante la misión preparatoria, es importanteestimar de qué datos secundarios se disponey su calidad. De este modo, la OE puedecentrar sus esfuerzos en la recopilación dedatos complementarios. En particular, esimportante comprobar si se ha realizado unestudio de referencia y, en caso afirmativo,determinar su calidad. Cuando no se hayanrealizado estudios de referencia o éstos noposean la calidad necesaria, en el documentoconceptual se debe determinar de qué modohabrá de realizarse la recogida de datos con elfin de garantizar una base sustitutiva plausibleque permita evaluar las condiciones iniciales.
Los evaluadores pueden, por ejemplo,realizar entrevistas detalladas con los benefi-ciarios del proyecto y reconstruir a través deellos —utilizando técnicas como la rememo-ración, entrevistas estructuradas o grupos dediscusión— la cadena lógica de los cambios
en comportamientos, productivos u organiza-tivos generados o promovidos por elproyecto. Ahora bien, deben actuar concautela y triangular la información obtenidade distintas fuentes (véase más adelante).Esta labor se realiza antes de decidir unconjunto de variables que se considerenrepresentativas de las condiciones iniciales yde las derivadas de las intervenciones delproyecto, y reviste especial importancia en elcaso de los indicadores de ingresos y costos,que pueden contener errores de medicióncuando se utilizan métodos basados en larememoración.24
Cuando es preciso reunir datos primarios, debeutilizarse por lo general una combinación demétodos (mixtos) para garantizar la exactitudde los datos y facilitar su interpretación. Asípues, mediante las encuestas es posibleobtener datos cuantitativos acerca de laspautas de producción agrícola, los ingresos ylos medios de vida, mientras que las percep-ciones sobre el desempeño de los asociadosen el desarrollo (como la capacidad derespuesta del gobierno a las necesidadescomunitarias, la disponibilidad de insumossuministrados privadamente o la utilidad de laparticipación del FIDA) pueden afrontarsemediante grupos de discusión. Debe adoptarseun enfoque racional para ordenar secuencial-mente las labores de recopilación de datos.
24. Entre los problemashabituales que plantean losmétodos basados en larememoración destacan lossiguientes: i) la recopilación dedatos incorrectos, y ii) el“efecto telescopio”, es decir, eldesplazamiento temporal de unacontecimiento hacia delante ohacia atrás. Por ejemplo, lacompra de un bien duraderoque tuvo lugar siete años atrás(antes de que comenzara elproyecto) podría proyectarse aun punto temporal situado tansólo cuatro años antes,durante la ejecución.
Nota: En este cuadro no se proporciona una lista exhaustiva de los métodos posibles. Se invita a los equipos deevaluación a examinar la bibliografía especializada al respecto. En el anexo 2 figura una lista de referencias bibliográficasque pueden consultarse para hallar otro material de lectura acerca de técnicas alternativas de recogida de datos.
23
CUADRO 3: (continuación) Ejemplos de métodos de recogida de datos
MÉTODOS HABITUALES BREVE DESCRIPCIÓN OBSERVACIONES
Las muestras ampliaspermiten realizar análisismás profundos y sonrepresentativas de un mayornúmero de subcategoríasde población (subregión,provincia, etc.), pero surealización puede resultarcostosa y llevar muchotiempo.
Encuestas másamplias (de más de400 hogares)
Cua
ntita
tivo
s-
est
ruc
tura
do
s
Por ejemplo, la interpretación de los resultadosde las encuestas cuantitativas obtenidos antesde la misión principal puede comprobarseo analizarse, cuando ésta se lleve a cabo,entrevistando a los participantes.
Cuando se elija a los beneficiarios y a ungrupo de control que represente a la pobla-ción atendida por el proyecto para determinarel impacto del mismo en las distintas esferas,debe prestarse atención a evitar los sesgossistemáticos. Por ejemplo, es posible que seproduzcan sesgos por el hecho de reunirdatos principalmente de los beneficiarios másacomodados o bien de los que están en peorsituación económica. Para conseguir unamuestra representativa, se utilizará el mues-treo aleatorio para la selección de los lugaresdonde se ha ejecutado el proyecto y parala selección de los hogares. Existen tresopciones de muestreo principales, a saber:
(i) Muestreo aleatorio simple. Se extrae unamuestra de la población total utilizandonúmeros aleatorios o procedimientosequivalentes.
(ii) Muestreo aleatorio estratificado.Primero se divide la población enestratos dotados de homogeneidadinterna (p. ej., propietarios de tierragrandes, medianos y pequeños ypersonas sin tierra) y las observacionesse seleccionan mediante muestreoaleatorio simple en cada estrato.
(iii) Muestreo por conglomerados. Lapoblación se divide en grupos despro-vistos de homogeneidad interna(p. ej., con arreglo al sexo, los ingresoso la actividad económica) y las observa-ciones se extraen mediante muestreoaleatorio simple en cada grupo.25
Las restricciones de la movilidad por razonesde seguridad, las consideraciones éticas o lapreocupación por la eficiencia pueden limitarla adopción sistemática de técnicas de mues-treo. No obstante, existen medios prácticospara reducir al mínimo los posibles sesgos,
como los que se enumeran a continuación:i) seleccionar las zonas de ejecución deproyectos de modo que queden abarcadasdistintas zonas agroecológicas; ii) realizarencuestas a beneficiarios que residan a dife-rentes distancias de una carretera principal,a fin de captar con exactitud los impactosdirectos e indirectos en las comunidades;iii) analizar los resultados en lugares donde lasactividades del proyecto se hallen en distintasetapas de madurez; iv) seleccionar comuni-dades y organizaciones dotadas de capaci-dades diferentes (p. ej., una serie de coopera-tivas de crédito rural cuyos registros indiquentasas de reembolso elevadas, moderadas ybajas); v) realizar entrevistas a terratenientesy a pequeños propietarios de tierras, a apar-ceros y a trabajadores sin tierra, y vi) realizarencuestas centradas en mujeres y hombresancianos y jóvenes.
Gracias a la recogida de datos y otros tiposde información provenientes de distintasfuentes y mediante métodos diferentes,26
el equipo de evaluación es capaz de formularjuicios bien fundados sobre importantesdimensiones del impacto del proyecto (p. ej.,¿Ha contribuido la intervención de unproyecto determinado a mejorar el acceso alos mercados?). Una técnica importante rela-cionada con todo lo dicho es la triangulaciónde la información y los datos reunidos. Segúnel CAD/OCDE, la triangulación supone lautilización de tres o más teorías, fuentes otipos de información, o tipos de análisis, paraverificar y sustentar una evaluación. De esemodo los evaluadores eliminan el sesgo quesurge cuando se recurre a una sola fuente deinformación, a un solo método o a una únicaobservación y, por consiguiente, se contri-buye a garantizar la solidez y fiabilidad delas constataciones de evaluación.25. Véase G. T. Henry (1990):
Practical Sampling (Muestreopráctico).
26. Véase A. Tashakkori yC. Teddlie (1998): MixedMethodology: CombiningQualitative and QuantitativeApproaches (Metodologíamixta: combinar enfoquescualitativos y cuantitativos).
24
27. Véase el Glosario de losprincipales términos sobreevaluación y gestión basadaen resultados, del CAD/OCDE.
28. El informe ARRI, que seelabora todos los años,contiene el análisis agregadode los resultados de todas lasevaluaciones realizadas en unaño determinado. Normal-mente cubre las cincoregiones geográficas del FIDA.
29. La OE ha colaborado conel Banco Africano de Desarrolloen una importante evaluaciónconjunta sobre la agricultura yel desarrollo rural en África en2007-2008. En el sitio web dela OE, dentro del portal delFIDA (www.ifad.org), hay unasección específica dedicada aesa evaluación conjunta.
GRÁFICO 1: Ejemplo de triangulación
Análisis de los datossecundarios reunidosen los documentos deevaluación existentes,como revisiones amitad de período,informes de misionesde supervisión, etc.
Evaluación final por elequipo de evaluación
La triangulación consiste en examinar lasopiniones y percepciones de: i) los beneficiariosdel proyecto (utilizando, por ejemplo, unacombinación de encuestas y técnicas partici-pativas); ii) el GPP en el país de que se tratey/o el personal de los departamentos compe-tentes encargados de la ejecución del proyecto(obtenidas mediante un cuestionario semies-tructurado), y iii) las fuentes secundariasdocumentadas en los informes de autoevalua-ción relacionados con el proyecto, como losinformes periódicos de situación, las revisionesa mitad de período y los IFP (véase el gráfico 1,en el que figura un ejemplo de triangulación).
L. Establecimiento de bases dereferenciaPara crear una base de referencia es precisoutilizar un punto o modelo de referencia conrespecto al cual puedan evaluarse los resul-tados o realizaciones.27 La comparación selleva a cabo internamente, con las opera-ciones del FIDA, y externamente, con otrasinstituciones pertinentes. Hay que hacer loposible para comparar datos similares. Inter-namente, los resultados de las evaluacionesde proyectos y de las EPP se compararáncon los datos contenidos en el ARRI,28
aunque también con los relativos a la regióngeográfica específica del FIDA en la que serealizó la evaluación del proyecto o la EPP. Enlas evaluaciones se compararán asimismo losresultados —en la medida de lo posible— conlos indicadores y metas contenidos en la
matriz para la medición de los resultados delMarco Estratégico del Fondo. Externamente,en lo referente a las EPP, hay que esforzarsepor reunir datos y comparar el desempeñodel FIDA con los resultados de otras IFI (enparticular, el Banco Mundial y los bancosregionales de desarrollo apropiados) y otrasinstituciones internacionales, sobre todo lasorganizaciones de las Naciones Unidas quetrabajan en el sector agrícola y el desarrollorural, preferiblemente en el mismo país.
Existen varios aspectos en los que el tamañodel FIDA y su mandato específico, así comolos métodos operacionales que utiliza, lo dife-rencian de los demás organismos de desarro-llo. Sin embargo, también existen numerosassimilitudes entre el FIDA, las IFI, las organiza-ciones de las Naciones Unidas y otras organi-zaciones multilaterales de desarrollo, entre lasque destacan la necesidad de demostrar losresultados alcanzados, gestionar los riesgos ytrabajar en consonancia con los marcos dedesarrollo impulsados por los propios países.También las IFI emplean instrumentos de de-sarrollo parecidos (como préstamos, donacio-nes, diálogo sobre políticas, etc.) y, al igualque el FIDA, procuran hacer gala de creativi-dad y capacidad de innovación. Por otro lado,las políticas y metodologías de evaluaciónpresentan ciertas diferencias en las distintasorganizaciones y, por lo tanto, los resultadosde la comparación con las bases de referen-cia deben interpretarse con cautela.
25
Percepciones de losbeneficiarios
Entrevistas al GPP y/o al personal de losdepartamentos competentes
encargados de la ejecución del proyecto
26
M. Evaluaciones conjuntasLas evaluaciones conjuntas reducen losriesgos al mínimo porque ofrecen la oportu-nidad de armonizar los enfoques de evalua-ción de los distintos organismos donantes yasociados. Además, esas evaluaciones29
pueden contribuir a avanzar en la aplicaciónde las disposiciones contenidas en la Declara-ción de París que tienen por objeto promoverla eficacia de la ayuda, y a ayudar a superarproblemas de atribución en la evaluación de laeficacia de los programas y estrategias, lacomplementariedad de las contribuciones delos asociados, la calidad de la coordinación dela ayuda, etc. Naturalmente, hay varios gradosde “conjunción”, según la medida en que losdistintos asociados colaboren en el procesode evaluación, hagan confluir los recursosdestinados a esa labor y combinen sus capa-cidades de elaborar información al respecto.
Las evaluaciones conjuntas permiten poneren común los recursos para realizar unalabor en los países más eficaz tanto desde elpunto de vista teórico como sobre el terreno,lo que sin duda potenciará enormemente lacobertura, calidad y credibilidad de la evalua-ción. Además, dan la oportunidad de reunirel considerable volumen de pruebas, expe-riencias y conocimientos de evaluaciónacumulados por más de una organización. Sise gestionan debidamente, las evaluacionesconjuntas también contribuyen a reducir loscostos de transacción que el país o paísesabarcados por la evolución deben sufragar.Por otro lado, las evaluaciones conjuntasplantean riesgos mayores que los estudiosrealizados por un solo responsable, porqueaumentan las posibilidades de desacuerdosobre los métodos, prioridades, constata-ciones o la gestión de los recursos, y por lassusceptibilidades ligadas a los riesgos enmateria de reputación institucional. De modoanálogo, la coordinación de la labor conjuntapuede resultar compleja y, a menudo,comporta un aumento del costo y la duraciónde la evaluación como consecuencia de loscostos que supone la coordinación del tiempoy los viajes del personal, procedimientos
de gestión más largos y otras causasde retrasos.30
Dicho esto, es probable que el número deevaluaciones conjuntas aumente por la impor-tancia que los donantes atribuyen a trabajarjuntos más estrechamente en las iniciativasde cooperación para el desarrollo (p. ej.,mediante la financiación de proyectos queadopten un enfoque sectorial, la preparaciónde estrategias conjuntas de asistencia a lospaíses, etc.). Por todo ello, se trata de unaesfera a la que la OE debe prestar atenciónpara participar de manera selectiva en evalua-ciones conjuntas de importancia para el FIDAy contribuir al debate en curso que se estádesarrollando al respecto en el marco delGrupo de las Naciones Unidas sobre Evalua-ción, el Grupo de Cooperación en materia deEvaluación y la Red de Evaluación delDesarrollo del CAD.
N. TransparenciaPara que el proceso sea transparente, losprocedimientos y la metodología de evalua-ción se debatirán con las partes interesadasde la evaluación,31 mientras que los informesde evaluación deberían incluir datos e infor-mación que sustenten adecuadamente lasconclusiones, así como descripciones perti-nentes del proceso de evaluación, la biblio-grafía consultada y los documentos de trabajoelaborados para respaldar las constatacionesy recomendaciones del informe. El informecompleto de evaluación y los documentos detrabajo correspondientes son objeto dedivulgación pública.
30. Para un examen másexhaustivo de estas cuestiones,véase el Manual de gestión deevaluaciones conjuntas,Colección de Evaluación delCAD, OCDE, París: 2006.
31. Las partes interesadaspueden incluir al FIDA, las auto-ridades gubernamentales y elpersonal del proyecto, que sonlos usuarios principales de losresultados de las evaluaciones.
27
determinado para garantizar una realizaciónordenada y puntual de la evaluación.
Diseño de la evaluación33
En lo que a la fase de diseño se refiere,el oficial de evaluación designado por laOE como evaluador principal prepara undocumento conceptual en el que figura unmarco de evaluación, y en el que seenumeran las preguntas clave de evaluación,se representa gráficamente el calendarioprevisto, se describe la composición delconsorcio central de aprendizaje (CCA)(véase más adelante el párrafo al respecto),se determinan los conocimientos técnicosnecesarios y se proponen actividades decomunicación y aprendizaje. El documentoconceptual es un componente fundamentalde cualquier evaluación porque es eldocumento maestro de referencia en el quese basará todo el proceso. La fase de diseñotambién es la etapa en la que se identificanlas partes interesadas en la evaluación y sedefinen las técnicas y métodos específicosde evaluación para la recopilación de datos.
En el cuadro 4 figura un índice indicativo deun documento conceptual para la evaluaciónde proyectos, que debería ocupar unas 6 ó 7páginas, excluidos los anexos. En el anexo 3se presenta un ejemplo de documentoconceptual que puede resultar de utilidad.
Los proyectos siguen siendo el instrumentoprincipal utilizado por el FIDA para reducir lapobreza rural y, por ello, en este capítulo seproponen directrices detalladas sobre lasevaluaciones de proyectos, que son de dostipos: i) evaluaciones finales, que se llevan acabo al término de un proyecto cuando elFIDA no prevé realizar ninguna otra fase, yii) evaluaciones intermedias, que se efectúanal finalizar una fase y antes del diseño y laejecución de una nueva fase de la mismaoperación financiada por el FIDA. La OEtambién realiza evaluaciones de proyectos encurso y cerrados para incorporarlas, comoelementos constitutivos, a evaluaciones deprogramas en los países, temáticas y a nivelinstitucional.
A. Procedimientos másimportantes
Este apartado comprende los procedimientosmás importantes de la evaluación deproyectos, que se dividen en seis fases princi-pales: i) diseño de la evaluación; ii) trabajo enel país; iii) redacción de informes; iv) recopila-ción de comentarios; v) concertación delacuerdo en el punto de culminación (APC),32
y vi) comunicación de las constataciones yrecomendaciones de la evaluación. En funciónde las circunstancias, la dirección de la OEquizá tome en consideración perfeccionaraspectos concretos de un procedimiento
32. De conformidad con lapolítica de evaluación delFIDA, toda evaluaciónconcluye con un acuerdo en elpunto de culminación (APC),que está integrado por elacuerdo alcanzado por ladirección del FIDA y elgobierno respecto de lasconstataciones principales dela evaluación y el compromisode ambos de adoptar y poneren práctica las recomenda-ciones formuladas dentro deunos plazos establecidos.
33. Antes de esta etapa tienelugar el proceso de selecciónde los proyectos (y losprogramas en los países) quese evaluarán, que se realiza enel contexto de la elaboracióndel programa de trabajo ypresupuesto de la OE.
A. Procedimientos más importantes
B. Informes de evaluación de proyectos:
contenidos, definiciones y ejemplos
Metodología para laevaluación de proyectos
3
28
Hay que tener especialmente en cuentacuatro aspectos del documento conceptual:i) el marco de evaluación; ii) el CCA; iii) lasautoevaluaciones elaboradas por la divisiónde operaciones correspondiente del FIDA yel gobierno interesado, y iv) el calendario. Elmarco de evaluación, en el que se exponela justificación de las metodologías y procedi-mientos seleccionados, adopta la forma deuna matriz en la que se muestran los vínculosentre los distintos objetivos de la evaluacióndel proyecto, los criterios que se aplicarán,las cuestiones primordiales y secundarias quehay que abordar para alcanzar los objetivosde la evaluación, y los instrumentos y fuentesde recopilación de datos que la OE desple-gará y utilizará para responder a las preguntascontenidas en él. En el anexo 3 puedenconsultarse algunos ejemplos.
De conformidad con la política de evalua-ción,34 la OE establece un CCA para cadaevaluación, cuyos miembros son los usuariosprincipales de la evaluación.35 Para determinarla composición del CCA, existe la posibilidadde realizar un análisis de las partes intere-sadas que permita al evaluador principalseleccionar las instituciones y personas quepuedan contribuir en mayor medida a laevaluación y beneficiarse de ella. El CCAayuda a identificar las cuestiones importantes
y las fuentes de información, y formulaobservaciones en las etapas clave delproceso (sobre todo de cara a los borradoresdel documento conceptual y de la evaluaciónfinal). Los miembros del CCA también parti-cipan en el taller final de aprendizaje que laOE organiza para cada evaluación. Porúltimo, una vez que se ha ultimado el informede evaluación independiente, el CCA examinalas constataciones del mismo y debate lasrecomendaciones con miras a sentar lasbases para la elaboración de un APC.
Normalmente los CCA de las evaluaciones deproyectos están integrados por: i) el GPP; ii) eldirector/coordinador del proyecto; iii) un altofuncionario del gobierno (del ministerio quecolabora con el FIDA y está encargado de lacoordinación); iv) un alto funcionario de laadministración provincial o estatal (del minis-terio o departamento técnico interesado);v) representantes de las organizaciones cofi-nanciadoras y las instituciones cooperantes(si las hay); vi) representantes de las organiza-ciones no gubernamentales (ONG) vinculadasa la ejecución del proyecto (si las hay) y unrepresentante de las organizaciones comunita-rias, y vii) el evaluador principal de la OE. Estasson indicaciones generales que deberán serusadas con flexibilidad, teniendo en cuenta lascircunstancias especiales de cada proyecto,así como las opiniones de la división regional ylas autoridades públicas competentes.
Las autoevaluaciones permiten a todas laspersonas que intervienen en el diseño y la ejecu-ción del proyecto expresar sus conocimientos ypercepciones acerca de los resultados y eldesempeño de las operaciones. El alcance y losplazos en que han de realizarse quedan refle-jados en el documento conceptual.36
En las evaluaciones de proyectos, la prepara-ción de autoevaluaciones corre a cargo delGPP y de los responsables del proyecto, y laOE imparte orientación respecto de la metodo-logía, el enfoque y las entregas previstas. Por logeneral, las autoevaluaciones se llevan a cabotemporalmente entre la misión preparatoria y la
34. Véase el párrafo 33 de lapolítica de evaluación del FIDA.
35. En una evaluación deproyecto, por ejemplo, entrelos miembros del CCA podríanfigurar el GPP del FIDA quetiene encomendado el paísen cuestión, un representantede las autoridadesgubernamentales queintervienen en la ejecución delproyecto, tanto a nivel federalcomo a un nivel administrativoinferior, representantes de lasorganizaciones de la sociedadcivil que participan en elproyecto (p. ej., ONG uorganizaciones comunitarias).También podrán formar partedel CCA profesoresuniversitarios, representantesde grupos de promoción ygrupos de estudiosos, asícomo parlamentarios, ya quepueden aportar puntos de vistaalternativos de utilidad para elproceso de evaluación. Si sedesea más información alrespecto, véase el párrafo 33de la política de evaluacióndel FIDA.
36. En virtud de la políticade evaluación, esasautoevaluaciones debenrealizarse como unaaportación a todas lasevaluaciones independientesde la OE.
CUADRO 4: Cuadro de los contenidos deun documento conceptual para laevaluación de proyectos
I. Justificación
II. Antecedentes del país y del proyecto
III. Objetivos, metodología (marco de
evaluación incluido) y proceso de la
evaluación
IV. Recopilación de datos y pruebas
V. Consorcio central de aprendizaje
VI. Equipo de consultores
VII. Comunicación y divulgación
VIII. Calendario propuesto
IX. Bibliografía
29
misión principal de evaluación. La misiónpreparatoria puede ser una ocasión paracelebrar un encuentro informativo con losresponsables del proyecto acerca de losobjetivos, el calendario y el enfoque generalde la autoevaluación.
Normalmente, cuando la misión principal deevaluación llega al país interesado, ya sedispone de una autoevaluación realizada porel personal de operaciones. El marco deevaluación sirve de base para las autoevalua-ciones, por ejemplo, en lo relativo a la escalade calificaciones y los criterios adoptados porla OE para evaluar los resultados y el impacto.De este modo se contribuye a que las autoe-valuaciones estén mejor focalizadas y resultenútiles para la evaluación que lleva a cabo laOE. En particular, hay que invitar a laspersonas que realizan las autoevaluaciones aque proporcionen respuestas a las preguntascontenidas en el marco de evaluación. Por logeneral conviene organizar un debate en elpaís acerca de las autoevaluaciones en el queparticipen plenamente los principales intere-sados en la evaluación del proyecto. En esaocasión hay que dejar claro que los resul-tados son tan sólo una aportación a la evalua-ción que la OE realizará posteriormente y noafecta a la independencia de esta evaluación.
Cuando se disponga de un IFP, éste deberácumplir los requisitos de la autoevaluación. Enesos casos no será necesario elaborar otroinforme, y la OE pedirá a la entidad respon-sable de la autoevaluación que limite susaportaciones a los dos aspectos siguientes:i) las calificaciones relativas a cada uno de loscriterios de evaluación, y ii) las respuestas alas preguntas del marco de evaluación que nose hayan abordado en el IFP.
El documento conceptual, según lo previsto,ha de incluir un calendario específico del
proceso de evaluación del proyecto, quedebería abarcar todas las etapas esenciales,junto a las fechas propuestas, por ejemplo lasrelativas a la misión principal de evaluación, lapresentación de un borrador del informe de
evaluación, el plazo límite para que el personaldel PMD y los asociados en el país formulenobservaciones y la fecha de la reunión recapi-tulativa. Ésta es una forma de garantizar quetodos los asociados en la evaluación hayanconcordado una hoja de ruta clara una vez queel documento conceptual se haya ultimado.
Después de haber elaborado el documentoconceptual se preparará un informe prepara-torio en el que se resumirán los resultados delanálisis de la bibliografía y del examen de ladocumentación interna y de los intercambioscon el GPP y otros miembros del personal deoperaciones del FIDA. El informe preparatoriocontendrá también un análisis de los resul-tados y el impacto del proyecto, con inclusiónde las calificaciones, así como las cuestionese hipótesis que merezcan estudiarse más afondo durante la misión principal de evalua-ción. Además, se incluirá una breve explica-ción de la evaluabilidad del proyecto objeto deexamen. La base para elaborar esos informesson los documentos de evaluación disponi-bles, como informes de las misiones desupervisión, revisiones a mitad de período,IFP e informes de situación y sobre la marchadel proyecto preparados por los responsablesde la intervención y otras partes interesadas.
Por lo general, en el examen de las fuentesexternas se incluyen documentos como losinformes acerca del país de la EconomistIntelligence Unit, los indicadores económicos,sociales y relativos a la pobreza tomados defuentes nacionales (p. ej., en el ministerio deplanificación), las estadísticas del BancoMundial, el documento de estrategia de luchacontra la pobreza (DELP), de haberlo, y otrosdocumentos importantes que contengan infor-mación actualizada sobre las condiciones yperspectivas del país. Se consultan asimismolos documentos pertinentes elaborados porlos donantes y las organizaciones de conoci-mientos que trabajan en los temas de la agri-cultura y el desarrollo rural.37 La fase de revi-sión de documentación ayuda al personal y alos demás participantes a tener una idea delcontexto operacional, ofrece información
37. Esas informacionespueden obtenerse en partevisitando los sitios web delGrupo de las Naciones Unidassobre Evaluación, el Grupo deCooperación en materia deEvaluación y la Red sobreEvaluación del Desarrollo delCAD, cuyas respectivasdirecciones de Internet son lassiguientes: www.uneval.org,www.ecgnet.org ywww.oecd.org.
30
acerca del desempeño del FIDA y permitedetectar cuestiones transversales y extraerenseñanzas. Las constataciones obtenidas seresumen en un informe preparatorio en el quese determinan las cuestiones primordiales quela evaluación habrá de abordar. En el anexo 4figura un modelo de informe preparatorio.
Al comienzo del proceso la OE nombra a losrevisores internos inter pares de cadaevaluación, a quienes por norma general sepide que formulen observaciones sobre elborrador de documento conceptual, elborrador de informe final y algunas otrasentregas, según se considere apropiado.38
Antes de proveer los documentos principalesa los revisores inter pares, es útil obtener eincluir en ellos las observaciones del jefe delequipo de consultores. Después de haberincorporado las observaciones de los revi-sores inter pares de la OE y del jefe delequipo, los borradores se facilitan a la divisiónregional competente del FIDA para recabarsus reacciones, de acuerdo con el protocolode comunicaciones establecido por la OE(véase al respecto el anexo 5). Una vez quese han tenido en cuenta esas reacciones, elborrador revisado de documento conceptualse envía a las autoridades nacionales y a losresponsables del proyecto para que loexaminen antes de la misión preparatoriade la OE sobre el terreno.
Aunque la calidad y los contenidos de todaslas evaluaciones independientes son respon-sabilidad de la OE, no está de más insistir enla importante función que desempeñan losdistintos evaluadores (quienes, normalmente,son consultores). La OE lleva a cabo un rigu-roso proceso de selección, supervisión ygestión de todo el personal que utiliza sobreel terreno. En aras de la calidad, la OE hacegran hincapié en supervisar y administrareficazmente a los consultores, basándose enel asesoramiento de un grupo de trabajosobre el tema integrado por representantesde las distintas divisiones. En el anexo 6 seexponen las disposiciones en materia deconflicto de intereses que la OE toma en
consideración cuando contrata a los consul-tores de evaluación.
Trabajo en el país
Normalmente la siguiente etapa esencial delproceso de evaluación consiste en realizaruna misión preparatoria, cuyo objetivo prin-cipal es discutir el borrador de documentoconceptual con el gobierno, los responsablesdel proyecto y otras partes interesadas, yrecabar información y opiniones de losmismos. Además, la misión preparatoriapermite que el evaluador principal se familia-rice con la situación del país y el contextoen que se ejecutó el proyecto.
El evaluador principal de la OE encabeza lamisión, en la que también participa el jefe delequipo de consultores. Por lo general esasmisiones transcurren durante más o menosuna semana en el país interesado, dedicandotiempo suficiente a la zona del proyecto encuestión. El evaluador principal elabora lapropuesta de programa de la misión prepara-toria, que se examina con la dirección de laOE antes de que la misión se lleve a cabo.
Como ya se ha señalado, la OE debe utilizar lamisión preparatoria para facilitar aclaraciones yorientaciones de cara a la preparación de lasautoevaluaciones. Para el evaluador principalesas misiones representan una ocasión deinstruir a los asociados acerca de la metodo-logía y los procedimientos de evaluación, asícomo de iniciarlos a la política de evaluacióndel FIDA. De regreso a la Sede, el evaluadorprincipal deberá ultimar el documento concep-tual y elaborar un informe de fin de misión.
La misión preparatoria permite al evaluadorprincipal y al jefe del equipo de consultoresencontrar a consultores locales. Además,gracias a ella el evaluador principal puededeterminar, sobre la base del sistema existentede SyE de proyectos, si hay datos disponiblesy en qué medida pueden utilizarse durante laevaluación. Es importante establecer si podríaser necesario organizar actividades complemen-tarias de recopilación de datos —identificadas
38. Los nombres de los revi-sores internos inter pares decada evaluación de proyecto(y de los programas en lospaíses) deben definirse alprincipio de cada año.
31
durante el informe preparatorio realizado enla Sede en el marco del documento concep-tual— antes de la llegada de la misión principalde evaluación. De juzgarse necesario, se plani-ficará la recopilación de datos adicionales(p. ej., mediante encuestas preparatorias) conla colaboración de instituciones locales cualifi-cadas (como empresas de consultoría,universidades y ONG) que cuenten con unatrayectoria reconocida en la materia.
Si se realizan encuestas previas a la misiónprincipal de evaluación, deberán dotarse detiempo y recursos suficientes con los objetivossiguientes: i) vincular el diseño de las encuestascon el marco de evaluación; ii) desarrollar yensayar sobre el terreno instrumentos de reco-pilación de datos, como cuestionarios estructu-rados para utilizar en los hogares, técnicas decartografía comunitaria, etc.; iii) seleccionar unamuestra de la población que se someterá a laencuesta, una de beneficiarios del proyecto yotra como grupo de control; iv) impartir capaci-tación a los encuestadores que se harán cargode reunir datos primarios; v) codificar y alma-cenar electrónicamente los datos; vi) analizar einterpretar los datos, y vii) elaborar un informesobre la encuesta.
Durante la misión preparatoria es habitualmantener debates con el gobierno y los respon-sables del proyecto con el objeto de elaborar elplan general de reuniones y el itinerario de lasvisitas sobre el terreno de la misión de evalua-ción. En lo posible y siempre que resulte prác-tico, se utilizará el método de muestreo alea-torio para determinar las comunidades y loslugares del proyecto que se visitarán. La misiónpreparatoria sirve para concordar los criteriosde selección de las comunidades y beneficiariosque se entrevistarán, así como las actividadesdel proyecto que se visitarán durante la misiónprincipal de evaluación.
Debe dejarse tiempo suficiente (al menos unmes) entre la misión preparatoria y la misiónprincipal de evaluación. De ese modo losconsultores pueden preparar lo necesario parala misión principal, las autoridades nacionales
y los responsables del proyecto puedendisponer las medidas logísticas necesariaspara la misión de evaluación, etc.
Los objetivos básicos de la misión principal
de evaluación son, entre otros, reunir datos einformación para construir la serie de eviden-cias de evaluación, validar y complementar elinforme preparatorio, entablar relación con losbeneficiarios, los asociados gubernamentalesy los interesados al nivel de proyecto y país,y obtener información de primera mano sobrelas actividades y los resultados sobre elterreno del proyecto y el programa en el país.
Para ofrecer una perspectiva multidisciplinariasobre los resultados del proyecto, se reco-mienda que los equipos de evaluación de losproyectos estén formados por entre tres ycuatro miembros, contando al jefe del equipode consultores. Es fundamental la participa-ción de especialistas nacionales y de mujeres.Antes de la misión, los miembros del equipodeberán reflexionar sobre los criterios deselección de los lugares que habrán de visitarsobre el terreno, en particular si no se ha reali-zado una amplia actividad de recopilación dedatos. Hay que informar adecuadamente a losresponsables del proyecto y éstos debenproporcionar información sobre la viabilidad delos transportes y los problemas de seguridad.
Para la OE es obligatorio ponerse en contactocon el oficial de seguridad de las NacionesUnidas a fin de entender la situación deseguridad reinante sobre el terreno. Debeobtenerse, de ser necesaria, la autorizacióndel personal de seguridad del sistema de lasNaciones Unidas antes de comenzar las visitassobre el terreno.
Las interacciones en la capital del país
suelen ser importantes. Una de las tareas de lamisión es celebrar reuniones con el ministerioclave encargado de la coordinación o con eldepartamento responsable de las relaciones delgobierno con el FIDA, así como encuentros conlos ministerios de carácter técnico y otros inte-resados (como los cofinanciadores, si procede,
32
La reunión recapitulativa puede celebrarse anivel provincial, de distrito o en la capital, obien a ambos niveles; el lugar se determinarádurante la misión preparatoria según lascircunstancias de cada caso y en consultacon las autoridades públicas. Es importanteque los altos funcionarios públicos de lacapital asistan a la reunión recapitulativa siésta se celebra en la provincia o distrito, yviceversa. La reunión habrá de estar presididapor un alto funcionario del gobierno. Deconformidad con los procedimientos estable-cidos para la aplicación de la política deevaluación del FIDA,39 el evaluador principal yel GPP tienen que asistir a esas reuniones.La función del evaluador principal y del jefedel equipo de consultores en la reunión sueleconsistir en realizar una presentación enPowerPoint en la que se ponen de relieve loscontenidos principales de la ayuda memoria.
39. Véase al respecto elBoletín del Presidente delFIDA PB 2003/13 acerca de lapolítica de evaluación.
las ONG o los operadores del sector privado)que intervienen en la ejecución del proyecto.
Antes de proceder a efectuar las visitas sobreel terreno, la misión debería celebrar consultascon las instituciones públicas de nivel provincialo de distrito responsables de la ejecución delproyecto, así como con los responsables delproyecto competentes (director/coordinadordel proyecto). Posteriormente, debería celebrarconsultas con la población rural pobre,tanto individualmente como en grupos dediscusión. En las evaluaciones de proyectos espráctica habitual que la misión de evaluaciónpase de dos a tres semanas en los lugares deejecución del proyecto, para reunirse conrepresentantes de la población rural pobre ysus comunidades, mantener debates con lasautoridades provinciales y de distrito y con elpersonal del proyecto, visitar diferentes sitiosdel proyecto y tratar, si se juzga apropiado, conlas ONG y el sector privado.
Todas las misiones de evaluación tienen quepreparar una ayuda memoria en el que seresuman las constataciones iniciales del equipobasadas en la labor teórica y las observacionessobre el terreno (en el anexo 3 figuran ejemplosde buenas prácticas al respecto). La elabora-ción de la ayuda memoria no habrá de dejarsepara el final de la misión, sino que debe empe-zarse a redactar pronto, y el documento debeactualizarse y perfeccionarse a medida que lamisión se desarrolle. La ayuda memoria nodebe contener calificaciones ni recomenda-ciones, debe ser corto (10 páginas comomáximo) y habrá de enviarse por correo elec-trónico al Director de la OE, para que expresesu opinión, antes de ultimarlo y distribuirlo alPMD y a los asociados de cara a la reuniónrecapitulativa. Si el tiempo lo permite, deberíatratar de recabarse también la opinión oficiosadel GPP antes de distribuir la ayuda memoria alos asociados en el proyecto y a nivel nacional.
Una vez finalizada, la ayuda memoria deberíadarse a conocer a todos los participantes invi-tados a la reunión recapitulativa al menos 24horas antes de su celebración. La fecha debe
CUADRO 5: Índice de ayuda memoria deevaluación de un proyecto
I. Antecedentes, objetivos y proceso
de la evaluación
II. Programa de la misión de evaluación,
con inclusión de las zonas
del proyecto visitadas y el número de
comunidades abarcadas
III. Información sobre el país y el proyecto
IV. Resultados principales de la
ejecución, por componente
V. Principales cuestiones observadas
VI. Esferas que se someterán a un
análisis más detallado durante la
fase de redacción del informe
VII. Siguientes fases del proceso
de evaluación
VIII. Apéndices
fijarse, y las invitaciones enviarse, en cuanto lamisión inicie la labor de evaluación en el país,en el entendido de que el documento de ante-cedentes (o sea, la ayuda memoria) estará listoa su debido tiempo. En el cuadro 5 figura atítulo indicativo un índice de ayuda memoria.
33
Ambos deben proporcionar las aclaracionese informaciones que los participantes lessoliciten. Además, se ocupan de realizar unasíntesis de las etapas restantes del procesode evaluación y destacar los aspectos y deci-siones principales que hayan surgido durantela reunión. Normalmente esos aspectos ydecisiones se adjuntan en forma de anexo ala ayuda memoria y éste, a su vez, se incor-pora al informe de fin de misión.
Redacción del informe
En lo posible, durante la fase de redacción delinforme, el jefe del equipo de consultores pasala mayor parte de su tiempo en la Sede delFIDA, con el fin de facilitar las relaciones y elintercambio de opiniones con la OE a medidaque el proceso sigue su curso. Los miembrosde la misión elaboran los documentos detrabajo (según los distintos mandatos) en susrespectivos lugares de residencia. Cada docu-mento de trabajo se centra en un subsector,un tema concreto o una cuestión normativa oestratégica; los temas que deben abarcarseestán definidos en el documento conceptual ydependen de la naturaleza del proyecto o delprograma en el país que se estén evaluando.Los documentos de trabajo sirven de base parala elaboración del informe principal de evalua-ción, pero no forman parte de éste, sino que seenumeran como anexos en el índice y la OE lospone a disposición de quien los solicite.
El evaluador principal y el jefe del equipo deconsultores examinan los documentos detrabajo y envían sus observaciones a losmiembros de la misión de evaluación. Paragarantizar la coherencia, el evaluador principaly el jefe del equipo de consultores ponen encomún sus observaciones antes de remitirlasa los miembros de la misión.
El jefe del equipo de consultores es el encar-gado de proporcionar a la OE un borrador deinforme basado en las contribuciones revi-sadas de cada miembro de la misión. Antesde ello, proporcionará el documento a losmiembros de la misión para recabar susobservaciones. El evaluador principal es el
responsable de revisar el primer borrador delinforme y solicitar al jefe del equipo de consul-tores que introduzca, si procede, las mejorasnecesarias. Posteriormente, antes del procesode revisión inter pares realizado en la OE,incumbe al evaluador principal ultimar el docu-mento y velar por que el informe satisfaga losrequisitos de calidad fijados por la OE.
Si se le solicita, el jefe del equipo de consul-tores proporciona al evaluador principal de laOE su propia valoración del desempeño delos distintos miembros de la misión, con inclu-sión de la calidad general de los respectivosdocumentos de trabajo. Esa respuesta es unaaportación importante que la OE utiliza paradecidir si extender la orden de pago final delos miembros de la misión.
Observaciones de los asociados
Una vez finalizado el proceso de revisión interpares de la OE e incorporadas las observa-ciones correspondientes, el evaluador principalsuministra al PMD el primer borrador revisadodel informe, de acuerdo con las directricesrecogidas en la matriz en la que se resume elprotocolo de comunicaciones internas quedeben seguir las entregas de evaluación (véaseel anexo 5). Debe dejarse tiempo suficiente alPMD (al menos tres semanas) para quepresente sus observaciones por escrito a laOE. Se aconseja que la OE y el PMD celebrenreuniones oficiales y oficiosas a lo largo de todoel proceso para debatir las observacionesformuladas y comprender más a fondo lascuestiones planteadas por las evaluaciones.
Cuando se reciben las observaciones porescrito del PMD, el evaluador principal (encolaboración con el jefe del equipo de consul-tores) incorpora las revisiones que considereapropiadas y prepara un documento derespuesta, que permite seguir el modo en quelas observaciones se tuvieron en cuenta en eldocumento revisado. En el documento derespuesta se indican las revisiones específicas(con inclusión de referencias a los párrafoscorrespondientes) realizadas por la OE en elinforme principal de evaluación en respuesta a
34
que las partes interesadas pertinentescomprendan más a fondo las constataciones yrecomendaciones principales de la evaluacióny sentar las bases para la preparación del APCcorrespondiente. Previamente se prepara undocumento de debate de 2 ó 3 páginas, en elque se exponen las constataciones y recomen-daciones principales de la evaluación. Losmiembros del CCA deben participar en el taller,así como representantes de las organizacionesasociadas, las administraciones federales yprovinciales o estatales, las ONG y la sociedadcivil, las instituciones de investigación y lasuniversidades, las organizaciones multilateralesy bilaterales, el GPP, el evaluador principal yotros interesados que se estimen oportunos.
De esos talleres surgen aportaciones útiles parala preparación del ACP, que deberá ajustarse almodelo que la OE ha elaborado para ese tipode documentos (véase al respecto el anexo 7).El APC estará firmado por sendos represen-tantes de la dirección del FIDA y del gobiernointeresado. El representante del FIDA es eldirector de la división regional correspondiente.En nombre del gobierno, normalmente se pidea un oficial de la categoría de secretario odirector general que firme el APC. El borradordel APC se transmite al PMD para que formuleobservaciones. Cuando éstas se han recibidoe integrado adecuadamente, el APC se envíaal gobierno para que dé su visto bueno.
Comunicación
A los efectos del presente manual, en este apar-tado se resumen las actividades de comunica-ción que la OE realiza hacia el final del procesode evaluación. Estas actividades de comunica-ción se esbozan en el documento conceptual.En todas las evaluaciones hay que llevar a cabocuatro actividades fundamentales de ese tipo.
La primera consiste en encomendar al jefedel equipo de consultores que prepare unareseña de evaluación de cada proyecto. Esasreseñas asumen la forma de folletos de unas800 palabras que contienen una síntesis delas constataciones y recomendaciones princi-pales de las evaluaciones de proyectos.
las observaciones escritas presentadas porlos asociados acerca del borrador del informede evaluación. En el documento de respuestatambién se deben facilitar explicaciones porescrito en el caso de las observaciones queno se haya considerado apropiado incluir enel informe final de evaluación. Mediante eldocumento de respuesta se espera, entreotras cosas, mejorar la transparencia y credi-bilidad del proceso de evaluación.
Una vez que el Director de la OE ha dado elvisto bueno, el borrador de informe revisado yel documento de respuesta se transmiten alPMD. El informe se envía luego al ministeriopúblico federal o central encargado de lacoordinación que mantiene las relaciones conel FIDA. Ese ministerio tiene encomendada latarea de distribuir el informe a las otras autori-dades interesadas y enviar una síntesis de lasdistintas observaciones a la OE en el plazo deun mes. Al mismo tiempo, el evaluador prin-cipal transmite el borrador de informe a losorganismos donantes (los cofinanciadores), yles pide que formulen observaciones. En estaetapa, el evaluador principal, con el apoyo deljefe del equipo de consultores, elabora denuevo un documento de respuesta de lasobservaciones recibidas del gobierno. Unavez incorporadas las observaciones que seestimen oportunas, el informe debe ultimarse.
Acuerdo en el punto de culminación (APC)
Todas las evaluaciones contemplan un APC.Aunque pueda parecer sinónimo de unarespuesta de la dirección, el APC va un pocomás allá, porque en él queda reflejada larespuesta conjunta del gobierno y de la direc-ción del FIDA a la evaluación. Es éste unaspecto importante, dado que el gobierno delpaís competente es el responsable último de laejecución de la operación financiada por el FIDA.El proceso que conduce a la elaboración delAPC se resume en los dos párrafos siguientes.
Una vez que el informe final de evaluación estálisto, por lo general se celebra un taller de unsolo día como cierre del proceso de evaluacióndel proyecto. El objetivo básico de ese taller es
La segunda consiste en que el jefe del equipodebe facilitar al evaluador principal el borradorde un prólogo —que será firmado por elDirector de la OE— para su inclusión en elinforme principal de evaluación. Las reseñas yprólogos, de los que se podrán obtener ejem-plos de buenas prácticas en la unidad decomunicaciones de la Oficina de Evaluación, seelaborarán con la debida antelación antes deque el jefe del equipo de consultores presentea la OE el primer borrador del informe.
La tercera actividad es la redacción de unresumen ejecutivo, que debe adjuntarse alprimer borrador de informe presentado a la OE.El resumen deberá abarcar las principalesconstataciones de evaluación e incluir unrecuadro con las calificaciones asignadas atodos los criterios evaluados y el compendiode las conclusiones salientes de la evaluación.Deberá tener una extensión entre 3 y 4 páginasy estar escrito en el mismo idioma que el docu-mento principal. Si el resumen está en españolo francés, el evaluador principal deberá asegu-rarse de que se traduzca al inglés. En elinforme de evaluación deberán incluirse lasversiones del resumen ejecutivo (y de losprólogos) en ambos idiomas. Las reseñas se
publican en inglés y en el otro idioma oficial delFIDA en el que se elaboró la versión original.
La cuarta actividad de comunicación es elborrador de informe de evaluación, que nodeberá tener más de 35 ó 40 páginas(incluido el índice pero sin contar los anexos).Cada capítulo deberá concluir con unrecuadro en el que se expondrán los puntosesenciales. Como se ha mencionado anterior-mente, los documentos de trabajo preparadospor los diferentes miembros de la misión y elinforme preparatorio deberán figurar en formade lista de anexos en el índice del informe deevaluación y se pondrán a disposición dequien los solicite a la OE. Los informes deevaluación deberán incluir los cuadros,gráficos y fotografías en color que se consi-deren apropiados, así como un mapa de lazona o zonas del proyecto.
El informe completo de evaluación y la reseñase publican en el sitio web sobre evaluacióndel portal del FIDA.
En el organigrama que figura a continuación(gráfico 2) se presenta de forma esquemáticael proceso de evaluación de proyectos.
FASES PROCESOS ENTREGAS
GRÁFICO 2: Fases, procesos y principales entregas de las evaluaciones de proyectos
Documento conceptual
Informe preparatorio
Evaluación, si procede, delos resultados y el impacto
Ayuda memoria
Labor teórica
Misión preparatoria
Recopilación dedatos primarios
Misión principal:intercambios en lacapital, debates conlos beneficiarios yvisitas a los lugaresdel proyecto
Fase de diseño
Fase detrabajoen el país
REV
ISIÓ
N I
NTE
R PA
RES
DE
LA O
E
Autoevaluaciones por el PMDy las autoridades del proyecto
35
36
Prólogo. El prólogo es un “resumen delresumen”, de una página de extensión,firmado por el Director de la OE. En él sereúne un compendio de los aspectos salientesde la evaluación.41 En el anexo 3 figuranejemplos de buenas prácticas al respecto.
Resumen ejecutivo. El resumen ejecutivoofrece una síntesis de los aspectos salientesde la evaluación e incluye las constatacionesy recomendaciones principales, así como uncuadro con las calificaciones. Éstas deberánir respaldadas por una explicación clara delas causas inmediatas de los buenos omalos resultados alcanzados. El resumenejecutivo deberá ocupar unas 3 ó 4 páginas.En el anexo 3 se puede ver un ejemplo debuena práctica al respecto.
Objetivos, metodología y proceso de la
evaluación. Todos los informes debencomenzar exponiendo los objetivos princi-pales de la evaluación, a saber: i) determinarlos resultados y el impacto del proyecto,y ii) generar constataciones y recomenda-ciones útiles para los proyectos y programasen curso y futuros, financiados o no por elFIDA. A continuación se describe el marco deevaluación, acerca del cual se proporcionainformación más detallada en un apéndice.Luego se ofrece una visión general de lasfuentes de información y los instrumentos de
B. Informes de evaluación deproyectos: contenido,definiciones y ejemplosEn este apartado se facilita orientación parapreparar los informes de evaluación deproyectos. Se recomienda que, en total, nosuperen las 35-40 páginas. El informe estáformado por un prólogo, un resumen ejecutivo(3 4 páginas), el APC y los apéndices.40
En el cuadro 6 figura un índice indicativo delos informes de evaluación de proyectos.
CUADRO 6: Índice de los informes deevaluación de proyectos
Prólogo
Resumen ejecutivo Acuerdo en el punto de culminación
Informe principal de evaluación
I. Objetivos, metodología y proceso
de la evaluación
II. Antecedentes del país y del sector
III. Antecedentes del proyecto
IV. Resultados de la ejecución
V. Resultados del proyecto
(con inclusión de la pertinencia,
la eficacia y la eficiencia)
VI. Impacto en la pobreza rural
VII. Sostenibilidad e innovaciones
VIII. Desempeño de los asociados
IX. Conclusiones y recomendaciones
Apéndices
40. Los anexos son losdocumentos técnicos detrabajo elaborados por losmiembros de la misión deevaluación. Los apéndicesforman parte integrante delinforme de evaluación y entreellos pueden figurar otrosmateriales relacionados conla evaluación, como eldocumento conceptual,cuadros de datos, labibliografía, el itinerariorecorrido por la misión, la listade personas con quienes semantuvieron encuentros y otrasinformaciones semejantes.
41. En ese compendio seexponen los contenidos másimportantes derivados de laevaluación acerca de losresultados y el impacto de unproyecto, sin que ello signifiquerealizar una descripción de losresultados componente porcomponente o de todos loscriterios de evaluación utilizadospara analizar la operación.
FASES PROCESOS ENTREGAS
Borrador de informe final
Informe final ydocumento de respuesta
Taller de aprendizaje yAPC definitivo
Informe final de evaluacióndel proyecto
Reseña de evaluación
Redacción delinforme
Preparacióndel APC
Comunicación
Fasede redaccióndel informe,observacionesy comunica-ciones
REV
ISIÓ
N I
NTE
R PA
RES
DE
LA O
E
GRÁFICO 2 (continuación): Fases, procesos y principales entregas de las evaluaciones deproyectos
Observacionesdel PMD
37
recopilación de datos utilizados, y se dedicaun apartado al proceso de la evaluación. Enél se describen la función del CCA, los crite-rios de selección de los beneficiarios que hanintervenido en la evaluación, la justificacióndel trabajo sobre el terreno llevado a cabo,las zonas del proyecto y las comunidadesvisitadas, las entrevistas efectuadas con laspartes interesadas, el modo en que se haconcebido el taller de aprendizaje, el procesode elaboración del APC y el calendario.
Antecedentes del país y del sector. Eneste apartado se ofrece al lector unadescripción del contexto nacional, que por logeneral comprende lo siguiente: i) una visióngeneral de la economía (la renta nacionalbruta per cápita, el crecimiento del PIB, lainflación y otras informaciones); ii) datosdemográficos, como la población total y ladistribución urbano-rural; iii) informaciónsobre la aportación del sector agrícola a laeconomía global y cuestiones generales rela-tivas al desarrollo rural, como el acceso alos mercados, los servicios sociales y deextensión, la migración, etc.; iv) una descrip-ción de las características de la pobrezarural, como la distribución geográfica, ladesigualdad (coeficiente de Gini), las diferen-cias entre las zonas rurales y urbanas, losmétodos de medición de la pobreza basadoso no en los ingresos (como los indicadores dela malnutrición infantil), el sistema de tenenciade la tierra, las cuestiones de género y lasrelativas a otros grupos desaventajados,como los pueblos indígenas y las minoríasétnicas (p. ej., información sobre la preva-lencia del VIH/SIDA en caso de que ello cons-tituya un problema en el país en cuestión),y v) cuestiones sobre sectores específicosde interés, por ejemplo, relacionadas con elsector financiero en caso de que el proyectotenga un componente importante demicrofinanciación.
Puede resultar útil recurrir a las fuentes de
datos42 siguientes: i) la reseña del país elabo-rada por la Economist Intelligence Unit; ii) delBanco Mundial, la estrategia de asistencia
para el país en cuestión, las series de datoscorrespondientes y los Indicadores deldesarrollo mundial (que pueden consultarse ensu sitio web), los estudios de medición de losniveles de vida y otras encuestas;43 iii) losinformes y series de datos elaborados a raízde las consultas del Artículo IV del FondoMonetario Internacional;44 iv) los informes sobredesarrollo humano y el índice de desarrollohumano del PNUD;45 v) la base de datosmundial sobre el crecimiento y la malnutricióninfantiles de la Organización Mundial de laSalud (OMS);46 vi) los COSOP, los resúmenesinformativos sobre los países y los docu-mentos de proyectos del FIDA; vii) los docu-mentos de trabajo y los estudios del InstitutoInternacional de Investigación sobre PolíticasAlimentarias (IFPRI);47 viii) los DELP, y ix) losmotores de búsqueda en línea para realizartrabajos académicos, como ProQuest Direct.48
Antecedentes del proyecto. Se incluirá lainformación de antecedentes siguiente:i) información acerca del contexto, en parti-cular el estado agroecológico de la zonadel proyecto y la situación política y socioe-conómica local y nacional imperante en elmomento del diseño; ii) las metas, objetivos ycomponentes del proyecto, con inclusión deuna descripción general del sistema de SyE;iii) datos sobre el proyecto, como los costostotales, el préstamo del FIDA, el monto de lacofinanciación, las instituciones cooperantes(si procede), las condiciones del préstamo,el tipo de proyecto según la clasificación delFIDA, los plazos clave del proyecto (formula-ción, evaluación ex ante, ejecución y finaliza-ción); iv) las disposiciones de supervisión yapoyo a la ejecución, y v) las modalidades deejecución y las instituciones participantes.Además, debe facilitarse una breve descrip-ción del proceso de mejora y garantía de lacalidad por el que atravesó el diseño delproyecto antes de que fuera aprobado por laJunta Ejecutiva del Fondo.
Fuentes de datos: i) el COSOP, con inclu-sión de las revisiones anuales del mismo queestén disponibles; ii) la estrategia regional;
42.www.ifad.org/evaluation/policy/index.htm
43. www.worldbank.org
44. www.imf.org
45. http://hdr.undp.org/en/ yhttp://hdr.undp.org/en/espanol/
46.www.who.int/nutgrowthdb/database/en/
47. www.ifpri.org
48. Dentro del FIDA, esposible visitar desde Intranetla página de ProQuest en lasiguiente dirección:http://intranet/irc/search/ext_ol_resources/index.htm
38
iii) los documentos e informes sobre elproyecto, como los de iniciación, formulacióny evaluación ex ante,49 el informe del presi-dente, el convenio de préstamo, los informesde supervisión y apoyo a la ejecución, la revi-sión a mitad de período, el IFP y los informessobre la situación del proyecto elaboradospor el GPP; iv) la documentación de antece-dentes y las actas de los procedimientosprincipales de revisión del diseño, incluidoslos del equipo de elaboración del proyecto(si procede, visto que esos equipos estánsiendo reemplazados progresivamente porlos equipos de gestión de los programas enlos países), los procedimientos de mejora ygarantía de la calidad y el examen del diseñodel proyecto que lleva a cabo el Comité deEstrategia Operacional y Orientación enMateria de Políticas;50 v) el Sistema de Prés-tamos y Donaciones y el Sistema de Gestiónde la Cartera de Proyectos del FIDA; vi) infor-mación sobre las calificaciones de los resul-tados del país extraída del examen deldesarrollo del sector rural realizado en elcontexto del sistema de asignación derecursos basado en los resultados (PBAS),y vi) los documentos gubernamentales másimportantes, como el DELP, las políticas agrí-colas y relativas al desarrollo rural, etc.
Resultados de la ejecución. En este apar-tado habrá de prestarse atención a los datoscuantitativos y cualitativos que sean deutilidad para sentar las bases de la evaluaciónde los resultados del proyecto en lo relativo alos siguientes aspectos: i) los productos;ii) la utilización del presupuesto, y iii) el cumpli-miento de los calendarios y plazos. En cuantoa los productos, es importante poner derelieve los logros cuantitativos, como loskilómetros de carreteras rurales construidos,el número de sesiones de capacitación impar-tidas a los agricultores, el número de sucur-sales de bancos rurales abiertas, las hectá-reas de bosques protegidas, el número decentros de salud construidos, etc. Tambiénreviste importancia analizar la utilización delpresupuesto y el cumplimiento de los plazosfijados, a fin de evaluar la dimensión de la
eficiencia. Deberán asimismo destacarse losfactores que hayan influido en la obtención delos productos, como los cambios importantesen el contexto político, socioeconómico yecológico acaecidos en la zona del proyectoo a nivel nacional.
Fuentes de datos: i) informes de lasmisiones de supervisión y apoyo a la ejecu-ción; ii) revisiones a mitad de período;iii) informes sobre la situación del proyectoelaborados por el GPP; iv) informes sobrela marcha del proyecto elaborados por losresponsables del proyecto; v) datos delsistema de SyE del proyecto; vi) IFP;vii) debates con los informantes clave delgobierno, las instituciones cooperantes,determinadas autoridades locales y otrosinteresados, y viii) visitas a los lugares delproyecto para verificar la existencia y calidadde los productos.51
Pertinencia. La pertinencia se evalúarespecto a: i) la alineación de los objetivos delproyecto con los objetivos y políticas del país yel FIDA en materia de agricultura y desarrollorural, así como con las necesidades de lapoblación rural pobre, y ii) las característicasdel diseño del proyecto orientadas al logro desus objetivos. En cuanto a este últimoaspecto, en las evaluaciones se analiza si enel momento de concebir la intervención secontemplaron componentes y asignacionesfinancieras apropiados; si se desplegaronmecanismos y enfoques adecuados de partici-pación, focalización e integración de losasuntos de género; si se garantizaron sinergiasapropiadas entre las diferentes actividades yservicios en aras de la mejora de los mediosde vida rurales; si eran adecuadas las disposi-ciones de ejecución, sobre todo las relativasa la gestión, la supervisión y el apoyo a laejecución y el SyE del proyecto, etc.
En la evaluación de la pertinencia debeincluirse también la coherencia, es decir, unexamen sistemático del modo en que elproyecto se ajusta a las políticas, programasy proyectos del gobierno y otros asociados
49. Con arreglo al nuevoproceso de diseño de losproyectos del FIDA, losinformes de iniciación,formulación y evaluación exante se sustituirán con un solodocumento de diseño que enlas diferentes etapas se iráperfeccionando a medida quese desarrolle el proceso deelaboración.
50. Con arreglo al nuevosistema de diseño de losproyectos del FIDA, estoscomités de examen se formansolamente en el caso de losproyectos para los que no sedispone de un COSOPbasado en los resultados.
51. En las herramientas quese utilizarán sobre el terrenodeben incluirse preguntas eneste sentido.
39
El Programa de Diversificación de las Fuentes de Ingresos en la Zona del Mali Sud fue una
intervención diseñada en la primera mitad de la década de 1990, un período caracterizado
por el rápido desarrollo del cultivo del algodón en Malí. Mediante la promoción de cultivos y
actividades alternativas se respaldó la diversificación agrícola desincentivando la producción
algodonera. Retrospectivamente, si se tiene en cuenta la crisis que a finales de la década de
1990 afectó al sector algodonero y la degradación del suelo en aquellas zonas a causa de la
excesiva explotación, los objetivos del proyecto no sólo eran pertinentes, sino que se adelan-
taron a los acontecimientos. Por otro lado, los problemas más importantes surgieron en la
elección de los componentes y el diseño de las instituciones del proyecto. En concreto, el
proyecto giraba en torno a la creación de Sociétés villageoises de développement, es decir,
cooperativas de aldea que eran las responsables de promover la producción agrícola y los
servicios sociales. Cuando se diseñó el proyecto, este modelo ya había sido objeto de
muchas críticas por su verticalismo e intervencionismo, que reflejaban la cultura administrativa
imperante. Muy pocas de esas cooperativas seguían funcionando cuando se realizó la evalua-
ción y, de hecho, en los informes de supervisión sus actividades se describieron como rutina-
rias. Este ejemplo de resultados insatisfactorios demuestra que la pertinencia del proyecto no
sólo depende de seleccionar objetivos que sean pertinentes respecto del mandato del FIDA,
sino también de adaptar la organización y la gestión del proyecto a las necesidades y diná-
micas cambiantes del sector rural.
Fuente: EPP relativa a Malí, 2006-2007
RECUADRO 1: Ejemplo de pertinencia de los objetivos frente a pertinencia de los enfoques
Cuando se evalúa la pertinencia, es impor-tante analizar el contexto del proyecto de dosformas. En primer lugar, se debe consideraren qué medida se tuvieron adecuadamenteen cuenta en el diseño del proyecto lascircunstancias específicas reinantes desde elpunto de vista político, institucional y socioe-conómico. En segundo lugar, visto que lascircunstancias suelen evolucionar durante laejecución, la evaluación debe determinar loscambios de contexto que pueden haberseproducido desde la fase de diseño delproyecto y analizar sus repercusiones en lapertinencia del diseño original. Esto es nece-sario para juzgar la idoneidad y puntualidadde las medidas adoptadas en respuesta a
esos cambios por el personal de gestión delproyecto, los funcionarios públicos, el FIDA, loscofinanciadores, etc. La adaptación del diseñode los proyectos a la evolución de las circuns-tancias forma parte integrante de la pertinenciay es un criterio clave para la evaluación deldesempeño del FIDA, sus instituciones coope-rantes y los asociados en la ejecución.
En el recuadro 2 figuran las preguntas claveque hay que plantearse en el marco de lasevaluaciones para conseguir calificar y deter-minar la pertinencia de un proyecto.
en las actividades de desarrollo. Entre otrascosas, la evaluación deberá determinar si elmarco de incentivos constituido por las polí-ticas del gobierno y los asociados era apro-piado y si se evitaron las duplicaciones, si se
sacó partido de las sinergias y si se eliminaronlas divergencias antes de ejecutar el proyectoy durante su ejecución. La gran atención atri-buida a la coherencia está implícita en laadhesión del FIDA a la Declaración de París.
40
• ¿En qué medida se han alcanzado, tanto en términos cuantitativos como cualitativos,
los objetivos del proyecto y de sus componentes?
• En caso de que el proyecto todavía no haya finalizado, ¿es probable que los objetivos
que todavía no se han alcanzado se logren plenamente o en parte antes de su cierre?
• ¿A qué factores del diseño y la ejecución del proyecto se atribuyen los resultados previstos
en cuanto a la eficacia?
• En concreto, ¿qué cambios del contexto general (es decir, el marco normativo, la situación
política, la estructura institucional, los trastornos económicos, los disturbios civiles, etc.) han
afectado o es probable que incidan en la ejecución y en los resultados globales del proyecto?
RECUADRO 3: Preguntas clave para evaluar la eficacia de un proyecto
52. Véase el anexo 8, en elque figura una lista de todaslas políticas y estrategiassubsectoriales pertinentesdel FIDA.
• ¿Son los objetivos del proyecto realistas y coherentes con las estrategias y políticas agrícolas
y de desarrollo rural nacionales, el COSOP y las políticas sectoriales y subsectoriales
pertinentes del FIDA,52 así como con las necesidades de la población rural pobre?
• ¿Ha resultado apropiado el diseño del proyecto (sobre todo en cuanto a las sinergias entre
las distintas actividades y servicios, las asignaciones financieras, la gestión y ejecución del
proyecto, la supervisión y el apoyo a la ejecución, y las disposiciones de SyE) para alcanzar
sus objetivos básicos?
• ¿Hasta qué punto el proyecto fue coherente en cuanto a su grado de adecuación a las
políticas, programas y proyectos puestos en práctica por el gobierno y otros asociados
en el desarrollo?
• ¿Se diseñó el proyecto de forma participativa, en el sentido de que se tuvieron en cuenta las
aportaciones y necesidades de las partes interesadas clave, como el gobierno, los organismos
de ejecución, los cofinanciadores y los beneficiarios previstos y sus organizaciones de base?
• ¿Sacó partido el proyecto de los conocimientos disponibles (p. ej., de la experiencia de
otros proyectos parecidos en la misma zona o en el país) durante su diseño y ejecución?
• ¿Mantuvieron los objetivos del proyecto la pertinencia a lo largo del período de tiempo
necesario para su ejecución? En caso de que se hubiesen producido cambios importantes
en el contexto del proyecto o en las políticas del FIDA, se adaptó el diseño para incorporar
dichos cambios?
• ¿Cuáles son los factores principales que han contribuido a que la pertinencia se evalúe de
forma más o menos positiva?
RECUADRO 2: Preguntas clave para evaluar la pertinencia de un proyecto
Eficacia. El haber logrado productos mate-riales y financieros cuantificables (como loskilómetros de carreteras construidos) no es uncriterio de medición suficiente. Los productos(esto es, los resultados concretos, los bienesde inversión y los servicios que se derivan deuna intervención de desarrollo) contribuyen allogro de los objetivos de un proyecto, pero en
sí mismos no son sinónimo del logro de esosobjetivos. Del mismo modo, tampoco los obje-tivos del proyecto son lo mismo que las metasde rango superior que se prevé que promuevala intervención de desarrollo. El recuadro 3contiene las preguntas principales que losevaluadores deben seguir a la hora de calificary evaluar la eficacia de un proyecto.
41
Eficiencia. Analizar la eficiencia resulta pro-blemático porque no es fácil evaluar esadimensión en productos no materiales, comoel empoderamiento, la creación de capacidady la participación. En algunos casos, como enlos proyectos de desarrollo de infraestructura olas intervenciones orientadas al fomento de laproductividad, puede ser conveniente efectuarun análisis de la rentabilidad económica. Enparticular, cuando en el diseño del proyectodel FIDA se incluye una estimación de la tasainterna de rendimiento, hay buenos motivospara suponer que la evaluación deberácontemplar un análisis equivalente. Cuando no
es posible calcular el rendimiento económico,la eficiencia del proyecto se determina medi-ante parámetros indirectos o de referencia dela eficacia en función de los costos. En el casode la financiación rural, por ejemplo, puedenobtenerse indicadores por medio de la inicia-tiva Microfinance Information Exchange (MIX),una red de intercambio de información sobremicrofinanciación. Para las carreteras rurales,los departamentos gubernamentales suelenutilizar costos normalizados, etc. En elrecuadro 4 se enumeran las preguntas princi-pales que los evaluadores deben responder alcalificar y evaluar la eficiencia de un proyecto.
• ¿Cuáles son los costos de las inversiones destinadas a desarrollar productos específicos del
proyecto (p. ej., cuánto cuesta construir un kilómetro de carretera rural)? Para realizar esas
comparaciones de la relación entre insumos y productos hay que constatar plenamente
(y de forma explícita) la calidad de las obras y suministros.
• ¿Es comparable la relación entre insumos y productos con los valores de referencia locales,
nacionales o regionales?
• ¿Cuáles son los costos del préstamo por beneficiario (en el momento de la evaluación ex
ante y en el de la evaluación) y hasta qué punto son comparables con los de otras opera-
ciones financiadas por el FIDA (u otros donantes) en el mismo país y en otros países?
• ¿Qué resultado da la comparación de la tasa de rendimiento económico calculada en el
momento de la evaluación y la obtenida cuando se diseñó el proyecto?
• ¿Cuáles son los costos administrativos53 por beneficiario y qué relación guardan con los de
otras operaciones financiadas por el FIDA (o con las de otros donantes) en el mismo país o
en otros países?
• ¿Cuánto tiempo se tardó en declarar efectivo el préstamo, y qué relación guarda ese plazo
con el de otros préstamos en el mismo país o región?
• ¿Por cuánto tiempo se prorrogó el proyecto respecto de su fecha de cierre original, y cuáles
fueron los costos administrativos adicionales que acarreó esa prórroga?
• ¿Qué factores ayudan a explicar los resultados atribuidos a la eficiencia del proyecto?
RECUADRO 4: Preguntas clave para evaluar la eficiencia de un proyecto
Evaluación general de los resultados del
proyecto. El informe debe presentar una cali-ficación global de los resultados del proyectobasada en las valoraciones asignadas a lostres criterios básicos (pertinencia, eficacia yeficiencia). Esta valoración tiene por objetoresponder a la pregunta siguiente: ¿hayprobabilidades de que el proyecto alcancesus objetivos principales de manera eficientey, de ser así, supondrán esos logros unaaportación decisiva para mejorar la situaciónde pobreza de un determinado país?
Impacto en la pobreza rural. De forma comple-mentaria al análisis de la eficacia del proyecto,54 laevaluación del impacto en la pobreza rural abordacinco esferas en las que es probable que losproyectos financiados por el FIDA tengan reper-cusiones: los ingresos y activos de los hogares, elcapital social y humano y el empoderamiento, laseguridad alimentaria y la productividad agrícola,los recursos naturales y el medio ambiente, y lasinstituciones y políticas. En los párrafos siguientesse resume la información que debe obtenerseen relación con las cinco esferas del impacto:
53. Los costos administrativosincluyen, entre otros, loscostos de supervisión y apoyoa la ejecución, la gestión y SyEde los proyectos (que estánincluidos en el préstamo), larevisión a mitad de período yla modificación del diseño delproyecto (si procede).
54. Este tipo de análisis secentra sobre todo en elcumplimiento de los objetivosespecíficos del proyecto.
42
• Ingresos y activos netos de los hogares.
Aunque están interrelacionados, losingresos y los activos son conceptos dife-rentes. Por “ingresos” se entiende el flujode beneficios económicos (p. ej., los deri-vados de la remuneración de la produc-ción y de la venta de bienes y servicios,los sueldos o salarios, las remesas) quese reconocen a un individuo o grupo enun período concreto y se valoran a unprecio económico determinado. Los activosguardan relación con el conjunto de artí-culos acumulados de un valor económicodeterminado (entre los activos materialesfiguran la tierra, la vivienda, el ganado, lasherramientas y el equipo, mientras que losactivos financieros son los ahorros y elcrédito), estimado en un momento dado.Los activos pueden menguar en la medidaen que se hayan contraído deudas. Sonbien conocidas las dificultades metodoló-gicas que comporta la estimación de losingresos y activos en las zonas rurales.Evaluar los cambios producidos en losactivos materiales puede resultar menoscontrovertido pero, siempre que sedisponga de datos sólidos, los equipos deevaluación no deben abstenerse de evaluarlos cambios en los ingresos. Esta laborpuede verse facilitada, por ejemplo, reali-zando encuestas estadísticas o utilizandotécnicas de rememoración. También habránde analizarse factores como el acceso alos mercados, que pueden contribuir aaumentar los ingresos de los hogares.
• Capital humano y social y empodera-
miento. Para reducir la pobreza es esen-cial fomentar en la población pobre lacapacidad colectiva (capital social) e indi-vidual (capital humano). El fortalecimientode las organizaciones locales de autoa-yuda y las organizaciones comunitariasafines aumenta la capacidad de lospobres de aprovechar las posiblesoportunidades económicas y establecervínculos con los mercados y losasociados externos. Una base firme decapital social contribuye a reforzar el
empoderamiento de la población pobre(especialmente de las mujeres) y lepermite relacionarse de manera másequitativa y con más preparación conquienes ejercen el poder social, y nego-ciar más eficazmente para mejorar susmedios de vida. Incrementando las capa-cidades individuales se ayuda asimismo ala población pobre a ocupar una posiciónmás ventajosa respecto a los agentes delmercado, las autoridades y otras partessociales. Aun así, puede alegarse que, enausencia de capital social, la inversión enactivos humanos y materiales no arrojatodos los beneficios posibles o, los quearroja, no son sostenibles. Dentro de estaesfera, las evaluaciones también valo-rarán la función de las ONG en el fortale-cimiento del capital social de la poblaciónrural pobre y en su empoderamiento.
• Seguridad alimentaria y productividad
agrícola. Esta esfera tiene gran impor-tancia para el mandato del FIDA. En unaeconomía abierta, se considera que unhogar (o una comunidad) goza de segu-ridad alimentaria cuando dispone entodo momento de alimentos suficientes—producidos por cuenta propia ocomprados— para garantizar a todossus miembros la ingesta nutricionalmínima. Los elementos básicos de laseguridad alimentaria son la disponibi-lidad de alimentos, el acceso a losmismos (ingresos, mercados y precios)y la estabilidad de ese acceso (almace-namiento y otros mecanismos relacio-nados con la comercialización a nivellocal y de hogar). La productividad agrí-cola también se ha incluido en estaesfera por la posición central que ocupaen el Marco Estratégico y su contribucióna la promoción de la seguridad alimen-taria. En lo relativo a la productividad, lasevaluaciones deben determinar si se hanpromovido tecnologías mejoradas y si lapoblación rural pobre dispone de servi-cios de apoyo suficientes (como serviciosde extensión).
43
Cómo abordar la “falta de intervención”. Es posible que no se haya previsto, delibera-damente o no, ninguna intervención concreta en relación con una o varias de las cincoesferas del impacto. No todos los proyectos financiados por el FIDA tienen, por ejemplo,un componente dedicado expresamente a la protección o rehabilitación del medioambiente. La ausencia de un componente dedicado, sin embargo, no significa que en esaesfera concreta no pueda observarse ningún impacto. Un proyecto de desarrollo comuni-tario, por poner un ejemplo, puede generar efectos indirectos positivos en la ordenaciónforestal incluso en ausencia de un componente medioambiental específico. Por otro lado,un proyecto de riego en pequeña escala puede tener un impacto perjudicial en la fertilidadde los suelos si no se prevén dispositivos de drenaje adecuados. Por tanto se recomiendaque los evaluadores determinen si se observan cambios importantes en todas y cada unade las cinco esferas del impacto de uso corriente. Si pueden detectarse cambios (posi-tivos o negativos) y éstos pueden atribuirse en su totalidad o en parte al proyecto, debeasignarse una calificación a esa esfera concreta, al margen de si el proyecto habíaprevisto un resultado específico al respecto.
En caso de que no se detecten cambios y no se hubiera previsto ninguna intervención, noserá necesario asignar una calificación a esa esfera concreta (o se anotará “no aplicable”).Si no se observan cambios en una esfera particular, pero se habían previsto interven-ciones o resultados pertinentes en el diseño del proyecto, la evaluación deberá tenerlo encuenta cuando asigne una calificación a ese aspecto, así como cuando evalúe la califica-ción de la pertinencia y eficacia del proyecto.
fortalecimiento de las instituciones públicasen los planos, entre otros, federal yestatal/provincial, así como la participacióndel sector privado y las instituciones selec-cionadas. El análisis de esta esfera incluirá,entre otros aspectos, la evaluación delrespaldo prestado con el fin de mejorar lacapacidad de esas instituciones paraprestar servicios a la población rural pobrey la reorientación de las políticas vigentesde esas instituciones en su favor. Setendrán en cuenta las políticas sectorialesy nacionales, en particular las leyes, esta-tutos, reglamentos y procesos de descen-tralización que constituyen el entornopropicio para las actividades económicas ysociales e inciden en los medios de vida dela población rural pobre. Algunos ejemplosconcretos son los títulos de propiedad dela tierra, la normativa sobre créditos, lastasas de interés aplicadas, la reglamenta-ción del mercado, la legislación en materiade cooperativas y la eficacia en la conce-sión de subvenciones.
• Recursos naturales y medio ambiente.
La esfera del impacto medioambiental secentra en evaluar la medida en que unproyecto o programa contribuye a protegero rehabilitar los recursos naturales y elmedio ambiente, o bien a agotar esosrecursos. Esta esfera se concentra en elimpacto de los proyectos en el medioambiente local, ya que es en este ámbitodonde es más probable que los proyectosdel FIDA tengan consecuencias en elambiente, y se ocupa especialmente de losaspectos medioambientales que recaenbajo el control o la influencia de los pobresdel medio rural. Debe prestar especial aten-ción a los efectos medioambientales que seextienden más allá de la zona del proyecto,como en el caso, por ejemplo, de la desvia-ción de aguas hacia canales de riego o deaguas negras y la adaptación al cambioclimático o la mitigación de sus efectos.
• Instituciones y políticas. En esta esferase evalúa la contribución del FIDA al
La promoción de la equidad de género y lafocalización en la población rural pobre sondos características predominantes del enfoqueque el FIDA aplica al desarrollo agrícola y rural.Estos aspectos deben tomarse expresamenteen consideración, según corresponda, en elmarco de cada una de las cinco esferas delimpacto señaladas anteriormente. Estasvaloraciones deben regirse por las preguntascontenidas en el documento conceptual.
En el cuadro 7 se exponen una serie depreguntas para orientar a los evaluadores en laevaluación del impacto y la determinación delas calificaciones para cada una de las cincoesferas del impacto. En cuanto a los demáscriterios de evaluación, los evaluadorestambién podrán tomar en consideración otraspreguntas para determinar el impacto enfunción de la naturaleza y la orientación centraldel proyecto. Las respuestas a todas esaspreguntas servirán para poner de manifiesto elmodo en que han cambiado las vidas de loshabitantes pobres del medio rural y si esoscambios pueden atribuirse a las actividadesdel proyecto. A la hora de calificar el impactodel proyecto en cada esfera, es importantetener en cuenta los siguientes aspectos:
• El número de habitantes pobres del
medio rural cubiertos por el proyecto
o programa, lo que comporta tratar dedeterminar y consignar el número total
aproximado de personas (indicando lasmujeres por separado) y de hogares enlos que el proyecto que se estáevaluando ha tenido alguna repercusión.
• Quién se ha beneficiado del proyecto.
En el marco de la evaluación se deberárealizar un análisis de la población pobredel medio rural, en lo relativo a los grupossociales, el género, el nivel de ingresos,los activos netos poseídos, etc., que seha beneficiado del proyecto o programa,y habrán de explicarse las razones princi-pales de haber excluido a determinadosgrupos de población pobre.
• La magnitud de los distintos impactos.
La finalidad es detectar los cambios indu-cidos por un proyecto o programa, quese pueden expresar en términos cuantita-tivos (p. ej., “los ingresos de los hogareshan aumentado en un 15% en tresaños”). Como alternativa, o bien adicio-nalmente, puede efectuarse una evalua-ción cualitativa; el impacto en el capitalsocial puede describirse explicando elmodo en que se ha fortalecido o habili-tado a las redes locales (grupos demadres, cooperativas de agricultores,asociaciones de regantes) para repre-sentar a las comunidades y participar enun diálogo constructivo con las autori-dades públicas.
CUADRO 7: Preguntas clave para evaluar el impacto en la pobreza rural
• ¿Ha cambiado la composición y el nivel de los ingresos de loshogares (más fuentes de ingresos, mayor diversificación,ingresos más elevados)?
• ¿Qué cambios son evidentes en los ingresos y activos en el interior de los hogares?
• ¿Se han registrado cambios en los activos materiales de los hogares (tierra de labranza, agua, ganado, árboles, equipo, etc.)? Se han registrado cambios en otros activos de los hogares (vivienda, bicicletas, aparatos de radio, televisiones, teléfonos, etc.)?
• ¿Se han registrado cambios en los activos financieros de los hogares (ahorros, deudas, préstamos, seguros)?
Ingresos y activos delos hogares
ESFERAS DE IMPACTO PREGUNTAS CLAVE
44
CUADRO 7 (continuación): Preguntas clave para evaluar el impacto en la pobreza rural
• ¿Es más fácil para la población rural pobre tener acceso a losmercados financieros?
• ¿Se ha ampliado el acceso de la población rural pobre a losmercados de insumos y productos?
• ¿Ha obtenido la población rural pobre mayores ingresos ymás activos gracias a las mejoras de la salud y la educaciónpromovidas por el programa?
• ¿Se han registrado cambios en las organizaciones e institu-ciones de base de la población rural?
• ¿Son visibles los cambios registrados en la cohesión socialy en la capacidad local de autoayuda de las comunidadesrurales?
• ¿En qué medida la población rural se ha visto empoderadagracias al proyecto al tratar con los agentes del desarrollo ylas autoridades públicas locales y nacionales? Desempeña supapel con mayor eficacia en los procesos de adopción dedecisiones?
• ¿Se ha empoderado a la población rural pobre para queamplíe su acceso a la información necesaria para mejorarsus medios de vida?
• ¿Ha mejorado la población rural pobre su acceso a losservicios de salud y educación?
• ¿Se ha modificado la intensidad de cultivo? Se ha producidouna mejora en la productividad de la tierra y, si es así, en quémedida? Ha cambiado la remuneración del trabajo?
• ¿Se han registrado cambios en el estado nutricional de losniños (p. ej., en el retraso en el crecimiento, la emaciación oel peso inferior al normal?
• ¿Se han registrado cambios en la seguridad alimentariadelos hogares?
• ¿En qué medida la población rural pobre ha mejorado suacceso a los mercados de insumos y productos que puedenayudarla a aumentar la productividad y el acceso a alimentos?
• ¿Se han registrado cambios en la situación de la base derecursos naturales (tierra, agua, bosques, pastos, recursospesqueros, etc.)?
• ¿Se han registrado cambios en el acceso de las comunidadeslocales a los recursos naturales (en general y, concretamente,entre los pobres)?
• ¿Se ha modificado el grado de vulnerabilidad medioambiental(p. ej., la exposición a contaminantes, los efectos del cambioclimático, la volatilidad de los recursos o las posibles catás-trofes naturales)?
• ¿Ha habido algún cambio en las instituciones financierasrurales (p. ej., en lo relativo a facilitar el acceso para la pobla-ción rural pobre)?
• ¿Cómo han cambiado las instituciones públicas y la prestaciónde servicios a la población rural pobre?
• ¿Qué mejoras se podían apreciar en la gestión pública local,incluida la capacidad y la función de los departamentos guber-namentales, las ONG, el sector privado y los funcionarios yorganismos electos?
Capital humano y socialy empoderamiento
Seguridad alimentaria yproductividad agrícola
Recursos naturales ymedio ambientea
Instituciones y políticas
ESFERAS DE IMPACTO PREGUNTAS CLAVE
45
46
Debe asignarse una calificación a cada una delas esferas de impacto y una calificación globalal impacto en la pobreza rural. Los evaluadoresdeben utilizar su buen criterio profesional y susconocimientos para asignar y agregar lascalificaciones. Todas las calificaciones deberánestar avaladas por indicios concluyentes.
Sostenibilidad. El concepto de sostenibilidadse centra en determinar la probabilidad de quelas corrientes de beneficios generados por una
inversión continúen después del cierre delproyecto. Por consiguiente, en las evalua-ciones se analizará si los resultados efectivos yprevistos conseguirán superar los riesgos quepuedan presentarse una vez ejecutado elproyecto. En el recuadro 5 se enumeran laspreguntas clave que habrán de plantearse alevaluar las perspectivas de sostenibilidad.La tarea de los evaluadores es asignar, recu-rriendo a su buen criterio, una calificaciónindividual a la sostenibilidad de cada proyecto.
• ¿Se elaboró una estrategia de salida específica o un método a tal efecto, convenidos por las
partes interesadas, para garantizar la sostenibilidad con posterioridad al proyecto?
• ¿Qué probabilidades hay de que los beneficios generados por el proyecto prosigan tras su
cierre, y qué factores hay a favor y en contra de tal hipótesis? ¿Cuál es la capacidad de
resistencia probable de las actividades económicas a las crisis o a la exposición progresiva,
a la competencia y a la reducción de las subvenciones?
• ¿Hay indicios claros de que el gobierno mantendrá sus compromisos tras la fecha de cierre del
préstamo, por ejemplo, en lo relativo a la provisión de fondos para determinadas actividades, la
disponibilidad de recursos humanos, la continuidad de las políticas favorables a la población
pobre y de los enfoques de desarrollo participativos, y el apoyo institucional? ¿Se previó en el
diseño del proyecto del FIDA que ese apoyo iba a ser necesario tras el cierre del préstamo?
• ¿Se beneficiaron las actividades del proyecto de la intervención, la participación y el sentido de
apropiación de las comunidades locales, las organizaciones de base y la población rural pobre?
• ¿Se han adoptado enfoques viables desde el punto de vista técnico? ¿Tienen los usuarios
del proyecto acceso a capacitación suficiente para llevar a cabo las tareas de manteni-
miento, a piezas de recambio y a la posibilidad de efectuar reparaciones?
• ¿Es probable que los recursos del medio ambiente y el ecosistema (p. ej., la disponibilidad
de agua dulce, la fertilidad de los suelos o la cubierta vegetal) contribuyan a que el proyecto
arroje beneficios, o está teniendo lugar un proceso de agotamiento de los mismos?
RECUADRO 5: Preguntas clave para evaluar la sostenibilidad de un proyecto
CUADRO 7 (continuación): Preguntas clave para evaluar el impacto en la pobreza rural
ESFERAS DE IMPACTO PREGUNTAS CLAVE
a. Las fuentes de datos secundarios, como la base de datos geográficos del Programa de las Naciones Unidaspara el Medio Ambiente, que muestra la degradación o los cambios del medio ambiente a lo largo del tiempo,pueden ser útiles para responder a algunas de las preguntas planteadas en esta esfera.
Nota: La evaluación deberá describir el impacto conseguido en cada esfera así como las razones de fondo(p. ej., el factor “por qué”) de los cambios observados o previstos.
Instituciones y políticas • ¿Se ha registrado algún cambio en las políticas nacionales ysectoriales que afectan a la población rural pobre?
• ¿Se han registrado cambios en el marco reglamentario en loque respecta a su impacto en la población rural pobre?
• ¿Se han registrado cambios en las estructuras de mercado yen otros factores institucionales que inciden en el acceso delos productores pobres a los mercados?
47
Innovación, reproducción y ampliación de
alcance en favor de la población pobre.
Dado que la promoción de innovaciones enfavor de la población pobre que otros intere-sados puedan reproducir y ampliar esel elemento central del mandato del FIDA,todas las evaluaciones deberán determinar lacontribución en ese sentido de los proyectosy programas financiados por el Fondo. Enla estrategia del Fondo consagrada a la inno-vación (2007) ésta se define como: “unproceso que añade valor o soluciona unproblema de una forma diferente”; además, seespecifica lo siguiente: “para que un producto,idea o enfoque pueda considerarse unainnovación, tiene que ser nuevo en sucontexto, útil y rentable en relación con unobjetivo, y mantener su validez después delensayo piloto”. Las innovaciones puedenproducirse en la esfera de la tecnología (p. ej.,para aumentar el rendimiento o fomentarvariedades de cultivos o razas de ganadosujetas a riesgos menores), de los enfoquesde desarrollo (p. ej., la gestión participativa delagua, la participación de los agricultores en elestablecimiento de las investigaciones priori-tarias), de las disposiciones institucionales(p. ej., el empleo de ONG o del sector privado
en un contexto determinado) y en otrosHabida cuenta de las dimensiones relativa-mente reducidas del FIDA, el impacto totalque puede tener en la pobreza ruralaprovechando sus propios recursos quizá sealimitado. Así pues, de conformidad con suMarco Estratégico, el Fondo procura ampliarel alcance de sus actividades desempeñandouna función catalizadora, es decir, tratando deinfluir en los otros asociados en el desarrollopara que reproduzcan y amplíen el ámbito delas innovaciones que han dado buenos resul-tados promovidas a través de sus opera-ciones. Por ese motivo una parte integrantede este criterio consiste en evaluar la repro-ducción y la ampliación de alcance efectivasde esas iniciativas por parte de otros asoci-ados en el desarrollo, en especial el gobiernointeresado y otras organizaciones multilat-erales, ya que ello representa la prueba defuego de la capacidad del FIDA parapromover innovaciones útiles. En el recuadro6 se exponen las preguntas clave quedeberán responderse a fin de evaluar el gradoen que se cumple este criterio. La calificacióndeberá estar respaldada por indiciosconcluyentes. A esta categoría se le asignauna sola calificación.
• ¿En qué se caracteriza la innovación o innovaciones promovidas por el proyecto o
programa? ¿Son esas innovaciones coherentes con la definición que el FIDA da a este
concepto?
• ¿Cuál fue el origen de la innovación (p. ej., los beneficiarios, el gobierno, el FIDA, las ONG,
una institución de investigación, etc.)? ¿Se adaptó ésta de una forma determinada
durante el diseño del proyecto o programa?
• ¿Son esas actividades verdaderamente innovadoras o por el contrario están bien arraigadas
en otros lugares pero todavía resultan nuevas para el país o la zona del proyecto?
• ¿Se documentaron y divulgaron las innovaciones promovidas de forma satisfactoria?
¿Se realizaron otras actividades específicas (p. ej., talleres, visitas de intercambio, etc.)
para difundir las experiencias innovadoras?
• ¿Se han reproducido y ampliado estas innovaciones y, de ser así, por obra de quién?
De no ser así, ¿cuáles son las posibilidades reales de que el gobierno, otros donantes o el
sector privado las reproduzcan y amplíen?
RECUADRO 6: Preguntas clave para evaluar las innovaciones y su reproducción y ampliaciónde alcance
48
Desempeño de los asociados. El desem-peño de los distintos asociados en lo relativoal diseño, ejecución, supervisión, apoyo a laejecución y SyE del proyecto es fundamentalpara que las actividades de desarrollo logrenser eficaces. Así pues, este criterio se haconcebido no para analizar las realizacionesdel proyecto evaluado, sino para poderestimar hasta qué punto los asociadosllevaron a cabo satisfactoriamente las tareasque se les habían encomendado.
El desempeño de cada uno de los asociadosse examina y notifica por separado, puesto quecada uno tiene una función específica quedesempeñar. En todas las evaluaciones sedeberá valorar el desempeño del FIDA, elgobierno, las instituciones cooperantes (siprocede), las organizaciones comunitarias y lasONG, y atribuirles una calificación. Existe laposibilidad de evaluar por separado a los cofi-nanciadores y el sector privado, en caso de queparticipen en el proyecto o programa que seestá evaluando, aun cuando en este manual nose hayan incluido preguntas tipo para evaluar sudesempeño. Esas preguntas pueden elaborarsesegún las circunstancias de cada caso y reco-gerse en el documento conceptual.
En lo referente al desempeño del gobiernointeresado, cabe señalar que es posible queen la ejecución del proyecto participen dife-rentes ministerios, departamentos y orga-nismos competentes (en los planos local,provincial y regional). Por ese motivo, en lasevaluaciones habrá que analizar las distintasinstituciones participantes y, en últimainstancia, llegar a una calificación generalpara el desempeño conjunto del gobiernointeresado. A tenor de las distintas suscepti-bilidades que entran en juego, deberá pres-tarse especial atención a debatir la valoracióny las calificaciones atribuidas al desempeñodel gobierno con los organismos públicosinteresados más importantes y, de ser nece-sario, tratar de encontrar de forma conjuntalos medios para mejorar el desempeño delgobierno en el futuro.
En el recuadro 7 se exponen las preguntasclave que habrán de utilizarse para evaluar eldesempeño de los asociados, teniendo encuenta sus diferentes funciones y responsabi-lidades. Podrán plantearse asimismo otraspreguntas, en función del mandato de cadaasociado dentro del proyecto o programaen cuestión.
FIDA
• ¿Previó el FIDA en el diseño del proyecto la movilización de conocimientos técnicos suficientes?
• ¿Se realizó el proceso de diseño mediante criterios participativos (con organismos locales y
nacionales, organizaciones de base) y se promovió el sentido de apropiación del prestatario?
• ¿Se adoptaron medidas concretas para incorporar en el diseño y la ejecución del proyecto las
enseñanzas y recomendaciones de las evaluaciones independientes realizadas con anterioridad?
• ¿Integró el FIDA adecuadamente en el proyecto las observaciones formuladas en los
procedimientos internos de mejora y garantía de la calidad?
• ¿Tomó el FIDA (junto con el gobierno) la iniciativa para modificar debidamente (de ser nece-
sario) el diseño del proyecto durante la ejecución en respuesta a cualquier cambio impor-
tante registrado en el contexto, especialmente con motivo de la revisión a mitad de período?
• ¿Cuál fue el desempeño del FIDA en los proyectos realizados en régimen de supervisión directa y
apoyo a la ejecución? En los casos en que la supervisión corrió a cargo de una institución coope-
rante, ¿en qué medida fue eficaz la colaboración del FIDA con esa institución para llevar a cabo la
tarea encomendada? En ambos casos, ¿cumplió el FIDA sus responsabilidades fiduciarias y de
desarrollo, en particular en cuanto a la observancia de los convenios de préstamo y donación?
RECUADRO 7: Preguntas clave para evaluar el desempeño de los asociados
49
• ¿Se adoptaron sin demora medidas para garantizar la puesta en práctica oportuna de las
recomendaciones derivadas de las misiones de supervisión y apoyo a la ejecución, y de las
formuladas en la revisión a mitad de período?
• ¿Realizó el FIDA las actividades de seguimiento necesarias para superar los obstáculos con
que se tropezó en la ejecución?
• Si procede, ¿cuál es la función y el desempeño del equipo del FIDA en el país (con inclusión
de las disposiciones de presencia indirecta en los países)? ¿Se prestó desde la Sede del FIDA
el apoyo necesario al equipo en el país, por ejemplo en cuanto a recursos, seguimiento y
orientación, suficiente delegación de autoridad, etc.?
• ¿Ha hecho el FIDA todo lo posible por intervenir en las actividades de diálogo sobre políticas
a distintos niveles con el fin de garantizar, entre otras cosas, la reproducción y ampliación de
alcance de las innovaciones favorables a la población pobre?
• ¿Ha trabajado el FIDA en pos de la creación de una asociación eficaz entre las partes intere-
sadas, velando por mantener la coordinación, con el fin de asegurar el logro de los objetivos
del proyecto, especialmente en lo relativo a la reproducción y ampliación de alcance de las
innovaciones favorables a los pobres?
• ¿Ha contribuido el FIDA, junto al gobierno, a la planificación de una estrategia de salida?
Gobierno
• ¿Se ha identificado el gobierno con el proyecto y se ha responsabilizado de éste? A juzgar
por las medidas y políticas aplicadas, ¿ha respaldado plenamente el gobierno las metas del
proyecto?
• ¿Se ha garantizado que el proyecto dispusiera de personal y cargos directivos suficientes?
¿Se ha facilitado a tiempo un volumen adecuado de fondos de contrapartida?
• ¿Ha desempeñado la dirección del proyecto correctamente sus funciones y le ha impartido
el gobierno orientación normativa cuando ha sido precisa?
• ¿Ha garantizado el gobierno una coordinación adecuada de los distintos departamentos que
intervenían en la ejecución?
• ¿Se han realizado oportunamente las actividades de auditoría y se han presentado los
informes correspondientes conforme a lo previsto?
• ¿Tomó el gobierno (junto con el FIDA) la iniciativa para modificar debidamente (de ser nece-
sario) el diseño del proyecto durante la ejecución en respuesta a cualquier cambio importante
registrado en el contexto?
• ¿Se adoptaron sin demora medidas para garantizar la puesta en práctica oportuna de las
recomendaciones derivadas de las misiones de supervisión y apoyo a la ejecución, y de
las formuladas en la revisión a mitad de período?
• ¿Se ha implantado un sistema de SyE eficaz que genera información sobre los resultados y
el impacto de utilidad para el personal directivo del proyecto cuando se le pide que adopte
decisiones críticas?
• ¿Ha contribuido el gobierno (y el FIDA) a la planificación de una estrategia de salida y/o a
adoptar las disposiciones necesarias para seguir financiando ciertas actividades?
• ¿Se han observado las cláusulas y el espíritu del convenio de préstamo?
• ¿Ha fomentado el gobierno la participación de las ONG y de la sociedad civil cuando ha
resultado oportuno?
• ¿Han sido apropiados el flujo de fondos y los procedimientos de adquisición de bienes y
contratación de servicios para garantizar una ejecución oportuna?
RECUADRO 7 (continuación): Preguntas clave para evaluar el desempeño de los asociados
50
Logros generales del proyecto, cuadro
recapitulativo de las calificaciones y base
de referencia. Se debe elaborar una califica-ción de los logros generales del proyectobasada en las calificaciones asignadas a los
seis criterios de evaluación —pertinencia,eficacia, eficiencia, impacto en la pobrezarural, sostenibilidad e innovación, reproduc-ción y ampliación de alcance —, pero sintener en cuenta la atribuida al desempeño de
DESEMPEÑODE LOS ASOCIADOS
ÚLTIMO ARRICALIFICACIÓN ASIGNADAEN LA EVALUACIÓN
DEL PROYECTO
CUADRO 8: Calificaciones del desempeño de los asociados
FIDA
Gobierno
Institución cooperante
Organizaciones comunitarias y/u ONG
• ¿Ha intervenido el gobierno en un diálogo sobre políticas con el FIDA acerca de la promo-
ción de innovaciones en favor de los pobres?
Institución cooperante
• ¿Se organizó adecuadamente la labor de supervisión y apoyo a la ejecución (frecuencia,
composición, continuidad)? ¿Ha observado la institución cooperante las cláusulas del
convenio de préstamo?
• ¿Ha sido eficaz la institución cooperante en lo que a la gestión financiera se refiere?
• ¿Ha procurado la institución cooperante hacer el seguimiento del impacto del proyecto y de
los aspectos de interés para el FIDA (por ejemplo, la focalización, la participación, el empo-
deramiento y los asuntos de género)?
• ¿Se pusieron de relieve los problemas de ejecución y se propusieron soluciones adecuadas?
• ¿Ha promovido o alentado la institución cooperante la autoevaluación y los procesos de
aprendizaje?
• ¿Ha mejorado el proceso de supervisión la ejecución y el impacto en la pobreza?
• ¿Se ha mostrado la institución cooperante receptiva a las solicitudes y al asesoramiento del
FIDA al llevar a cabo sus responsabilidades de supervisión y ejecución del proyecto?
Organizaciones comunitarias y ONG
• ¿Hasta qué punto han sido eficaces las ONG en el cumplimiento de sus convenios de
servicios por contrata?
• ¿Han actuado las ONG y las organizaciones comunitarias para reforzar la capacidad de las
organizaciones de los pobres de las zonas rurales?
• ¿Pueden contribuir las ONG y las organizaciones comunitarias a la sostenibilidad de las
actividades del proyecto?
RECUADRO 7 (continuación): Preguntas clave para evaluar el desempeño de los asociados
Según la metodología de la OE, los evalua-dores no están obligados a atribuir una califica-ción general al desempeño de los asociados,aunque sí habrán de facilitar una calificación
por separado para cada asociado, que deberáestar respaldada por pruebas concluyentes.En el cuadro 8 se ofrece un ejemplo de califi-caciones del desempeño de los asociados.
3
4
4
3
4
5
4
4
51
los asociados. Para determinar los logrosgenerales del proyecto los evaluadores habránde utilizar su propio juicio en vez de calcularuna media aritmética.
Las calificaciones deben ser cifras redondassin decimales, a excepción de la asignada alos resultados del proyecto, que es una mediaaritmética de la pertinencia, la eficacia y laeficiencia. Las calificaciones de todas las
evaluaciones de proyectos deberán cotejarsecon las que figuran en el último ARRI. Deese modo se obtendrá una instantánea de lamarcha general de un determinado proyectoen comparación con otros proyectos yprogramas financiados por el FIDA. En elcuadro 9 se ofrece un ejemplo de las califica-ciones de evaluación de un proyecto y de lacomparación realizada con el ARRI.
Conclusiones y recomendaciones. Este esel capítulo final del informe de evaluación yconsta de dos secciones principales dedi-cadas a: i) las conclusiones, y ii) las recomen-daciones. En la primera debe realizarse uncompendio de las principales conclusiones dela evaluación relativas a los logros y deficien-cias del proyecto. Es importante no realizar unresumen basado en todos y cada uno de loscriterios de evaluación. Las principalesconclusiones deberán contener referenciascruzadas con las secciones pertinentes delinforme de evaluación.
El apartado dedicado a las recomendacioneshabrá de ser sucinto. Cada evaluación debecontener unas pocas recomendaciones funda-mentales, que han de ser realistas y viables enel contexto del proyecto. En las recomenda-ciones se habrá de indicar la institución oinstituciones que se encargarán de ponerlasen práctica. Cada recomendación deberácontener referencias cruzadas al subapartadode las conclusiones correspondiente.
DESEMPEÑO DE LOS ASOCIADOS ÚLTIMO ARRICALIFICACIÓN ASIGNADAEN LA EVALUACIÓN
DEL PROYECTO
CUADRO 9: Calificaciones de evaluación de un proyecto financiado por el FIDA
Criterios básicos de los resultadosPertinenciaEficaciaEficienciaResultados del proyecto
Impacto en la pobreza ruralIngresos y activos de los hogaresCapital humano y social y empoderamientoSeguridad alimentaria y productividad agrícolaRecursos naturales y medio ambienteInstituciones y políticas
Otros criterios de los resultadosSostenibilidadInnovación, reproducción yampliación de alcance
Logros generales del proyecto
543
4,0
555554
3
4
4
544
4,3
5554
no aplicable5
4
4
4
52
4evaluadores a la hora de extraer enseñanzascerteras y pertinentes de la experiencia.
La metodología aplicada a las EPP se basaen las definiciones contenidas en el nuevomodelo de COSOP basado en los resultados,58
aprobado por la Junta durante su 88º períodode sesiones de septiembre de 2006. Dado quelos COSOP son documentos cuya titularidadcomparten el FIDA y el gobierno interesado, lasEPP abordan las distintas responsabilidades ylas obligaciones recíprocas de ambas partes enla puesta en práctica del COSOP. A continua-ción figuran algunas de las definiciones clavecontenidas en el nuevo modelo de COSOP:
• Objetivos estratégicos. En el apartadocentral de los nuevos COSOP basados enlos resultados se exponen los objetivosestratégicos que el FIDA y el gobierno seproponen alcanzar en un país determina-do. Según el marco de los COSOP, unobjetivo estratégico es el cambio de com-portamiento de más alto nivel que cabeesperar directamente de un proyecto uotra actividad financiados por el FIDA. Enla selección de los objetivos estratégicosinfluyen, entre otros, los factores siguien-tes: i) la estrategia nacional de reducciónde la pobreza (o su equivalente); ii) lascompetencias del FIDA en el país de quese trate; iii) los análisis de antecedentesde la pobreza y estudios conexos, y iv) larevisión de los planes de los donantes afin de evitar las superposiciones y definirlas oportunidades de asociación (página14 del nuevo modelo de COSOP).59
Metodología para la evaluaciónde programas en los países
55. De hecho, conforme a ladecisión adoptada por la JuntaEjecutiva, si la EPP ha sido rea-lizada por la OE, el APC corres-pondiente debe incluirse enforma de anexo en el COSOPque la dirección someterá alexamen de la Junta. Así estaúltima puede estimar si las con-clusiones y recomendacionesde la EPP se han incorporadodebidamente en el COSOP.
56. En 1992 la OE realizó suprimera evaluación de la carterade proyectos en un país, cen-trada en analizar los resultadosde los proyectos y programasfinanciados por el FIDA. Amediados de 1999 se introdu-jeron las EPP, a las que se asig-nó el cometido más amplio deevaluar tanto los resultados delos proyectos y programasfinanciados por el FIDA como,en menor detalle, de lasactividades no crediticias.
57. Por ejemplo, lasGuidelines for the Preparationof Country AssistanceProgram Evaluation Reports(Directrices para la elaboraciónde informes de evaluación deprogramas de asistencia a lospaíses) del Banco Asiático deDesarrollo (febrero de 2006),la metodología de evaluaciónpara la prestación de asistenciaa los países del Banco Mundialy las “Good PracticeStandards Country Strategyand Programme Evaluations”(Normas de buenas prácticaspara las evaluaciones de pro-gramas y estrategias en lospaíses) (2008).
58. Documento EB2006/88/R.4, “Propuesta demarco revisado para losprogramas sobre oportunida-des estratégicas nacionalesbasados en los resultados”.
59. He aquí algunos ejemplosde objetivos estratégicos con-tenidos en COSOP aprobadosrecientemente: el estableci-miento de vinculaciones conel mercado favorables a lospobres (Moldova,EB/2007/92/R.17), la reducciónde las disparidades causadaspor razones étnicas, de géneroo de casta (Nepal, EB2006/89/R.14/Rev.1) y la mejo-ra del acceso a tecnologías yservicios que potencien la pro-ductividad (República Unida deTanzanía, EB/2007/91/R.14).
A. Fases clave del proceso de la
evaluación del programa en el país
B. Informes de las evaluaciones de los
programas en los países: contenido,
definiciones y ejemplos
En este capítulo se expone la metodología quela OE utiliza en las EPP. Visto que los proyectosson los elementos constitutivos principales delos programas en los países respaldados por elFIDA, este capítulo habrá de leerse conjunta-mente con el capítulo 3, dedicado a la metodo-logía para la evaluación de proyectos. Pornorma general las EPP se realizan antes deque el FIDA y el gobierno interesado elaborenun nuevo COSOP basado en los resultados55
y de ellas se espera que ofrezcan una valora-ción general de los resultados y el impacto delas actividades crediticias y no crediticias queel FIDA ha financiado con anterioridad en undeterminado país. Además, también estándestinadas a facilitar orientaciones para lapreparación de futuros COSOP.
La metodología que aquí se propone tiene encuenta la experiencia que la OE ha ido acumu-lando con el diseño y la ejecución de EPP56 yse basa asimismo en las buenas prácticas deotras organizaciones bilaterales y multilateralesde desarrollo.57 Aunque el manual tiene porobjeto promover la coherencia de los enfoquesaplicados en las distintas EPP, se recomiendaverlo como un marco flexible destinado abrindar orientaciones y como una forma deestimular, y no de limitar, la creatividad de los
53
• Programa en el país. A medida que los
instrumentos del FIDA en materia de asis-
tencia para el desarrollo se han ido diversi-
ficando (préstamos, donaciones, diálogo
sobre políticas, asociaciones, gestión de
los conocimientos) y los acuerdos de
financiación en común (p. ej., los enfoques
sectoriales) han ganado popularidad, las
estrategias en los países han tratado de
reflejar las sinergias y complementarie-
dades existentes entre esos instrumentos.
En consecuencia, el nuevo modelo de
COSOP debe contener una descripción
de “programas en los países […]
congruentes e incluirán instrumentos que
se refuercen mutuamente y actividades
que respalden un número restringido de
objetivos estratégicos clave. Se prevé que
la sinergia entre los instrumentos de ejecu-
ción producirá un mayor impacto en la
reducción de la pobreza y fortalecerá la
eficacia de las iniciativas apoyadas por el
FIDA”. (Párrafo 12 del nuevo modelo de
COSOP basado en los resultados.)
• Gestión del COSOP. Se prevé que en el
marco de gestión de los resultados de
los nuevos COSOP figuren disposiciones
de SyE relativas a la gestión del mismo
en lo relativo a la presentación de
informes anuales sobre determinados
indicadores, disposiciones relativas a las
revisiones a mitad de período y las revi-
siones finales, etc.
• Gestión del programa en el país. En los
COSOP también se indica claramente el
modo en que el FIDA y el gobierno intere-
sado administrarán las actividades en el
país durante el período cubierto por el
COSOP, incluido lo siguiente: i) los
acuerdos relativos a la presencia sobre el
terreno; ii) las disposiciones relativas al
equipo de gestión del programa en el
país;60 iii) los talleres para la revisión anual
de la ejecución del programa en el país,
y iv) las disposiciones de supervisión y
apoyo a la ejecución.
¿Cuál es el eje central de las EPP?
Teniendo en cuenta las características arriba
mencionadas, en las EPP se presta atención
prioritaria a los resultados alcanzados gracias
a la puesta en práctica del COSOP y al modo
en que el FIDA y el gobierno interesado han
administrado sus actividades para alcanzar
esos resultados. Para ello es preciso evaluar
la pertinencia de los objetivos estratégicos, las
decisiones tomadas en lo relativo al programa
en el país (p. ej., la combinación de prés-
tamos y donaciones, los asociados seleccio-
nados, la cobertura geográfica, el subsector
prioritario elegido) y los aspectos que entraña
la gestión del COSOP y del programa en el
país. Las EPP se centran sobre todo en la
evaluación de los resultados y el impacto de
la cartera de proyectos financiados por el
FIDA y en sus actividades no crediticias, más
que en las iniciativas de desarrollo agrícola y
rural del país prestatario en general. En otras
palabras, en las EPP se valoran los resultados
de la cooperación y la relación de asociación
entre el FIDA y el gobierno, más que los
resultados generales del país en el ámbito de
la agricultura y el desarrollo rural.
Naturalmente, hay que conocer esos resul-
tados para estimar de qué modo la asocia-
ción del FIDA y el gobierno ha contribuido a
la eficacia de las actividades de desarrollo en
ese sector, pero los proyectos financiados
por el Fondo representan sólo una parte
pequeña, aunque importante, de las medidas
públicas en esa esfera.
Habida cuenta de la importancia que reviste la
asociación entre el FIDA y el gobierno en la
elaboración y puesta en práctica del COSOP,
y en vista del eje central de las EPP del FIDA
(esbozado en el párrafo anterior), una denomi-
nación adecuada del tipo de evaluación que
realiza la OE sería “evaluaciones del programa
y la estrategia en el país”, expresión que se
ajusta a las normas sobre buenas prácticas
para las evaluaciones de los países que
propugna el Grupo de Cooperación en
materia de Evaluación. Sin embargo, para
60. El equipo de gestión delprograma en el país es ungrupo de consulta formadopor las partes interesadas enel COSOP que permanecevinculado a lo largo de todoel proceso de diseño yejecución del COSOP. En élparticipan representantes delFIDA (entre ellos, el GPP y eloficial de enlace en el país yotros funcionarios del PMD, laOficina del Consejero Jurídico,la División de ServiciosFinancieros y la División deAsesoramiento Técnico) y unamuestra representativa de losasociados en el país (comofuncionarios de proyectos,representantes de losprincipales ministerioscompetentes involucrados enla ejecución, ONG y otrosinteresados).
54
evitar cualquier posible confusión, y vista lafamiliaridad de los órganos rectores y la direc-ción del FIDA con la designación actual, la OEseguirá empleando la sigla EPP para lasevaluaciones de los programas en los países.
La EPP gira en torno a tres dimensionesrelacionadas entre sí: i) una evaluación de lacartera de proyectos en el país de que setrate; ii) una revisión de las actividades nocrediticias, como el diálogo sobre políticas, lagestión de conocimientos y la creación deasociaciones, y iii) una valoración de los obje-tivos estratégicos, las zonas geográficas priori-tarias, el subsector prioritario, las institucionesasociadas, los enfoques de focalización, lacombinación de instrumentos empleados en elprograma en el país y la gestión del programaen el país y el COSOP. Estos elementos seanalizan en tres secciones distintas del informede la EPP y sirven de fundamento de lasconclusiones y recomendaciones de la evalua-ción. Además, las calificaciones atribuidas porla EPP a cada una de las tres dimensionesinterrelacionadas que se han mencionado seutilizarán para calcular la calificación combi-nada de la EPP en lo que se refiere a lacontribución de la asociación entre el FIDA yel gobierno a la reducción de la pobreza rural.
El enfoque que la OE adopta en las EPP escoherente con los principios fundamentalescontenidos en las normas de buenas prác-ticas para la evaluación de programas y estra-tegias en los países (véase el documento delGrupo de Cooperación en materia de Evalua-ción de 2008). En el apartado siguiente sedestacan algunas de las características distin-tivas de las EPP que se corresponden con lasbuenas prácticas básicas de dicho grupo:
(i) En lo relativo a los objetivos, la EPP selleva a cabo a fines tanto de rendiciónde cuentas como de extracción deenseñanzas.
(ii) La EPP está pensada para satisfacer lasnecesidades de información de los clien-
tes-objetivo más importantes, que por logeneral son la Junta Ejecutiva, el personal
directivo superior, el personal de operacio-nes competente del PMD y el gobierno.
(iii) En cuanto a la unidad de análisis, lasEPP se centran en la evaluación de losresultados de las operaciones apoyadaspor el FIDA en el país. En una EPP setoma el país como unidad de análisis yse intenta evaluar la asistencia utilizandolos COSOP ya elaborados como puntode referencia.
(iv) Se presta gran atención a la selección
de los países que serán objeto de unaEPP. Algunos países merecen más aten-ción que otros. Al tener que hacer frentea un volumen limitado de recursos, seseleccionarán los países cuya evaluacióngenere las constataciones y enseñanzasmás beneficiosas tanto para el FIDAcomo para el propio país. Al realizar laselección se tendrán en cuenta factorescomo el tamaño de la cartera, las carac-terísticas de desarrollo del país y laposible pertinencia de las constatacionesde evaluación respecto de cuestionesparecidas en otros Estados Miembros.
(v) Las EPP serán objeto de una progra-
mación oportuna para permitir que losresultados, las recomendaciones y lasenseñanzas que se extraigan puedanintegrarse en la preparación del próximoCOSOP y estén a disposición de ladirección y la Junta Ejecutiva cuandoexaminen o aprueben la nueva estrategia.
(vi) Las EPP abarcarán todas las facetas
que adopta el apoyo prestado por elFIDA a un país, tanto mediante activi-dades crediticias como de otro tipo.
(vii) En las EPP realizadas por la OE se utili-zarán las autoevaluaciones y evalua-
ciones independientes anteriores. Enla fase inicial de la EPP, tanto el gobiernocomo el personal de operacionesdeberán realizar autoevaluaciones.
(viii) En cuanto a la metodología, en las EPPse realizarán análisis descendentes y
ascendentes así como valoraciones
de las contribuciones, con el fin dereunir datos empíricos acerca de lamedida en que se han alcanzado los
55
objetivos estratégicos y comprobar lacoherencia de las constataciones deevaluación. En el análisis descendentese examinará la selectividad estratégicadel Fondo y la medida en que el posicio-namiento del FIDA tiene debidamenteen cuenta su ventaja comparativa y la función desempeñada por otrosasociados en los sectores agrícola yrural. En buena parte esa labor se realizamediante el análisis de la pertinencia delCOSOP, incluida la evaluación de lacartera respaldada por el FIDA y de lasactividades no crediticias. También sedeberá realizar, entre otras cosas, unestudio sistemático de los objetivos delCOSOP en relación con los objetivos dedesarrollo del Milenio, el DELP y las polí-ticas agrícolas y de desarrollo rural másimportantes del país. El análisis ascen-dente se centra en los resultados detodas las actividades apoyadas por elFIDA en el país, basándose en lasevaluaciones anteriores de proyectos yen otros datos de evaluación recabadosdurante la EPP. Esto forma parte delanálisis de los resultados de la carterade proyectos respaldados por el FIDA.Por último, la valoración de las contribu-ciones tiene por objeto determinar cuálha sido la actuación del FIDA y los otrosasociados principales: el gobierno, elsector privado, las ONG y las organiza-ciones comunitarias. Su objetivo tambiénes determinar si se han asignadorecursos suficientes para alcanzar losobjetivos del COSOP.
Período de cobertura. Aunque hay queactuar con flexibilidad para fijar el período decobertura de manera que esté sincronizadocon la programación de las operaciones delFIDA, en general las EPP abarcan las activi-dades de cooperación del FIDA en un paísconcreto durante los diez años anteriores. Eseperíodo debería permitir que en la evaluaciónse tenga en cuenta la evolución de los obje-tivos y enfoques aplicados a la asistencia delFIDA, así como evaluar los resultados y el
impacto de las operaciones que reciben suapoyo. Así pues, especialmente en los paísesen que la cartera de préstamos y donacioneses de dimensiones reducidas, la EPP puedecubrir un período más prolongado, con lo quees posible analizar el impacto a largo plazo.
Contexto del país y de las asociaciones.
Las EPP habrán de determinar si en el momen-to en que se elaboró el COSOP se analizarony evaluaron adecuadamente los riesgos, lasoportunidades y las amenazas que planteabael contexto nacional, los puntos débiles y fuer-tes de la asociación entre el FIDA y el gobierno,y los supuestos en que se basaba la estrategianacional. El análisis efectuado en la EPP debe-rá indicar si esos aspectos quedaron adecua-damente reflejados en la formulación de losobjetivos estratégicos y de las actividades cre-diticias y no crediticias apoyadas por el FIDA.Además, se habrá de examinar en qué medidalos COSOP, de ser necesario, se actualizarondurante la ejecución y, en particular, si se intro-dujeron ajustes a raíz de la revisión a mitad deperíodo para adaptarlos a los cambios sufridospor la cartera de proyectos o el contextonacional susceptibles de afectar al logro delos objetivos enunciados en el COSOP.
A. Fases clave del procesode evaluación del programaen el paísLos procedimientos más importantes quecomportan las evaluaciones de proyectostambién son válidos para las EPP (véase elapartado A del capítulo 3). Sin embargo, hayalgunos aspectos de los procedimientos utili-zados en las EPP que presentan diferencias.Esos elementos son los que se destacan enlos párrafos siguientes.
Marco de la evaluación. En el marco de laevaluación de las EPP se pone de manifiestoel nexo entre los objetivos de la evaluación,los criterios que se aplicarán, las preguntasclave que habrá que abordar para alcanzarlos objetivos de la evaluación y las fuentes einstrumentos más importantes para la reco-gida de datos. Al inicio de la evaluación se
56
elabora una matriz de marco que se incluyeen el documento conceptual.
Autoevaluaciones. Las autoevaluacionesrealizadas por las partes que intervienen en eldiseño y puesta en práctica de los COSOP yen las operaciones financiadas por el FIDAson una parte importante del enfoque conque la OE aborda las EPP. Esas autoevalua-ciones se llevan a cabo antes de que lamisión principal de la EPP emprenda sutrabajo en el país, y en la Sede del FIDA sehabrá de organizar un debate sobre estetema específico entre la OE y la divisiónregional competente. Por lo general, en eseencuentro participan el jefe del equipo deconsultores y el evaluador principal.
El GPP y el gobierno interesado son los encar-gados de realizar sus respectivas autoevalua-ciones. Cuando se disponga de ellos, los exá-menes finales de los COSOP,61 se considera-rán, a los efectos de las EPP, como documen-tos de autoevaluación. Aunque en esos casosno se precisa un documento por separado, esposible que se invite a los GPP y la autoridadpública competente a responder a las pregun-tas del marco de la EPP que no hayan obteni-do respuesta en el examen final, y a suminis-trar las calificaciones de autoevaluación que seprescriben en este documento de orientación.
Evaluaciones especiales del desempeño y
el impacto. Especialmente en los paísesdonde no haya acceso, o éste sea limitado,a datos recabados mediante evaluacionesindependientes, la OE deberá encomendarevaluaciones especiales de los resultados yel impacto de determinados proyectos yprogramas financiados por el FIDA. Esa laborhabrá de llevarse a cabo antes de la visitasobre el terreno de la misión principal de laEPP, de modo que las entregas correspon-dientes estén a disposición del equipo de laEPP antes de comenzar sus actividades en elpaís.62 Las evaluaciones especiales deberánajustarse a la metodología de la OE para laevaluación de proyectos y, en general,deberán correr a cargo de consultores locales
cualificados, empresas de consultoría, ONG,institutos de investigación o universidades.
Garantía de la calidad. Entre las prácticas en materia de garantía de la calidad que laOE utiliza en las EPP destacan las siguientes:i) organizar sesiones informativas para elequipo de consultores acerca de la metodo-logía y el proceso de evaluación de la OE;ii) realizar dentro de la OE una revisión interpares de los productos clave de la evalua-ción, en particular del documento conceptualy del borrador de informe final, y iii) enco-mendar la revisión del informe a un asesorsuperior independiente, quien también parti-cipa en el taller de aprendizaje.
Consorcio central de aprendizaje (CCA). Elequipo de gestión del programa en el país delFIDA deberá estar adecuadamente represen-tado en el CCA. Por lo general éste estará inte-grado por las siguientes personas: i) el GPP,el director del PMD y, si procede, el oficial deenlace en el país; ii) los directores o coordina-dores de los proyectos incluidos en la EPP;iii) altos funcionarios del gobierno (del ministerioprincipal encargado de la coordinación quetrabaja con el FIDA y del ministerio técnicovinculado a las operaciones del FIDA); iv repre-sentantes de las organizaciones cofinancia-doras y las instituciones cooperantes (sólo siprocede); v) representantes de las ONG princi-pales asociadas a las operaciones del FIDA enel país, así como de los grupos comunitarios yde promoción locales pertinentes; vi) miembrosde instituciones académicas y de investigaciónseleccionadas, y vii) el Director de la OE y elevaluador principal de la EPP. Esta lista es indi-cativa. La composición efectiva del CCA sedetermina por medio de consultas con la divi-sión regional competente, las autoridadespúblicas y la sociedad civil del país interesado.
Documento conceptual. En el cuadro 10figura un índice indicativo para los docu-mentos conceptuales de las EPP. Normal-mente éstos ocupan de 7 a 9 páginasexcluidos los anexos. El borrador de docu-mento conceptual deberá elaborarse antes
61. La elaboración de esosdocumentos corre a cargodel FIDA con la colaboracióndel gobierno.
62. Por ejemplo, en la EPPrelativa al Pakistán realizadarecientemente por la OE secontrató a una ONG localpara llevar a cabo unaevaluación especial de dosproyectos financiados por elFIDA en el país. Gracias aesas actividades seobtuvieron datos primariosque fueron de enorme utilidadpara el equipo de la EPP en elcumplimiento de sus tareas.
57
de la misión preparatoria y ultimarse una vezconcluida ésta, de modo que la informaciónque se haya reunido pueda quedar reflejadaen el diseño general de la evaluación, que seincorpora en el documento conceptual.
Misión preparatoria. Durante la misiónpreparatoria el evaluador principal colaboracon el gobierno central en la designación deuna persona que coordine las relaciones quese establezcan a lo largo de la EPP sobreasuntos relacionados, entre otras cosas, conel programa de la misión, los asuntos delogística y la comunicación con los proyectosy otros asociados gubernamentales.
La misión preparatoria de las EPP representapara el evaluador principal de la OE una opor-tunidad de formarse una opinión sobre la infor-mación disponible y determinar las lagunas deconocimientos que habrán de colmarse, y ellocontribuye a hacerse una idea de la evaluabi-lidad de la estrategia y el programa en el país.Así pues, tras la misión preparatoria, se decidesi embarcarse en la recopilación de datosprimarios, la organización de grupos de discu-sión, la realización de evaluaciones ruralesrápidas, la utilización de otros métodos parti-cipativos y de investigación, etc.
Es fundamental seleccionar a un grupo repre-sentativo de asociados y beneficiarios proce-dentes de la capital y de determinadas zonasde los proyectos. De igual modo, es útilinculcar en el gobierno y los encargados de losproyectos la importancia de emplear datosrepresentativos acerca de las comunidades, loshogares y los lugares en que se han ejecutadoproyectos (p. ej., mediante muestreo aleatorio).
Fase de trabajo teórico. Al igual que en lasevaluaciones de proyectos, esta fase está pre-cedida por la elaboración del borrador de docu-mento conceptual. La entrega principal de estafase es un informe preparatorio consolidadobasado en los informes preparatorios relativos acada proyecto incluido en la EPP. También seprepara un informe preparatorio sobre las activi-dades no crediticias que abarca los resultadosque pueden obtenerse mediante un examendocumental del diálogo sobre políticas, la crea-ción de asociaciones y la gestión de los cono-cimientos. Los informes preparatorios (sobre losdistintos proyectos y las actividades no credi-ticias) sirven de fundamento para el informepreparatorio consolidado de la EPP, que incluyeun informe preparatorio de los resultados y elimpacto de la cartera de actividades crediticiasy no crediticias y una lista de las cuestiones ypreguntas que habrán de analizarse más afondo durante la misión principal de la EPP. Elinforme preparatorio consolidado se completaantes de la misión principal de la EPP.
Misión principal de la EPP. Para ofrecer todala gama de conocimientos técnicos necesarios,en general los equipos de EPP están integra-dos por entre cuatro y seis miembros, incluidoel jefe del equipo de consultores. El equipodeberá formarse de manera que sea posibleabordar con competencia los principales temasnormativos y estratégicos, las cuestiones pro-pias del subsector tratado y el diseño y lasmodalidades de ejecución del proyecto. Esesencial garantizar la presencia en el equipo dela EPP de expertos locales y mujeres.
A fin de disponer de tiempo suficiente paraentablar relaciones con múltiples interesados y
CUADRO 10: Índice para los documentosconceptuales de las EPP
I. ÍndiceII. JustificaciónIII. Antecedentes del paísIV. Panorama general de la asistencia
del FIDA al paísV. Objetivos, metodología (incluido el
marco de la evaluación) y procesode la evaluación
VI. Recopilación de datos y pruebasVII. Consorcio central de aprendizajeVIII. Equipo de consultoresIX. Comunicación y divulgaciónX. Calendario propuestoXI. Bibliografía
58
realizar las visitas sobre el terreno, la misión dela EPP normalmente pasa unas 5 ó 6 semanasen el país interesado. A los encargados de losproyectos que se visitarán se les avisa poradelantado para que faciliten información sobrela viabilidad de los transportes y los problemasde seguridad. Para la OE es obligatorioponerse en contacto con el oficial de segu-ridad de las Naciones Unidas con el fin decomprender el estado de seguridad existentesobre el terreno. Antes de comenzar las visitassobre el terreno deberá obtenerse siempre, deser necesaria, la autorización del personal deseguridad del sistema de las Naciones Unidas.
Antes del final de la misión el equipo deevaluación debe preparar un breve ayudamemoria (de menos de 10 páginas), que nodeberá contener calificaciones ni recomenda-ciones. En el cuadro 11 figura un esquemaindicativo del índice de ese ayuda memoria.63
Mesa redonda nacional. Generalmente, al
final de cada misión de EPP se organiza una
mesa redonda nacional de un día y medio de
duración para debatir y tratar más a fondo la
comprensión que tienen los participantes de
las constataciones y recomendaciones de
evaluación. El taller se celebra una vez ulti-
mado el informe de la EPP (tema tratado en
el apartado siguiente). Las fechas de la mesa
redonda se establecen en consulta con el
gobierno, después de asegurarse de la dispo-
nibilidad del Director de la OE, el Presidente
Adjunto encargado del PMD y el director de la
división regional competente. En el anexo 9 se
ofrecen directrices sobre buenas prácticas
para organizar esos talleres.
El evaluador principal prepara una nota
conceptual en la que se indican los objetivos
del taller y las actividades principales previstas
(con inclusión de una visita sobre el terreno a
un proyecto financiado por el FIDA), así como
una lista provisional de participantes y otras
informaciones que se consideren pertinentes.
A continuación, el evaluador principal elabora
asimismo un documento expositivo de entre
3 y 5 páginas de extensión que se distribuye
previamente a todos los participantes en la
mesa redonda. En ese documento se indican
los temas más importantes relativos al aprendi-
zaje que hayan surgido de la EPP y se plan-
tean las preguntas que podrán servir de base
para los debates. Además de los miembros
del CCA, debería invitarse a participar en el
taller a representantes de las entidades más
importantes, como las administraciones
federal/central y provincial/estatal, las ONG y la
sociedad civil, las instituciones de investigación
y universidades, las organizaciones multilate-
rales y bilaterales, etc.
En el gráfico 3 se ofrece una instantánea de las
fases, procedimientos y entregas principales
de la EPP.
CUADRO 11: Índice del ayuda memoriarelativo a la EPP
I. ÍndiceII. Panorama general de la estrategia
y el programa del FIDA en el paísIII. Antecedentes, objetivos y proceso
de la evaluaciónIV. Programa de la misión de
evaluación, incluidos losinteresados con que se hanmantenido encuentros, las zonasde proyectos visitadas y el númerode comunidades abarcadas
V. Resultados clave de la ejecución(en dos apartados diferentes, sobrela cartera de proyectos y lasactividades no crediticias)
VI. Cuestiones más importantesidentificadas
VII. Esferas que se someterán a unanálisis más detallado durante lafase de redacción del informe
VIII. Siguientes fases del proceso de la EPPIX. Apéndices63. En el anexo 3 figura una
lista de ejemplos de buenasprácticas al respecto.
Documento conceptual
Informes preparatorios por proyecto
Informe preparatorio consolidado
Autoevaluaciones por el PMD
Evaluaciones especiales de los resultadosy el impacto, si procede
Ayuda memoria
Borrador de informe final
Mesa redonda nacional y APC definitivo
Distribución del informe final de la EPP
Reseña de evaluación
Apreciación de evaluación
59
FASES PROCESOS ENTREGAS
GRÁFICO 3: Evaluaciones de programas en los países: fases, procesos y entregas principales
Labor teórica
Misión preparatoria
Recopilación dedatos primarios
Misión principal:intercambios en lacapital, debatescon los beneficiariosy visitas a los lugares de losproyectos
Redacción delinforme
Preparación del APC
Comunicación
Fase de diseño
Fase de trabajoen el país
Fase deredacción delinforme,observaciones y comunicación
B. Informes de lasevaluaciones de los programasen los países: contenido,definiciones y ejemplosEn este apartado se facilitan orientaciones parala elaboración del informe principal de la EPP. Serecomienda que, en total, el informe ocupe unas50 páginas. En el cuadro 12 figura un índiceindicativo de los informes de las EPP, que estánformados por un prólogo, un resumen ejecutivo(3-4 páginas), el APC y el informe principal, asícomo los apéndices. La OE pone a disposiciónde quien los solicite los documentos de trabajotécnicos (por ejemplo, acerca de cuestionesrelativas al subsector tratado, asuntos norma-tivos y de estrategia, disposiciones institucio-nales, etc.), que se enumeran en el índice comoanexos pero no forman parte del informe.
Observacionesdel PMD y el gobierno
Informe final ydocumentode respuesta
CUADRO 12: Índice de los informes de las EPP
Prólogo
Resumen ejecutivo
Acuerdo en el punto de culminación
Informe principal de evaluación
I. Antecedentes e introducción, con
inclusión de los objetivos, metodología
y procedimientos de la evaluación
II. Contexto del país
III. Descripción del COSOP y las
operaciones
IV. Resultados de la cartera
V. Evaluación de las actividades no
crediticias
VI. Resultados del COSOP
VII. Conclusiones y recomendaciones
Apéndices
REV
ISIÓ
N IN
TER
PARE
SD
E LA
OE
60
Préstamos y Donaciones, y se complementa,si procede, recurriendo a la división de opera-ciones del FIDA competente y/o el PMD.
El segundo apartado está dedicado a los obje-tivos, la metodología y el proceso de la evalua-ción. Los principales objetivos de las EPP sonlos siguientes: i) evaluar los resultados y elimpacto de las operaciones del FIDA en elpaís, y ii) formular una serie de constatacionesy recomendaciones destinadas al próximoCOSOP. En el informe se incluyen remisionesal marco de la EPP (véase al respecto unejemplo en el anexo 3), que habitualmente seadjunta como apéndice al informe principal.También se indican los criterios seguidos en laevaluación y se incluyen las definicionescorrespondientes. Además, el informe contieneuna descripción de los instrumentos y técnicasde evaluación empleados, tales comoencuestas rurales rápidas, grupos de discu-sión, consultas con los interesados, talleresy otros (véase el cuadro 3 del capítulo 2).Como en las evaluaciones de proyectos,en el análisis general de la EPP deberá pres-tarse especial atención a garantizar que lasdiferentes fuentes de datos e informaciónsean objeto de una triangulación apropiada.
A continuación, en el apartado sobre la meto-dología se indican los proyectos que se anali-zarán en el marco de la EPP y se esbozan losmotivos que justifican su inclusión. Por normageneral, las EPP abarcan las operacionesfinanciadas por el FIDA durante los 10 añosanteriores. También se incluyen los proyectosaprobados con anterioridad al período abar-cado cuando el 50% de su ejecución recaedentro de ese período de 10 años. Si seincluyen proyectos y programas más antiguos,habrán de especificarse los motivos. Tambiéndeberá haber un apartado sobre el proceso dela evaluación, en el que se indiquen los miem-bros y la función del CCA y se expongan agrandes rasgos la misión preparatoria y la laborsobre el terreno realizada, con inclusión de laszonas de los proyectos y el número de comu-nidades visitadas, las entrevistas mantenidascon asociados importantes, la mesa redonda
64. En el FIDA las condicionesde los préstamos respondena tres categorías: ordinarias,intermedias y muy favorables.
65. Este aspecto sería válidosólo para un pequeño grupo deproyectos y programas, dadoque el FIDA está avanzandohacia la aplicación plena de sunueva política de supervisióndirecta y apoyo a la ejecución.
Prólogo. El prólogo es un “resumen delresumen” de una página de extensión, firmadopor el Director de la OE. En él se realiza uncompendio de los aspectos salientes de laevaluación y de los principales contenidos rela-tivos a los resultados y el impacto del programaen el país y, además, se destacan los puntosfuertes y débiles. En el anexo 3 figura unejemplo de buena práctica al respecto.
Resumen ejecutivo. El resumen ejecutivoofrece una síntesis de los aspectos salientes, asícomo un resumen de las constataciones y reco-mendaciones principales y un cuadro con lascalificaciones consolidadas correspondientes de:i) el conjunto de proyectos evaluados en elmarco de la EPP; ii) las actividades no crediti-cias, iii) los resultados del COSOP en lo que serefiere a la pertinencia y eficacia, y iv) los logrosgenerales. En el anexo 3 figura un ejemplo debuena práctica al respecto.
Antecedentes e introducción. En este capítulose incluye lo siguiente: i) una visión general de laasistencia del FIDA, y ii) una exposición de losobjetivos, la metodología y los procedimientosde la EPP. En el primer apartado se ofreceuna visión general de la asistencia del FIDAmediante un resumen de todos los proyectosy programas financiados por el Fondo, queincluye el número de operaciones en curso, lasactividades no relacionadas con los proyectos(diálogo sobre políticas, gestión de los conoci-mientos y creación de asociaciones), la cuantíatotal de los préstamos y proyectos del FIDA, lascondiciones de los préstamos64 (con inclusiónde cualquier cambio que pueda haberseproducido durante el período de la evaluación),el monto total de la cofinanciación y los fondosde contrapartida movilizados, la institución oinstituciones cooperantes involucradas65 y elnúmero de proyectos en régimen de supervi-sión directa y apoyo a la ejecución, el númerode donaciones por países concedidas (coninclusión de las donaciones regionales o subre-gionales que abarcaban el país interesado), lafecha del último COSOP, etc. Esta informaciónse obtiene a través del Sistema de Gestiónde la Cartera de Proyectos y el Sistema de
61
indicadores sociales tales como la esperanzade vida y las tasas de alfabetización, informa-ción sobre si el país depende en gran medidade la agricultura, está en curso de transfor-mación o ya está urbanizado,66 etc.
En el tercer apartado se brinda una visióngeneral de las políticas públicas de fomentodel desarrollo económico y social, como elDELP, el plan de desarrollo a medio plazo y lalegislación o las reformas específicas desti-nadas a promover la reducción de la pobrezarural (p. ej., la reforma agraria). También seincluye en este apartado un análisis de la asis-tencia al desarrollo, la asistencia oficial para eldesarrollo y los presupuestos del gobiernodestinados a la agricultura y el desarrollo ruraly la contribución del FIDA en lo que a compro-misos y desembolsos anuales se refiere. Si seconsidera pertinente, es posible describir lafunción y la experiencia de las organizacionesbilaterales y multilaterales de desarrollo en elsector de la agricultura y el desarrollo rural.
Este capítulo del informe puede basarse enuna amplia gama de fuentes de información,como el perfil del país elaborado por laEconomist Intelligence Unit, informes de lacomisión (o ministerio) de planificación o delos ministerios de finanzas o agricultura; laestrategia de asistencia al país, la base dedatos sobre el país y los Indicadores deldesarrollo mundial del Banco Mundial; elInforme de Desarrollo Humano y el índicede desarrollo humano del PNUD;67 la basede datos mundial sobre el crecimiento y lamalnutrición infantiles de la OMS;68 losCOSOP, las reseñas de países y los docu-mentos de proyectos del FIDA; los docu-mentos de trabajo y estudio del IFPRI;69 losDELP; la base de datos en línea del BancoMundial sobre gobernanza;70 los documentosproducidos para el foro anual sobre eldesarrollo de los distintos países (antes cono-cido como las reuniones del Grupo Consul-tivo), también del Banco Mundial; las estadís-ticas reunidas por los países y la OCDE parahacer el seguimiento de los progresos en laaplicación de la Declaración de París,71 etc.
celebrada, el proceso de elaboración delAPC, el proceso de revisión interna inter paresen OE y el calendario. Como sucede en lasevaluaciones de proyectos, la OE llevará acabo un riguroso proceso interno en OE derevisión inter pares para garantizar la calidaddel informe de la EPP, antes de que éste sedistribuya fuera de la OE, para recabar lasobservaciones del PMD, el gobierno y losdemás interesados. Los evaluadores deberántener en cuenta estas etapas al elaborar elcalendario de la EPP.
Contexto del país. Este capítulo está formado
por tres apartados principales, a saber: i) la situa-
ción económica, agrícola y del desarrollo rural;
ii) las características de la pobreza, y iii) las polí-
ticas públicas dirigidas a mitigar la pobreza rural,
entre ellas la asistencia prestada por los donantes
en apoyo de la agricultura y el desarrollo rural. En
el primer apartado se brinda a los lectores infor-
mación general de carácter macroeconómico
sobre el país y el modo en que ha evolucionado
la situación durante el período cubierto por la
EPP, proporcionando datos sobre el PIB per
cápita, las tasas de crecimiento económico, la
inflación y los tipos de interés, la balanza de
pagos, las reservas de divisas, etc. También se
ofrece información sobre el sector del desarrollo
agrícola y rural (su contribución al total del PIB y
a la ocupación, con inclusión de cifras relativas a
la población rural pobre, las políticas fundamen-
tales para la agricultura y el desarrollo rural, los
productos básicos más importantes, etc.).
El segundo apartado contiene informaciónpertinente —desglosada por sexo— acercade la población total y las tasas de creci-miento correspondientes, el número de habi-tantes pobres de las zonas rurales, el númerode pequeños agricultores y jóvenes que vivenen las zonas rurales, los estados, provincias ydistritos más pobres, la línea de pobreza defi-nida por el gobierno y el número de habi-tantes pobres del medio rural que viven conmenos de 1 dólar y de 2 dólares al día, losgrupos sociales más desfavorecidos (comopueden ser las minorías étnicas, los pueblostribales e indígenas, las mujeres, etc.), los
66. Conforme a las definicionescontenidas en el Informe sobreel desarrollo mundial 2008 delBanco Mundial acerca delsector agrícola.
67. http://hdr.undp.org/en/
68.http://www.who.int/nutgrowthdb/database/en/
69. www.ifpri.org
70.http://info.worldbank.org/governance/wgi/resources.htm
71. Véase al respecto: 2008Survey on Monitoring theParis Declaration – MakingAid more Effective by 2010(Encuesta de 2008 sobre elseguimiento de la Declaraciónde París – Ayuda más eficazpara el 2010) en la direcciónwww.oecd.org/dac/effectiveness/monitoring/survey (puedeconsultarse un resumenen español en:http://www.oecd.org/dataoecd/42/16/41770778.pdf).
ELEMENTOS PRINCIPALES
CUADRO 13: Descripción de los elementos principales del COSOP
Objetivos estratégicos
Prioridad geográfica
Subsector prioritarioa
Instituciones asociadas másimportantes
Enfoque de focalización,haciendohincapié en los grupos socialesseleccionados
Combinación de instrumentosempleados en el programa enel país (préstamos, donaciones yactividades no crediticias)
Gestión del programa en el paísy el COSOP (véase el Apartado A,acerca de los conceptos principales,para obtener más información sobreestos aspectos)
Antes de la adopcióndel COSOP vigente
Elementos incluidosen el COSOP vigente
a. El subsector prioritario se determina básicamente examinando los componentes de los proyectos financiadospor el FIDA en un país determinado.
62
Descripción del COSOP. En este capítulo se
describen los elementos principales contenidos
en el COSOP, realizando un breve resumen de los
siguientes aspectos: i) los objetivos estratégicos;
ii) la prioridad geográfica; iii) el subsector priori-
tario; iv) las instituciones asociadas más impor-
tantes; v) el método de focalización empleado,
haciendo hincapié en los grupos sociales selec-
cionados; vi) la combinación de instrumentos
utilizados en el programa en el país (préstamos,
donaciones y actividades no crediticias), y vii) las
disposiciones de gestión del COSOP y el
programa en el país. En este apartado se realiza
una descripción concisa de los elementos princi-
pales del COSOP que servirán para facilitar la
evaluación independiente (véase el cuadro 13).
En el informe también se documenta el modo en
que el COSOP se fue aplicando en el curso del
período de cobertura establecido para la EPP,
y se incluye un examen de los proyectos y
programas financiados por el FIDA en ese
período, al margen de si en ese lapso de tiempo
se aprobaron una o más estrategias nacionales.
Se examina asimismo el diseño y la ejecución
de los proyectos y programas financiados por el
FIDA (así como de otros documentos normativos
y estratégicos), con lo que se arroja luz sobre los
objetivos, las prioridades y el enfoque general
del Fondo en el país de que se trate. Los
cambios principales acaecidos en ese período
se resumen en un cuadro (véase el cuadro 13).
En un recuadro también se podrá dar cuenta de
las enseñanzas y recomendaciones de EPP
anteriores, junto con información sobre si se
utilizaron y, en caso afirmativo, sobre cómo
se emplearon.
63
quedado debidamente reflejadas en eldiseño de los nuevos proyectos y progra-mas. Deberá incluirse un apéndice conun cuadro de las calificaciones otorgadasa todos los criterios de evaluación decada uno de los proyectos o programas.
(iv)En la EPP se habrán de agregar las califi-caciones de evaluación de los distintosproyectos y programas y, a continuación,extraerse una calificación general para loslogros de la cartera de proyectos. Sinembargo, la evaluación de la cartera noconsiste simplemente en una compila-ción de las diferentes evaluaciones deproyectos, y se deberán tomar en consi-deración las sinergias entre las distintasoperaciones y los efectos agregados enel aprendizaje. Por eso, al presentar esosanálisis no es aconsejable dar una expli-cación proyecto por proyecto de todoslos criterios de evaluación, sino que en laEPP deberán más bien comentarse losresultados y el impacto de toda la carterade proyectos en general. Del mismomodo, tampoco es aconsejable extraer lacalificación general calculando la media arit-mética de las distintas calificaciones asig-nadas a cada proyecto. Los evaluadores, alcontrario, deben tomar las calificaciones delos distintos proyectos y luego, basándoseen su propio juicio, atribuir a la cartera engeneral una sola calificación constituida porun número entero. Las calificacionesdeberán compararse con las contenidas enel ARRI,72 con las generadas por el procesode autoevaluación y, si procede, con lacartera dedicada a la agricultura y al sectorrural de otras IFI presentes en el país.En el cuadro 14 se facilita un ejemplo.
(v) Cuando se analizan los resultados de lacartera de proyectos reviste especialimportancia examinar la observancia delos principios de la Declaración de Paríssobre la Eficacia de la Ayuda al Desarrollo(2005), ratificados en el Programa deAcción de Accra (2008). Esto significaque en la EPP habrán de estimarse losprogresos en las cinco esferas generalesidentificadas en la Declaración de París,
Evaluación de la cartera. Este capítuloreviste especial importancia en vista delacento que el FIDA pone tradicionalmente enrespaldar proyectos y programas de inversióna nivel nacional. Por tanto, uno de los pilaresfundamentales de la EPP es la evaluación delos resultados de la cartera de proyectos yprogramas del FIDA. El equipo de la EPP deberátomar en consideración los aspectos siguientes:
(i) La evaluación habrá de basarse en losdebates que se mantengan con las partesinteresadas acerca de la selección de losproyectos y programas que la EPP abar-cará. En general, los proyectos finalizadosantes del inicio del período de 10 añoscubierto por las EPP quedan excluidos dela evaluación, salvo cuando el número deproyectos podría revelarse insuficiente.
(ii) La metodología para la evaluación deproyectos, establecida en el capítulo 3 deeste manual, deberá aplicarse rigurosa-mente al evaluar los proyectos incluidosen las EPP. Las evaluaciones habrán debasarse tanto en un examen teórico delos documentos como en la labor sobreel terreno. En algunos casos, es posibleque la OE efectúe evaluaciones de ciertosproyectos o evaluaciones de los resul-tados como actividades independientesantes de emprender la EPP.
(iii) Las calificaciones asignadas a los proyec-tos y programas merecen la debida aten-ción. Los mismos principios de agregaciónque se exponen en los capítulos 2 y 3serán válidos para todos los proyectosevaluados en el marco de una EPP.Naturalmente, en la EPP no se incluiráncalificaciones para todos los criterios deevaluación utilizados en los proyectos yprogramas que hayan comenzado en losdos o tres años anteriores. En esos casosse presta atención solamente a evaluar lapertinencia del diseño de los proyectos oprogramas, teniendo en cuenta las ense-ñanzas aprendidas de las actividades deevaluación. La EPP también deberá deter-minar hasta qué punto las últimas políticasy procedimientos institucionales, así comolas políticas del gobierno interesado, han
72. La comparación sellevará a cabo tanto con lascalificaciones atribuidas alas operaciones del FIDAen conjunto como con lasde la región geográficacorrespondiente.
CRITERIOS DE EVALUACIÓN
64
las actividades no crediticias, al igual quesucede con la evaluación de la cartera, en lasEPP se analizan asimismo los progresoshechos en el marco de los elementos princi-pales de la Declaración de París sobre laEficacia de la Ayuda al Desarrollo.
El análisis basado en el criterio de la pertinen-cia tiene por objeto determinar si las activida-des no crediticias se ajustan a las necesidadesde la población rural pobre y respaldan los
Evaluación de las actividades no crediticias.En las EPP también se evalúan el desempeñoy los resultados del FIDA y el desempeño delgobierno en lo relativo a las actividades nocrediticias, que son el diálogo sobre políticas,la creación de asociaciones y la gestión de losconocimientos en apoyo de los objetivos delCOSOP. Los tres criterios (pertinencia, eficaciay eficiencia) utilizados para evaluar las activi-dades no crediticias se esbozan en el párrafosiguiente. Cuando se evalúan los resultados de
CUADRO 14: Calificaciones de la EPP a la cartera de proyectos financiados por el FIDA
5 5 6 4 54 5 4 - 44 4 4 - 4
4,3 4,7 4,7 4,34 5 4 - 45 4 4 - 45 4 4 - 4
4 4 4 - 4
5 5 5 - 55 4 5 - 5
5 4 4 - 44 4 5 - 4
4 4 4 - 4
3 4 5 - 44 4 3 - 43 5 - - 4
Criterios básicos de losresultados
Pertinencia
Eficacia
Eficiencia
Resultados del proyectoImpacto en la pobreza rural
Ingresos y activos de los hogares
Capital humano y social yempoderamiento
Seguridad alimentaria yproductividad agrícola
Recursos naturales y medioambiente
Instituciones y políticas
Otros criterios de los resultadosSostenibilidadInnovación, reproducción y ampliación de alcance
Logros generales de la carterade proyectosa
Desempeño de los asociadosFIDAGobiernoInstituciones cooperantes
Evaluaciónde la carteraen el marco
de la EPP
a. Los logros generales de los proyectos se establecen a partir de la evaluación combinada de la pertinencia, laeficacia y la eficiencia, el impacto en la pobreza rural, la sostenibilidad y la innovación. Según las directrices deevaluación de la OE, en ese cálculo no se incluye el desempeño de los asociados. Los logros generales de lacartera se calculan de modo parecido.
a saber: apropiación, alineación, armoni-zación, gestión orientada a los resultadosy responsabilidad mutua. En las EPP sedeben utilizar los indicadores de progreso
y las metas correspondientes estable-cidos en la parte III de la Declaración deParís como base para las apreciacionesque se realicen.
Proyecto 1 Proyecto 2 Proyecto 3 Proyecto 4
65
objetivos estratégicos del FIDA y del país engeneral para reducir la pobreza rural. Al revisarel criterio de la eficacia se examina si las activi-dades no crediticias han alcanzado o es posi-ble que alcancen sus objetivos previstos. Enconcreto, habrá que prestar atención a si elFIDA y el gobierno han dedicado los debidosrecursos y atención a las actividades no credi-ticias como, por ejemplo, el diálogo sobrepolíticas, que es un ingrediente clave paragarantizar la reproducción y ampliación dealcance de las innovaciones promovidas enel contexto de las operaciones del FIDA.
A. Pertinencia
• ¿Se describen claramente en el COSOP los objetivos en materia de diálogo sobre políticas,
creación de asociaciones y gestión de los conocimientos? ¿Se ajustan esos objetivos a las
necesidades de la población pobre y son coherentes con los objetivos estratégicos del
COSOP y las operaciones crediticias, así como con las prioridades enunciadas por el
gobierno?
• ¿Respaldan suficientemente las actividades no crediticias los objetivos del programa en el
país previstos en el COSOP, así como la cartera de proyectos en el mismo país?
• ¿Se asignaron recursos expresamente a las actividades no crediticias y éstos se mencio-
naron explícitamente en el COSOP (p. ej., en forma de donación o a cargo del presupuesto
administrativo del FIDA)?
• ¿Se reveló adecuada y pertinente la combinación de actividades de diálogo sobre políticas,
creación de asociaciones y gestión de los conocimentos?
• ¿Se tuvieron en cuenta los servicios de asesoría prestados por otros asociados al
seleccionar el eje central de la labor no crediticia?
B. Eficacia
• Describa en qué medida las actividades no crediticias alcanzaron sus objetivos, si es que
éstos se expresaron de forma explícita.
• ¿Cómo contribuyeron las actividades no crediticias a la reproducción y ampliación de
alcance de las innovaciones promovidas por el FIDA?
• ¿Ha participado el FIDA de forma sistemática, con sus propias aportaciones, en las
deliberaciones de los grupos de trabajo de los donantes relacionados con la agricultura,
las cuestiones alimentarias y el desarrollo rural?
• ¿Cuánto se ha avanzado gracias a las actividades no crediticias en la aplicación de las
disposiciones contenidas en la Declaración de París sobre la Eficacia de la Ayuda en cuanto
a la apropiación, la alineación, la coordinación y armonización de los donantes, la gestión
orientada a los resultados y la responsabilidad mutua?
• En lo que a la gestión de los conocimientos se refiere, ¿se basaron correctamente los
objetivos estratégicos del COSOP y el diseño y ejecución de los proyectos en las
experiencias del FIDA en el país y en otros lugares?
• ¿Se utilizaron los enfoques más apropiados para alcanzar los resultados deseados?
RECUADRO 8: Preguntas clave para evaluar las actividades no crediticias del FIDA
Del mismo modo, forma parte integrante deese análisis asegurarse de la ausencia de dupli-caciones y del aprovechamiento de las siner-gias con los servicios de asesoría y análisis deotros asociados. Por último, comprobar la efi-ciencia de los servicios no crediticios comportaevaluar en qué medida se están utilizado eco-nómicamente los recursos disponibles.
Las preguntas principales que deberán abordarlos equipos de las EPP para evaluar la perti-nencia, la eficacia y la eficiencia de las activi-dades no crediticias figuran en el recuadro 8.
66
ACTIVIDADES NO CREDITICIAS CALIFICACIÓN
CUADRO 15: Ejemplo de calificaciones asignadas en una EPP a las actividades no crediticias
Diálogo sobre políticas 5
Gestión de los conocimientos 5
Creación de asociaciones 4
Actividades no crediticias en general 5
instrumentos utilizados en el programa en elpaís (préstamos, donaciones y actividades nocrediticias), y vii) las disposiciones para lagestión del programa en el país y el COSOP.
El análisis de la pertinencia deberá realizarsetanto mientras se elabora el COSOP comocuando se efectúa la evaluación, e incluye losaspectos siguientes:
• Una estimación de la alineación de losobjetivos estratégicos.
Evaluación de los resultados del COSOP.
En este apartado la EPP proporciona unanálisis de los resultados del COSOP encuanto a su pertinencia y eficacia en relacióncon los siete elementos enumerados en elcuadro 13: i) los objetivos estratégicos; ii) laprioridad geográfica; iii) el subsector priori-tario; iv) las instituciones asociadas másimportantes; v) los criterios de focalizaciónaplicados, haciendo hincapié en los grupossociales seleccionados; vi) la combinación de
• ¿Qué función han desempeñado el representante del FIDA en el país, de haberlo, y las
instituciones públicas principales para que las actividades no crediticias resultaran eficaces?
C. Eficiencia
• ¿Fue posible recurrir a actividades e instrumentos alternativos para reducir los costos de las
actividades no crediticias?
• ¿Cuáles fueron los costos de los diferentes tipos de actividades no crediticias y qué resul-
tados da su comparación con la base de referencia del FIDA (si se dispone de esta última)?
• ¿Se redujo al mínimo la carga administrativa impuesta a los funcionarios nacionales?
RECUADRO 8 (continuación): Preguntas clave para evaluar las actividades no crediticiasdel FIDA
Así pues, cuando se presente el análisis efec-tuado en la EPP, es aconsejable dar cuentapor separado de cada actividad no crediticia,a saber, el diálogo sobre políticas, la gestiónde conocimientos y la creación de asocia-ciones. Deberá asignarse una sola calificacióna los resultados de cada servicio de tipo nocrediticio, teniendo en cuenta su pertinencia,eficacia y eficiencia. Luego puede asignarse alas actividades no crediticias una calificaciónglobal (mediante un número entero) que estébasada en el juicio objetivo de los evaluadores(véase el cuadro 15).
Se espera que las actividades no crediticias,en su conjunto, ayuden a mejorar la eficaciade la labor de desarrollo del FIDA en un paísdeterminado. Aunque el diálogo sobre polí-ticas, la creación de asociaciones y la gestiónde los conocimientos sean actividades dife-renciadas, se refuerzan mutuamente y contri-buyen a progresar en el logro de los objetivosestratégicos contenidos en el COSOP. Unagestión de los conocimientos sólida, porejemplo, es esencial para poder servir debase del diálogo sobre políticas y determinarlas posibilidades de ampliación de alcance yreproducción mediante nuevas asociaciones.
67
asociados e instituciones principales a nivelnacional y local, los enfoques de focalizaciónutilizados (prestando atención a determinadosgrupos sociales desaventajados —p. ej.,mujeres, pueblos tribales, minorías étnicas,poblaciones de pastores, nómadas, agricul-tores sin tierra, etc. —) y la combinación deinstrumentos (préstamos, donaciones, activi-dades no crediticias) empleados para poner enpráctica los objetivos estratégicos contenidosen el COSOP. En este ámbito se presta aten-ción a determinar las sinergias establecidasentre las actividades de un mismo proyecto yentre distintos proyectos, evaluando losvínculos entre actividades crediticias y nocrediticias, y analizando las complementarie-dades de las actividades financiadas por elFIDA con las de otros donantes que trabajanen los sectores agrícola y rural. El cuadro 13es útil como punto de referencia para evaluarla coherencia del COSOP.
El examen de la gestión del programa en elpaís y del COSOP es fundamental, ya que elmodelo operativo definido para el país73 ayudaa determinar si se han alcanzado los objetivosestratégicos del COSOP. Por ello, en la EPPse evalúa, entre otras cuestiones, si el GPPdispuso de presupuestos administrativosapropiados para garantizar una labor correctade supervisión y apoyo a la ejecución, el tipode presencia en el país que se trató deconseguir, si se facilitaron al GPP tiempo yrecursos suficientes para las actividades dediálogo sobre políticas y gestión de los cono-cimientos, cualquier disposición concretadestinada a incluir a los interesados localesen la estrategia, el diseño de los proyectos yprogramas, etc. También se examinará lacontribución del gobierno a la gestión delprograma en el país y el COSOP, ya que enese proceso tiene una función importante quedesempeñar en esferas como el seguimientocorrecto de la puesta en práctica del COSOP.
Las preguntas clave que la EPP habrá detomar en consideración al analizar la perti-nencia del COSOP se enumeran en elrecuadro 9.
• Una evaluación de la coherencia de loselementos principales del COSOP en lorelativo al logro de los objetivos estraté-gicos, como la prioridad geográfica y elsubsector prioritario, los asociadosseleccionados, el programa en el paísdefinido, la focalización, las sinergias conotras actividades de desarrollo agrícola yrural en el país.
• Un examen de las disposiciones rela-tivas a la gestión del programa en elpaís y el COSOP.
Mediante el análisis de la alineación se deter-mina si los objetivos estratégicos principalesdel COSOP se ajustan al marco estratégicovigente del FIDA y a las políticas y procedi-mientos institucionales pertinentes, así comoa las estrategias y políticas clave del gobiernoen materia de agricultura y desarrollo rural.Al analizar la alineación de los objetivos estra-tégicos, el evaluador debe examinar la cohe-rencia de las actividades del FIDA con lasque llevan a cabo otras organizaciones bilate-rales y multilaterales de desarrollo que operanen el sector de la agricultura y el desarrollorural. Si se descubren diferencias significa-tivas, debe investigarse en qué medida eldiálogo sobre políticas se utilizó para mejorarla coherencia normativa.
La evaluación de la coherencia interna con queel FIDA utiliza los instrumentos crediticios y nocrediticios debe combinarse con un análisis dela coherencia externa, es decir, la regularidadcon que el FIDA ha participado en las activi-dades y políticas de otros asociados en lasactividades de desarrollo. Las indagacionesde la EPP deben centrarse principalmente endeterminar si el COSOP estaba en debidasintonía con la coherencia normativa en lorelativo a las consideraciones de desarrollo.
La evaluación de la coherencia y la alineacióncon las necesidades nacionales tambiéncomporta examinar las prioridades subsecto-riales (p. ej., riego, microfinanciación, infraes-tructura rural, etc.), la focalización geográficade las operaciones del FIDA, la elección de los
73. Por ejemplo, en lo relativoa la supervisión y apoyo a laejecución, la función del equipode gestión del programa en elpaís y las disposicionesrelativas a la presencia en elpaís (si procede).
68
A. Evaluación del grado de alineación de los objetivos estratégicos
• ¿Se revelaron coherentes los objetivos establecidos en el COSOP con los objetivos gene-
rales del marco estratégico del FIDA en vigor y las políticas institucionales pertinentes?
• ¿Estuvieron los objetivos estratégicos identificados en el COSOP alineados con las
estrategias y políticas del gobierno, como el DELP y el marco sectorial para la agricultura
y el desarrollo rural, así como para el desarrollo económico y social?
• ¿Se definieron claramente los objetivos estratégicos y fueron adecuados para lograr una
reducción sostenible de la pobreza rural?
• ¿Proporcionó el análisis de la pobreza (actividades económicas y sectoriales) una base
suficiente para elaborar la estrategia global, incluida la selección de los elementos
principales del COSOP enumerados en el cuadro 13?
• ¿Están armonizados los objetivos estratégicos con las prioridades de otros donantes bilate-
rales y multilaterales que trabajan en la esfera de la agricultura y el desarrollo rural en el
mismo país? Si otros donantes tenían fijadas otras prioridades, ¿hubo que convencerlos
para que armonizaran sus actividades con las del FIDA?
B. Evaluación de la coherencia de los elementos principales del COSOP
• ¿Se expusieron sucintamente en la estrategia la ventaja comparativa y las competencias del
FIDA en el país (es decir, su posicionamiento en el país)?a
• ¿Se determinaron con claridad los grupos-objetivo en relación con la índole de la asistencia
que el FIDA facilitaría?
• ¿Seleccionó el FIDA los subsectores más apropiados en los que invertir?
• ¿Se definieron las prioridades geográficas en la estrategia de acuerdo con la definición de
los grupos-objetivo?
• ¿Se revelaron adecuadas las instituciones asociadas principales (p. ej., para la ejecución,
la supervisión y apoyo a la ejecución del proyecto, la movilización comunitaria, la cofinan-
ciación) a fin de alcanzar los objetivos estratégicos del país?
• ¿Se definieron objetivos específicos y se asignaron recursos para las actividades no
crediticias, como el diálogo sobre políticas, la creación de asociaciones y la gestión
de los conocimientos?
• ¿Fueron apropiadas las sinergias previstas dentro de las actividades de inversión y entre
éstas, y entre las actividades crediticias y las no crediticias? Es decir, ¿constituyó la
asistencia general del FIDA un programa coherente en el país?
• ¿Calculó el FIDA en qué medida el entorno normativo mundial (comercio, migraciones, etc.)
y los factores exógenos (p. ej., el cambio climático, la exposición a catástrofes naturales)
debían orientar la elección de instrumentos crediticios y no crediticios y las prioridades para
que el FIDA interviniera mediante actividades crediticias y no crediticias?
C. Gestión del programa en el país y del COSOP
• ¿Seleccionaron el Fondo y el gobierno disposiciones apropiadas para llevar a cabo las
actividades de supervisión y el apoyo a la ejecución?
• ¿De qué modo la presencia en el país (de haberla) secundó los objetivos estratégicos del
COSOP? ¿Se implantó en el país el régimen más adecuado de presencia en los países?
• ¿Quedaron debidamente reflejadas en la estrategia nacional las enseñanzas aprendidas y
las recomendaciones formuladas en las evaluaciones independientes?
• ¿Dedicaron el FIDA y el gobierno recursos administrativos y humanos suficientes para
poner en práctica la estrategia en el país?
RECUADRO 9: Preguntas clave para evaluar la pertinencia del COSOP
69
crediticias como de las no crediticias. Laspreguntas clave que habrá que plantearsepara evaluar la eficacia del COSOP seenumeran en el recuadro 10.
En cuanto a la eficacia, en la EPP se habráde determinar si los objetivos estratégicosexpresados claramente en el COSOP sealcanzaron tanto en el caso de las actividades
• ¿En qué medida se alcanzaron los objetivos estratégicos principales incluidos en el COSOP?
• Si aún no está previsto elaborar un nuevo COSOP, ¿qué probabilidades hay de que los
objetivos aún no alcanzados se logren total o parcialmente?
• ¿Qué cambios de contexto han influido o es probable que influyan en la consecución de los
objetivos estratégicos? ¿Se adaptó debidamente el COSOP mientras se ponía en práctica
para reflejar los cambios que se habían producido en el contexto?
• ¿Dedicó el Fondo atención y recursos suficientes a la promoción de la eficacia, por
ejemplo, evaluando todos los años sistemáticamente los progresos hechos en la aplicación
del COSOPa (en el caso de los COSOP aprobados después de septiembre de 2006)?
RECUADRO 10: Preguntas clave para evaluar la eficacia del COSOP
a. Esta labor supone volver a analizar la pertinencia de los objetivos estratégicos respecto de las circunstanciascambiantes del país, estimar la eficacia demostrada por el COSOP a la hora de alcanzar los objetivos estratégicosdeclarados y examinar de nuevo la relación costo-eficacia de los enfoques seleccionados para lograr esos objetivos.
• ¿Poseía el GPP (y el oficial de enlace en el país, de haberlo) los conocimientos técnicos y
las competencias apropiadas para promover los objetivos en materia de diálogo sobre
políticas y creación de asociaciones determinados en el COSOP?
• ¿Se llevó a cabo la revisión a mitad de período del COSOP de manera oportuna
(en el caso de los COSOP aprobados después de septiembre de 2006) como medida
para lograr la eficacia?
• ¿Cuál es la calidad del marco de gestión de los resultados de los COSOP, los informes
sobre la situación de los proyectos y los informes agregados del sistema de gestión de los
resultados y el impacto (RIMS) y las hojas sobre la situación del programa en el país?
¿Fueron apropiadas las medidas adoptadas por la dirección en lo relativo a este
sistema de información?
• ¿Funcionó correctamente el SyE del COSOP? ¿Se realizaron exámenes anuales del
programa en el país de forma oportuna y se aplicaron las recomendaciones
correspondientes en los plazos exigidos?
• Visto que el COSOP es un documento dinámico, ¿se modificó para reflejar los cambios
que se habían producido en el país?
• ¿Funcionó adecuadamente el concepto en que se basa el equipo de gestión del programa
en el país y contribuyó éste a la gestión del programa en el país tal como tenía prescrito?
RECUADRO 9 (continuación) : Preguntas clave para evaluar la pertinencia del COSOP
a. El criterio del “posicionamiento en el país” es un modo de calcular en qué medida la organización ha reaccionadosatisfactoriamente ante la evolución de los desafíos y prioridades de desarrollo del gobierno (llegando incluso apreverlos), sobre la base de sus propias ventajas comparativas, y ha concebido sus estrategias y programas en lospaíses teniendo en cuenta el apoyo que otros asociados en las actividades de desarrollo han ofrecido.
70
EVALUACIÓN DEL COSOP CALIFICACIÓN
CUADRO 16: Ejemplo de calificaciones asignadas en una EPP a los resultados del COSOP
Pertinencia 3
Eficacia 4
Resultados 4
EVALUACIÓN CALIFICACIÓN
CUADRO 17: Evaluación general de la EPP
Resultados de la cartera 4
Actividades no crediticias 5
Resultados del COSOP 4
Asociación general del FIDA y el gobierno 4
Cuadro recapitulativo de las calificaciones
asignadas en la EPP. La finalidad del cuadroque figura a continuación es ofrecer a loslectores una instantánea de las calificacionesasignadas en la EPP a los siguientesaspectos: i) los resultados de la cartera; ii) lasactividades no crediticias, y iii) los resultados
del COSOP. Además, debe elaborarse unacalificación combinada para la asociacióngeneral entre el FIDA y el gobierno. Ésta nodebe ser una media aritmética, sino que debebasarse en el juicio fundado y objetivo de losevaluadores. En el cuadro 17 figura unejemplo al respecto.
Conclusiones y recomendaciones.
Este último capítulo consta de dos subapar-tados. En el dedicado a las conclusiones serealiza un compendio de las constatacionesprincipales. Deberá ser un resumen concisoy equilibrado, en el que se exponga unavaloración imparcial de los aspectos posi-tivos y negativos del diseño y la aplicacióndel COSOP. Todas las conclusiones habránde contener una referencia a los apartadosclave del informe. De modo análogo, las
recomendaciones deberán ser pocas, seexpondrán por orden de prioridad y en ellasse deberán tratar las cuestiones estratégicasrelativas a las futuras intervenciones del FIDAen el país. Además, deberán ponerse clara-mente en relación con las conclusionesmediante las referencias apropiadas. Enresumen, las conclusiones deberán basarseen datos empíricos, y las recomendaciones,fundamentarse en las conclusiones de la EPP.
eficacia). Esa calificación combinada nodeberá ser la media aritmética, sino más bienun número redondo basado en las pruebasdisponibles y en el juicio objetivo de losevaluadores (véase el cuadro 16).
En las EPP se deben asignar calificacionesindividuales a la pertinencia y la eficacia delCOSOP. El informe de la EPP deberá incluiruna calificación combinada para los resul-tados del COSOP (basada en las califica-ciones obtenidas por la pertinencia y la
71
El Comité de Evaluación celebró un seminariooficioso el 5 de diciembre de 2008 dedicadoexclusivamente a analizar el nuevo manual deevaluación de la OE. En el nuevo manual seexponen las metodologías y los procedimientosmejorados de la OE para realizar evaluacionestanto de los proyectos como de los programasen los países. También se indican elementosmetodológicos fundamentales que han de apli-carse estrictamente en todos los tipos de eva-luación que la División lleve a cabo en el futuro.
Participaron en el período de sesiones todoslos miembros del Comité (Alemania, la India,Indonesia, Nigeria, Suecia y Suiza), conexcepción de Bélgica,74 Malí y México.Estuvieron presentes en calidad de obser-vadores Egipto, los Estados Unidos deAmérica, Finlandia, Noruega y los Países Bajos.
También participó en el período de sesiones elProfesor Robert Picciotto, ex Director Generaldel Grupo de Evaluación Independiente en elBanco Mundial y el Sr. Hans Lundgren, Secre-tario de la Red de evaluación de las activi-dades de desarrollo del Comité de Asistenciapara el Desarrollo de la Organización de Coop-eración y Desarrollo Económicos. El ProfesorPicciotto y el Sr. Lundgren fueron el Presidentey uno de los miembros, respectivamente, deun grupo de asesores independientes interna-cionales de alto nivel creado por la OE paraque aportara orientaciones y contribucionesdurante todo el proceso de preparación delnuevo manual de evaluación. También asistióal período de sesiones del Comité el Presi-dente Adjunto encargado del PMD, el Directorde la OE y otros funcionarios del FIDA.
Tanto el Profesor Picciotto como elSr. Lundgren expresaron suma satisfacción
por la calidad del manual, tanto por el procesode preparación como por el contenido, ehicieron hincapié en su utilidad para mejorar lacalidad y eficacia del trabajo de la OE, cuyalabor es fundamental para la ulterior armo-nización de la función de evaluación indepen-diente del FIDA con las buenas prácticas y lasnormas internacionales. El Profesor Picciottoseñaló también que debía encomiarse enparticular la labor del FIDA, ya que ningunaotra organización multilateral de desarrollocontaba con un manual de evaluación tanamplio y bien estructurado como el de la OE.
El Comité de Evaluación acogió con agrado lapresentación del nuevo manual de evaluaciónde la OE y consideró que era el más avanzadoen el ámbito de las organizaciones interna-cionales de desarrollo. El Comité recomendó ala OE que prestara la debida atención a la apli-cación y difusión de este instrumento, para locual era necesario traducirlo a los idiomasoficiales del FIDA e impartir capacitación alpersonal y los consultores de la OE y el PMD,así como a otros usuarios. Además, el Comitédestacó la importancia de preservar la flexibil-idad de los procesos y métodos de evaluación,para poder aplicar los enfoques más eficaces,teniendo en cuenta el contexto del país y lascircunstancias de cada evaluación en particular.
Por último, el Presidente Adjunto encargadodel PMD elogió la labor de la OE por la altacalidad del manual y del proceso de consultasque había acompañado su elaboración.
*El Comité de Evaluación es un subcomitépermanente de la Junta Ejecutiva del FIDA.
Fragmentos extraídos de los debatesdel Comité de Evaluación* acerca delmanual de evaluación de la OE
74. Bélgica hizo llegar susobservaciones y el Presidentedel Comité de Evaluatiónse encargó de transmitirlasal Comité.
Apéndice
72
Banco Asiático de Desarrollo (2006):Guidelines for the Preparation of CountryAssistance Program Evaluation Reports,Manila, Filipinas.
Banco Mundial (2004): Seguimiento yevaluación: instrumentos, métodos yenfoques, Washington D.C., Estados Unidos.
Banco Mundial (2008): “Country assistanceevaluation methodology – Guide toIndependent Evaluation Group’s countryevaluation rating methodology”, sitio web delGrupo Independiente de Evaluación del BancoMundial, Washington D.C., Estados Unidos.
Banco Mundial (2008): “Evaluationmethodology”, sitio web del GrupoIndependiente de Evaluación del BancoMundial, Washington D.C., Estados Unidos.
Banco Mundial (2008): Informe sobre elDesarrollo Mundial 2008: Agricultura para elDesarrollo, Washington D.C., Estados Unidos.
CAD (1991): Principles for Evaluation ofDevelopment Assistance, OCDE, París,Francia.
CAD (2002): Glosario de los principalestérminos sobre evaluación y gestión basadaen resultados, OCDE, París, Francia.
CAD (2006): Estándares de Calidad deEvaluación del CAD (para su aplicación enfase de prueba), OCDE, París, Francia.
CAD (2006): Manual de gestión deevaluaciones conjuntas, OCDE, París, Francia.
Bibliografía
CAD (2007): Encouraging EffectiveEvaluation of Conflict Prevention and Peace-Building Activities: Towards DAC Guidance,OCDE, París, Francia.
CAD (2008): Survey on Monitoring the ParisDeclaration: Effective Aid by 2010? What ItWill Take, OCDE, París, Francia.
Datt, G. y M. Ravallion (1996): “Howimportant to India’s poor is the sectoralcomposition of economic growth?”, TheWorld Bank Economic Review 10: 1-25.
FIDA (2002): Guía para el SyE de proyectos,Roma, Italia.
FIDA (2003): “Marco metodológico para laevaluación de proyectos – Principalescriterios y preguntas clave para laevaluación de proyectos”, Roma, Italia.
FIDA (2003): Política de evaluación,Roma, Italia.
FIDA (2006): “Propuesta de marco revisadopara los programas sobre oportunidadesestratégicas nacionales basados en losresultados”, Roma, Italia.
Gallup, J., S. Radelet y A. Warner (1997):Economic Growth and the Income of thePoor. CAER Discussion Paper No. 36,Harvard Institute for InternationalDevelopment, Cambridge, Massachussets,Estados Unidos.
1Anexo
73
Grupo de Cooperación en materia deEvaluación (2008): Good Practice Standardsfor Country Strategy and ProgramEvaluation, Manila, Filipinas.
Grupo de las Naciones Unidas sobreEvaluación (2005): Normas de evaluaciónen el sistema de las Naciones Unidas,Nueva York, Estados Unidos.
Grupo de las Naciones Unidas sobreEvaluación (2005): Estándares de evaluaciónen el sistema de las Naciones Unidas,Nueva York, Estados Unidos.
Henry, G. T. (1990): Practical Sampling(Applied Social Research Methods), SagePublications, Inc., Thousands Oaks, California,Estados Unidos.
IFPRI (2007): Focus on the World’s Poorestand Hungry People, Washington D.C.,Estados Unidos.
Naciones Unidas (2006): The MillenniumDevelopment Goals Report 2006, Nueva York,Estados Unidos.
Ravallion, M. (1999): The Mystery of theVanishing Benefits: Ms Speedy Analyst’sIntroduction to Evaluation, Working PaperNo. 2153, Banco Mundial, Washington D.C.,Estados Unidos.
Ravallion, M. et al. (2007): New Evidence onthe Urbanization of Global Poverty, BancoMundial, Washington D.C., Estados Unidos.
Tashakkori, A. y C. Teddlie (1998): MixedMethodology: Combining Qualitative andQuantitative Approaches (Applied SocialResearch Methods), Sage Publications,California, Estados Unidos.
Warr, P. (2001): Poverty Reduction andSectoral Growth, Results from South EastAsia. Universidad Nacional de Australia,Canberra, Australia.
74
2Anexo
Referencias complementarias sobretécnicas de recopilación de datos
McNall, M. y P. G. Foster-Fishman (2007):Methods of Rapid Evaluation, Assessment,and Appraisal, American Journal ofEvaluation, 6 2007; vol. 28: págs. 151 – 168.
Patton, M. Q. (2002): Qualitative Research andEvaluation Methods, Sage Publications Inc.,Thousands Oaks, California, Estados Unidos.
Picciotto, R. y R. C. Rist (1995): EvaluatingCountry Development Policies andPrograms: New Approaches for a NewAgenda, John Wiley and Sons, SanFrancisco, California, Estados Unidos.
Picciotto, R. y E. D. Wiesner (1998): Evaluation& Development: The Institutional Dimension,Transaction Pub, New Brunswick, New Jersey,Estados Unidos.
Rossi, P.E., M. W. Lipsey y H. E. Freeman(1999): Evaluation: A Systematic Approach,SAGE Publications, Thousand Oaks, California,Estados Unidos.
Tashakkori, A. y C. Teddlie (1998): MixedMethodology: Combining Qualitative andQuantitative Approaches (Applied SocialResearch Methods), Sage Publications,California, Estados Unidos.
Valadez, J. y M. Bamberger (1994): Monitoringand Evaluating Social Programmes inDeveloping Countries, Banco Mundial,Washington D. C., Estados Unidos.
Wholey, J. S., H. Pl. Hatry y K.E. Newcomer(2004): Handbook of Practical ProgramEvaluation, John Wiley and Sons, SanFrancisco, California, Estados Unidos.
Yin, R. K (2003): Case Study Research:Design and Methods (Applied Social ResearchMethods), Sage Publications, California,Estados Unidos.
Ésta no es una lista exhaustiva, sino que selimita a proponer una serie limitada delecturas útiles.
Baker, J. L. (2000): Evaluating the Impact ofDevelopment Projects on Poverty. AHandbook for Practitioners, Banco Mundial,Washington D. C., Estados Unidos.
Bamberger, M., J. Rugh y L. Mabry (2006):RealWorld Evaluation: Working UnderBudget, Time, Data, and PoliticalConstraints, SAGE Publications, ThousandOaks, California, Estados Unidos.
Bamberger, M., J. Rugh, M. Church y L. Fort(2004): Shoestring Evaluation: DesigningImpact Evaluations under Budget, Time andData Constraints, American Journal ofEvaluation, 3 2004; vol. 25: págs. 5-37.
Banco Mundial (2006): Conducting QualityImpact Evaluations under Budget, Time andData Constraints, Washington D. C.,Estados Unidos.
Henry, G. T. (1990): Practical Sampling(Applied Social Research Methods), SagePublications Inc., Thousands Oaks, California,Estados Unidos.
Iversion A. (2003): Attribution and AidEvaluation in International Development: Aliterature review, Dependencia de Evaluacióndel Centro Internacional de Investigacionespara el Desarrollo, Ontario, Canadá.
Krueger, R. A. y M. A. Casey (2000): FocusGroups, Sage Publications, California,Estados Unidos.
Levin, H.M. y P. J. McEwan (2001): CostEffectiveness Analysis, Sage PublicationsInc., Thousands Oaks, California,Estados Unidos.
75
• Brasil
• Pakistán
Evaluaciones de proyectos
• Belice: Proyecto de Desarrollo Agrícola
y Ordenación de Recursos de Base
Comunitaria
• Burkina Faso: Proyecto de Desarrollo Rural
Comunitario
• Pakistán: Proyecto de Apoyo a la Zona de Dir
• Filipinas: Proyecto de Iniciativas Comuni-
tarias en Mindanao Occidental
• Rumania: Proyecto de Desarrollo en Apuseni
E. Resumen ejecutivoEvaluaciones de programas en los países
• Brasil
• Pakistán
Evaluaciones de proyectos
• Albania: Programa de Desarrollo de las
Zonas Montañosas
• Georgia: Proyecto de Desarrollo Agrícola
• Níger: Programa Especial a Nivel Nacional
– Fase II
• Filipinas: Proyecto de Ordenación de los
Recursos Agrícolas en las Tierras Altas de
la Cordillera
• República Unida de Tanzanía: Programa
de Desarrollo Participativo del Riego
F. Acuerdo en el puntode culminaciónEvaluaciones de programas en los países
• Etiopía
• Pakistán
Evaluaciones de proyectos
• Albania: Programa de Desarrollo de las
Zonas Montañosas
• Burkina Faso: Proyecto de Desarrollo
Rural Comunitario
Lista de buenas prácticas: ejemplos de entregas clave de evaluación
A. Marco de evaluaciónEvaluaciones de programas en los países
• Brasil
• Pakistán
Evaluaciones de proyectos
• China: Proyecto de Reducción de la
Pobreza en la Zona Montañosa de Qinling
• Uganda: Proyecto de Fomento de la
Producción de Aceites Vegetales
B. Documento conceptualEvaluaciones de programas en los países
• Brasil
• India
• Pakistán
Evaluaciones de proyectos
• China: Proyecto de Reducción de la Pobreza en la Zona Montañosa de Qinling
• Perú: Proyecto de Desarrollo del Corredor
Puno-Cusco
• Filipinas: Proyecto de Ordenación de los
Recursos Agrícolas en las Tierras Altas
de la Cordillera
• República Unida de Tanzanía: Programa
de Desarrollo Participativo del Riego
C. Ayuda memoriaEvaluaciones de programas en los países
• Brasil
• Nigeria
• Pakistán
Evaluaciones de proyectos
• Argentina: Proyecto de Desarrollo Rural
de las Provincias del Noreste
• China: Proyecto de Reducción de la
Pobreza en la Zona Montañosa de Qinling
D. PrólogoEvaluaciones de programas en los países
3Anexo
76
Modelo de informe preparatoriodel proyecto(Fecha de aprobación: 21 de noviembre de 2008)(Extensión total indicativa: 5-6 páginas)
y otros funcionarios) con el fin de reunirinformación adicional o, simplemente, paraverificar algunas de las constatacionesiniciales surgidas del informe preparatorio.
El análisis de los datos en el informepreparatorio deberá basarse en la metodologíamás reciente de la OE para las evaluacionesde proyectos y centrarse en el examen de lossiguientes aspectos: i) los criterios básicosde los resultados del proyecto, medidosen cuanto a la pertinencia, la eficacia y laeficiencia; ii) el impacto en la reducción dela pobreza rural, agrupando los resultadossegún las cinco dimensiones del impacto(véase al respecto el apartado III infra);iii) los otros criterios de los resultados (lasostenibilidad y la innovación, la reproduccióny la ampliación de alcance), y iv) el desempeñode los asociados.
En la medida de lo posible, basándose en losdatos disponibles en la Sede, en el informepreparatorio deben presentarse unas califica-ciones preliminares para cada criterio deevaluación. La escala de calificación que seutilizará concuerda con el sistema de seispuntos utilizado por la OE, según el cual 6 esla puntuación más alta y 1, la más baja. Lascalificaciones contenidas en la nota nodeberán darse a conocer a nadie ajeno a laOE, así que deberán adjuntarse en un anexoa la nota misma, que no se difunde fuera delámbito de la OE.
Antecedentes del país y del sector. Esteapartado contiene información esencial acercadel país, el sector y la zona del proyecto, porejemplo, sobre la economía, indicadores
I. Antecedentes e introducción(extensión indicativa: 1 2 páginas)Finalidad. La finalidad del informe prepara-torio es ofrecer un resumen informativo delos resultados y el impacto del proyectobasado en la información reunida mediantela labor teórica y las entrevistas celebradasen la Sede. También sirve para poner derelieve hipótesis y cuestiones concretas quese incluirán en el documento conceptual dela evaluación y merecen un análisis más afondo durante la visita en el país del equipode evaluación. En el marco de las EPP, losinformes preparatorios de cada proyectoofrecen un modelo coherente para analizarlos resultados y el impacto de los proyectosincluidos en la evaluación.
Proceso. En las evaluaciones de proyectos,el informe preparatorio debe prepararsedespués de haberse elaborado el documentoconceptual y ultimarse antes de la misiónprincipal de evaluación. El informe debeponerse en conocimiento del GPP para queformule observaciones y transmitirse despuésal gobierno y a los responsables del proyectopara obtener sus comentarios. El procesoque comporta la elaboración del informepreparatorio en el marco de las EPP seanalizará aparte.
Enfoque y metodología. El informepreparatorio se basa en las informaciones ydatos reunidos mediante el examen de losdocumentos de proyectos y otras fuentesdocumentales externas pertinentes de que sedispone en la Sede del FIDA.75 También debenorganizarse entrevistas con los GPP (y, de serpreciso, con el director de la división regional
75. Deberá adjuntarse enanexo la lista de losdocumentos consultados.
4Anexo
77
sociales, datos demográficos, cuestiones rela-tivas al desarrollo agrícola y rural, caracterís-ticas de la pobreza rural, etc. En particular,debe facilitarse en un párrafo separado infor-mación sobre los sectores o subsectoresespecíficos de importancia para el proyecto,como pueden ser la financiación rural, elriego, la ganadería y la tenencia de la tierra.
Operaciones del FIDA en el país. En esteapartado se expone brevemente la informaciónrelativa a las operaciones del FIDA en el país,dando una visión general del COSOP y facili-tando el número de proyectos financiados, los
montos de los préstamos, los costos totalesde los proyectos y otros datos pertinentes.
Diseño del proyecto. Este apartado contieneun resumen de los objetivos, la zona geográ-fica, el grupo-objetivo, los componentes y elplan de financiación del proyecto, así comode las principales instituciones asociadas queintervienen en él. También deberá incluirseun breve resumen de las disposiciones degestión y ejecución del proyecto y un cuadrocon información sobre el costo del proyecto,los plazos principales y la tasa de desembolsoactual (véase el ejemplo del cuadro infra).
II. Resultados del proyecto (2 páginas)Pertinencia. En este apartado se resumen yanalizan los rasgos distintivos del diseño delproyecto y se explican los cambios importantesintroducidos en el diseño durante la ejecución,si los ha habido. Con la información y los datosdisponibles, en esta sección (al igual que en elanálisis de todos los demás criterios de evalua-ción) el evaluador deberá tratar de responder,en lo posible, a las preguntas relativas a lapertinencia que figuran en el manual de evalua-ción de la OE. Para cada criterio de evaluación,
además de valorar los resultados correspon-dientes, los evaluadores que elaboran elinforme preparatorio deberán realizar unesfuerzo concertado para determinar lascausas inmediatas de que se hayan conse-guido resultados buenos o no tan buenos,identificando asimismo las hipótesis oproblemas que merecen ser analizados más afondo durante la fase de trabajo en el país.
Eficacia En este apartado se estima en quémedida el proyecto ha alcanzado sus obje-tivos declarados. Además, deberá añadirse
Ejemplo de cuadro con información sobre el proyecto
País:
Nombre del proyecto:
Fecha de aprobación del proyecto:
Fecha de entrada en vigordel proyecto:
Fecha original de cierre:
Fecha efectiva de cierre:
Costo total:
Préstamo del FIDA:
Condiciones del préstamo:
Contribución del Gobierno:
Contribución de los beneficiarios:
Institución cooperante:
India
Proyecto de Desarrollo de la Zona de Mewat
12 de abril de 1995
7 de julio de 1995
31 de marzo de 2003
31 de marzo de 2005
USD 22,3 millones
USD 15 millones (67% del costo total)
Muy favorables
USD 6,6 millones (30%)
USD 0,7 millones (3%)
Oficina de las Naciones Unidas de Serviciospara Proyectos (UNOPS)
78
un anexo con las realizaciones (metas) enmateria de productos materiales, desglo-sadas por componente.
Eficiencia. En esta sección se evalúa dequé modo los insumos se están utilizandoeconómicamente para obtener productos.Se deberá añadir un anexo en el que seexpongan los desembolsos anuales (estainformación se extrae del Sistema de Prés-tamos y Donaciones).
III. Impacto en la pobreza rural(1 página)En el informe preparatorio se deberá deter-minar el impacto del proyecto en la pobrezarural en lo que a las cinco esferas siguientes serefiere: i) los ingresos y activos de los hogares;ii) el capital social y humano, y el empodera-miento; iii) la seguridad alimentaria y la produc-tividad agrícola; iv) los recursos naturales y elmedio ambiente, y v) las instituciones y polí-ticas. También se habrá de incluir una estima-ción del impacto general de la operación en lapobreza rural. Dentro de cada esfera, sedeberá prestar especial atención a evaluar elimpacto en la equidad de género y en el empo-deramiento y la promoción de las mujeres.
Como se ha indicado anteriormente,tampoco en este apartado deberán descri-birse explícitamente las calificaciones, sinoque habrá que incluirlas en un anexo (véaseun ejemplo en el apéndice 1).
IV. Otros criterios de losresultados (1 página)Sostenibilidad. En este apartado se evalúa laprobabilidad de que las corrientes de benefi-cios generados por una inversión continúendespués del cierre del proyecto. Tambiéndeberá figurar un análisis concebido paradeterminar si los resultados efectivos yprevistos conseguirán superar los riesgos quese presenten una vez finalizado el proyecto.
Innovación, reproducción y ampliación de
alcance. En este apartado se arroja luzsobre los elementos innovadores del
proyecto y se examinan ejemplos reales dereproducción y ampliación de alcance de losmismos, así como las posibilidades exis-tentes de que se verifiquen.
V. Desempeño de losasociados (1/2 página)En este apartado se presentan las estima-ciones del desempeño del FIDA, el gobiernoy sus organismos, y las instituciones coope-rantes (si procede).
VI. Conclusiones principales(1/4 de página)En este apartado se ofrece una síntesis de lasconclusiones principales, en forma de brevecompendio.
VII. Cuestiones que requierenmayores indagaciones(1/2 página)En este apartado se resumen las hipótesis ycuestiones principales que merecen serinvestigadas más a fondo durante la fase detrabajo en el país del equipo de evaluación.Las cuestiones identificadas aquí deberánderivarse claramente del análisis y las conclu-siones contenidas en el informe preparatorio.
Anexo 4 - Apéndice 1: Calificaciones
preliminares (exclusivamente para uso
interno de la OE)
En este apéndice se presenta un cuadro conlas calificaciones atribuidas a todos los crite-rios de evaluación. Es importante que las cali-ficaciones sean coherentes con el análisiscontenido en el texto del informe preparatorio.Además, se incluirá un resumen de las califi-caciones contenidas en el último informesobre la situación del proyecto o informe finaldel mismo, de haberlos.
79
CRITERIOS DE EVALUACIÓN
Ejemplo de calificaciones preliminares
Criterios básicos de evaluación de los resultadosPertinenciaEficaciaEficienciaResultados del proyecto
Impacto en la pobreza ruralIngresos y activos de los hogaresCapital humano y social y empoderamientoSeguridad alimentaria y productividad agrícolaRecursos naturales y medio ambienteInstituciones y políticas
Otros criterios de evaluación delos resultados
SostenibilidadInnovación, reproducción
y ampliación de alcance
Logros generales del proyecto
Desempeño de los asociadosFIDAGobiernoInstitución cooperante (UNOPS)
Calificaciones que aparecen en el informe
final del proyecto (según la escala de 1 a 6)
Calificaciones asignadasen la evaluación
del proyecto
544
545
(según la escala de 1 a 6)
644
4,7
56444
4
4
4
544
4,3
446444
4
4
4
80
5 Protocolo de la Oficina de Evaluaciónpara las comunicaciones internas yexternas en las diferentes etapas delproceso de evaluaciónAnexo
Entregas clave de evaluación y modalidades de comunicación interna(Fecha de aprobación: 2 de abril de 2007)
De: Director de la OE
Para: PresidenteAdjunto, PMD
cc: Presidente,Directores del PMD,Gerente Superior dela Cartera/PMD
De: Director de la OE
Para: Directorcompetente del PMD
cc: GPP competente,Gerente Superior dela Cartera/PMD
De: Director Adjuntode la OE
Para: Directorcompetente del PMD
cc: GPP, DirectorAdjunto de la OE,Gerente Superior dela Cartera/PMD
Eva
luac
ione
sa
nive
l ins
tituc
iona
lE
PP
Eva
luac
ione
s d
ep
roye
cto
s
Correo electrónicopara anunciar las evaluaciones
Documentoconceptual
De: Director de la OE
Para: PresidenteAdjunto, PMD
cc: Presidente,Directores del PMD,Gerente Superior dela Cartera/PMD
De: evaluador principal
Para: GPP
cc: Director competentedel PMD, Director yDirector Adjunto de laOE, Gerente Superiorde la Cartera/PMD
De: evaluador principal
Para: GPP
cc: Director y DirectorAdjunto de la OE,Director competentedel PMD, Gerente Superior dela Cartera/PMD
De: Director de la OE
Para: PresidenteAdjunto, PMD
cc: Directores delPMD, GerenteSuperior de laCartera/PMD
Informe inicial Ayuda memoria de la misión
De: Director de la OE
Para: PresidenteAdjunto, PMD
cc: Directores del PMD,Gerente Superior de laCartera/PMD
De: evaluador principal
Para: GPP
cc: Director competentedel PMD, Director yDirector Adjunto de laOE, Gerente Superiorde la Cartera/PMD
De: evaluador principal
Para: GPP
cc: Director y DirectorAdjunto de la OE,Director competente delPMD, Gerente Superiorde la Cartera/PMD
81
Borrador de informe finalDe: Director de la OE
Para: PresidenteAdjunto, PMD
cc: Presidente,Directores del PMD,Gerente Superior dela Cartera/PMD
De: Director de la OE
Para: Director competente del PMD
cc: PresidenteAdjunto, PMD, GPP,Director Adjunto de laOE, Gerente Superiorde la Cartera/PMD
De: Director Adjuntode la OE
Para: Director competente del PMD
cc: PresidenteAdjunto del PMD,GPP, Director de laOE, Gerente Superiorde la Cartera/PMD
Borrador de informe final
De: Director de la OE
Para: PresidenteAdjunto, PMD
cc: Presidente,Directores del PMD,Gerente Superior dela Cartera/PMD
De: Director de la OE
Para: Director competente del PMD
cc: PresidenteAdjunto, PMD, GPP,Director Adjunto de laOE, Gerente Superiorde la Cartera/PMD
De: Director Adjuntode la OE
Para: Director competente del PMD
cc: PresidenteAdjunto del PMD,GPP, Director de laOE, Gerente Superiorde la Cartera/PMD
De: Director de la OE
Para: PresidenteAdjunto, PMD
cc: Presidente,Directores del PMD,Gerente Superior dela Cartera/PMD
De: Director de la OE
Para: Directorcompetente del PMD
cc: PresidenteAdjunto, PMD, GPP,Director Adjunto de laOE, Gerente Superiorde la Cartera/PMD
De: Director de la OE
Para: Director competente del PMD
cc: PresidenteAdjunto, PMD, GPP,Director Adjunto de laOE, Gerente Superiorde la Cartera/PMD
Por determinar
De: Director de la OE
Para: Directorcompetente del PMD
cc: PresidenteAdjunto, PMD, GPP,Director Adjunto de laOE, Gerente Superiorde la Cartera/PMD
De: Director de la OE
Para: Directorcompetente del PMD
cc: PresidenteAdjunto, PMD, GPP,Director Adjunto de laOE, Gerente Superiorde la Cartera/PMD
Observaciones del PMD y pista de comprobación
Borrador de APC Informe final
82
Entregas clave de evaluación y modalidades de comunicación externa(Fecha de aprobación: 15 de septiembre de 2008)
Fax oficial para anunciar la evaluación y presentar alevaluador principal de la OE
De: Director de la OE
Para: Gobernador ante el FIDA(generalmente, el Ministro deAgricultura o Hacienda)
cc: Ministro de Hacienda oAgricultura (en función de cuálsea el Gobernador), DirectorEjecutivo (si procede),Embajador en Roma, personade enlace con el FIDA en laEmbajada en Roma,b
directores y cofinanciadoresde proyectos, cualquier otroasociado principal en laejecución (p. ej., una ONGimportante), PresidenteAdjunto del PMD, Directorcompetente del PMD, GPPy Economista Regional,evaluador principal y personalde la OE
a. El envío del borrador delayuda memoria debeefectuarse en el ámbitonacional.b. Normalmente esta personaes el RepresentantePermanente Suplente del paísante el FIDA en Roma.Téngase también en cuentaque el Embajador o lapersona de enlace con elFIDA pueden ser nombradosDirectores Ejecutivos del país.c. Sobre el coordinador delFIDA recae la responsabilidadde garantizar que el ayudamemoria se distribuya a losparticipantes en la reuniónrecapitulativa.d. En algunos países, esecargo equivale al deSecretario, Director General,Jefe de Departamento, etc.
EP
P
Borrador de documentoconceptual
1. De: Director de la OE
Para y cc: Mismosdestinatarios que el fax queanuncia la evaluación
Y POR SEPARADO:
2. De: evaluador principal
Para: Agregado decooperación al desarrollo opersona encargada delsector de la agricultura y eldesarrollo rural de laorganización cofinanciadoraa nivel nacional
cc: Director de la OE,Embajador del paíscofinanciador a nivel nacionaly director en el país de la IFIo de la organización de lasNaciones Unidas
Ayuda memoria de la misióna
De: evaluador principal
Para: Coordinador dela EPPc en el ministerioprincipal encargado dela EPP (es decir, oficialencargado del FIDA,que en general es unapersona del ministerioencabezado por elGobernador anteel FIDA)
cc: Gobernador ante elFIDA, SecretarioPermanente del mismoministerio y DirectorEjecutivo (sólo si resideen el país)
83
De: evaluador principal
Para: Persona conrango de SecretarioPermanented delministerio encabezadopor el Gobernadorante el FIDA
cc: Gobernador anteel FIDA, DirectorEjecutivo (si procede),Embajador en Roma,persona de enlacecon el FIDA de laEmbajada del país enRoma, directores deproyectos, cualquierotro asociado en laejecución importante,Presidente Adjunto delPMD, Director de laOE y Directorcompetente del PMD,y GPP
Envío del borrador deinforme al gobierno
Envío del borradorde informe a loscofinanciadores
De: evaluador principal
Para: Agregado decooperación para eldesarrollo en laembajada del paíscofinanciador a nivelnacional y la personaencargada de laagricultura y eldesarrollo rural de laoficina en el paísde la IFI o de laorganización de lasNaciones Unidas
cc: Director de la OE,Embajador del paíscofinanciador a nivelnacional y director enel país de la IFI o de laorganización de lasNaciones Unidas
De: Director de la OE
Para: Gobernadorante el FIDA
cc: SecretarioPermanente delMinisterioencabezado por elGobernador ante elFIDA; PresidenteAdjunto, PMD;Director competentedel PMD y GPP,evaluador principal
Borrador de APC
De: Director de la OE
Para: Gobernador anteel FIDA
cc: SecretarioPermanente delMinisterio encabezadopor el Gobernador anteel FIDA, DirectorEjecutivo, Embajadoren Roma, coordinadordel FIDA en Roma yevaluador principal
El evaluador principaldebería enviardirectamente losinformes a todos losdemás asociadosen el país.
Para la divulgación atodos los DirectoresEjecutivos, el Grupo delas Naciones Unidassobre Evaluación, elGrupo de Cooperaciónen materia deEvaluación y otrosinteresados se seguirála práctica habitualadoptada por ladependencia decomunicación de la OE
Informe final, reseña y apreciación
84
Entregas clave de evaluación y modalidades de comunicación externa (continuación)
(Fecha de aprobación: 15 de septiembre de 2008)
Borrador de documentoconceptual
Eva
luac
ione
s d
e p
roye
cto
s
Igual que para las EPP
Fax oficial para anunciar la evaluación y presentar alevaluador principal de la OE
Ayuda memoria de la misióna
Igual que paralas EPP
1. De: evaluador principal
Para: Persona con rangoequivalente a SecretarioPermanente
cc: Gobernador ante elFIDA, Director Ejecutivo(si procede), Embajador enRoma, persona de enlacecon el FIDA en la Embajadadel país en Roma, directoresde proyectos y cualquier otroasociado importante en laejecución; PresidenteAdjunto, PMD; Director de laOE, y Director competentedel PMD, y GPP
Y POR SEPARADO:
2. De: evaluador principal
Para: Agregado decooperación al desarrolloo persona encargada de laagricultura y el desarrollorural en la organizacióncofinanciadora a nivelnacional
cc: Director de la OE,Embajador del paíscofinanciador a nivel nacionaly Director en el País de la IFIo de la organización de lasNaciones Unidas
a. El envío del borrador delayuda memoria debeefectuarse en el ámbitonacional.b. Normalmente esta personaes el RepresentantePermanente Suplente del paísante el FIDA en Roma.Téngase también en cuentaque el Embajador o lapersona de enlace con elFIDA pueden ser nombradosDirectores Ejecutivos del país.c. Sobre el coordinador delFIDA recae la responsabilidadde garantizar que el ayudamemoria se distribuya a losparticipantes en la reuniónrecapitulativa.d. En algunos países, esecargo equivale al deSecretario, Director General,Jefe de Departamento, etc.
85
Envío del borradorde informe algobierno
Envío del borradorde informe a loscofinanciadores
Borrador de APC
Informe final, reseña y apreciación
Igual que para las EPP Igual que paralas EPP
De: Director de la OE
Para: SecretarioPermanente delMinisterioencabezado por elGobernador ante elFIDA
cc: Gobernador anteel FIDA, PresidenteAdjunto, PMD;Director competentedel PMD y GPP, yevaluador principal
Igual que para las EPP
86
6 Conflictos de intereses de losconsultores y ampliación de la reservade especialistas de evaluación(Fecha de aprobación: 12 de junio de 2006)
de las Naciones Unidas del Grupo de lasNaciones Unidas sobre Evaluación semencionan principios semejantes. Del mismomodo, en la política de evaluación del FIDA(párrafos 60-64) se dan algunas orientacionesgenerales al respecto.
B. Finalidad y principios básicosLas directrices siguientes se han concebido,por un lado, para proporcionar una serie dereglas sencillas y prácticas que puedan utili-zarse en la determinación de posibles fuentesde conflictos de intereses y, por el otro, parafomentar la diversificación en la elección deconsultores y la apertura a nuevas ideas yperspectivas por parte de la OE.
(a) Como norma general, la OE no asignarála evaluación de proyectos, programasen los países, sectores o temas, estrate-gias regionales y procesos o políticasinstitucionales a consultores que hayanintervenido previamente en las fasesde diseño, ejecución, adopción de deci-siones o financiación de los mismos.Ejemplos habituales de participaciónprevia son la iniciación, formulación,evaluación ex ante, supervisión, misiónde apoyo u otra actividad de diseño oapoyo relativas a los proyectos,programas (entre ellos, en particular, alCOSOP), procesos o políticas institucio-nales que serán objeto de la evaluación.
(b) La OE aplica asimismo un límite máximoal porcentaje de trabajo que unconsultor puede llevar a cabo para elFIDA en colaboración con otras divi-siones distintas de la OE. En general, laOE no contratará a consultores cuyos
A. Introducción y definiciónCon la aprobación de la política de evaluacióndel FIDA, en 2003, la cuestión del conflicto deintereses, en lo que atañe a la contratación delos consultores de evaluación, cobró nuevaimportancia para la Oficina de Evaluación (OE).
Un conflicto de interés en la contratación deconsultores puede definirse como una situaciónen la que el consultor, debido a los antece-dentes laborales de una persona o a las posi-bilidades de obtener contratos futuros, puedeverse en condiciones de efectuar un análisissubjetivo con el fin de obtener beneficiosinjustificados para sí mismo o para personas aél afiliadas, con el consiguiente perjuicio, realo eventual, de los intereses de su empleador.
En lo que a la OE se refiere, los casos másdestacados son aquéllos en los que losconsultores podrían: a) influir en el análisis olas recomendaciones para que concuerdencon constataciones que ellos mismos hayanestablecido previamente (conflicto de interésa priori o ex ante); b) crear artificialmentecondiciones favorables que se tomarán enconsideración en un nombramiento posterior(conflicto de interés a posteriori o ex post),o c) trabajar al mismo tiempo para dos o másclientes con intereses divergentes.
Las dependencias de evaluación de otrasorganizaciones internacionales, como el GrupoIndependiente de Evaluación (el antiguo DEO)del Banco Mundial, han formulado principiosgenerales para evitar los conflictos de inte-reses entre sus funcionarios y consultores. Enlos Estándares de evaluación en el sistema
Anexo
87
antecedentes laborales en el FIDA (fuerade la OE) supongan más del 25% detoda su experiencia profesional. Ademásde los principios anteriores, cuando losconsultores se contraten por conductode una empresa (préstamo reembol-sable) o de una institución sin finesde lucro (contrato institucional), a laempresa o institución de que se tratese les aplicará un límite del 35% de losantecedentes laborales totales. Enfunción de la tarea que deba desempe-ñarse se aplican otras restricciones,que se explican a continuación.
(c) Por “antecedentes laborales” se entiendela experiencia profesional, incluidas lasconsultorías, y el empleo en el FIDAcomo funcionario, personal temporeroo equivalente.
(d) También se imponen ciertas restriccionesal empleo simultáneo y futuro de losconsultores de la OE: éstos no debendesempeñar funciones paralelas con elFIDA durante el período de contrato conla OE, y deberán convenir en no trabajarcon la división o departamento implicadoen la evaluación durante un período deseis meses posterior a la expiración delcontrato con la OE.
(e) Los oficiales de evaluación interesados,en consulta con su supervisor, deberánevaluar caso por caso otras posiblesfuentes de conflicto de intereses que noestén comprendidas en las disposicionesanteriores.
C. Directrices específicas(a) Evaluaciones a nivel institucional y de
estrategias regionales. La OE nocontratará a consultores cuyos antece-dentes laborales en el FIDA (excluida laOE) superen el 15% de toda su expe-riencia profesional.
(b) Evaluaciones de proyectos,
programas en los países y temáticas.
La OE no contratará a consultores cuyosantecedentes laborales en la división delFIDA interesada superen el 15% de todasu experiencia profesional.
D. Medios de verificaciónEn lo relativo a los incisos a) a c) del apartadoB y a) y b) del apartado C, los oficiales deevaluación examinarán el currículum vitaepresentado por los consultores y, de sernecesario, solicitarán información a la Divisiónde Recursos Humanos. Teniendo en cuentalos casos concretos que se les presenten,también valorarán otras fuentes posibles deconflicto de intereses (inciso e) del apartadoB). Además, solicitarán a los consultores quepresenten una declaración (por correo electró-nico, fax o correo normal) en la que consteque no subsiste ninguna de las situacionesdescritas más arriba y que (según lo previstoen el inciso d) del apartado B), el consultor nosolicitará empleo paralelo en el FIDA ni traba-jará con la división o departamento intere-sados por la evaluación durante un períodode seis meses posterior a la expiración delcontrato con la OE.
E. Procedimiento deaprobación del contratoPresentar la citada declaración del consultor,junto con la documentación necesaria parapreparar el contrato (modelo de solicitud deservicios de consultoría, formulario con eldesglose de la suma global, currículumvítae, mandato, etc.).
F. ExpertosTal como se establece en la política deevaluación del FIDA (párrafo 63), los consul-tores que no cumplan los requisitos anteriorespodrán ser contratados como expertos parafacilitar informaciones o asesoramiento alequipo de evaluación, pero no podrán parti-cipar en la labor analítica destinada a laevaluación ni en la preparación efectiva delinforme final.
Anexo 6 - Apéndice 1
Modelo de declaraciónEl abajo firmante, John Smith, declaracuanto sigue:
1) Que he leído las normas de la Oficina deEvaluación en materia de conflicto de intereses
88
de los consultores, y por la presente afirmoque no he intervenido previamente en la inicia-ción, formulación, evaluación ex ante, supervi-sión, misión de apoyo u otra actividad dediseño o apoyo de los proyectos, programas(entre ellos, en particular, del COSOP) o polí-ticas que se examinarán en la evaluación.
• En el caso de evaluaciones a nivel
institucional y estrategias regionales:
2) Que mis antecedentes laborales con elFIDA no superan el 15% de toda miexperiencia profesional.
• En el caso de evaluaciones de proyectos,
programas en los países y temáticas:
2) Que mis antecedentes laborales con elFIDA no superan el 25% de toda mi expe-riencia laboral, y que mis antecedentes labo-rales con la división del FIDA interesada nosuperan el 15% de toda mi experiencia laboral.
3) No trataré de obtener ocupación algundentro del FIDA que coincida con micolaboración con la Oficina de Evaluación, nitrabajaré con la división o departamento intere-sados durante un período de seis mesesbasado en la evaluación después de queexpire mi contrato con la Oficina de Evaluación.
John Smith 23/04/2006
89
Modelo de acuerdo enel punto de culminación(Fecha de aprobación: 19 de marzo de 2007)
Esas recomendaciones se deducen por lógicade las constataciones de la evaluación ydeberán formularse con claridad y ser circuns-critas y aplicables. En este apartado figuraránlas respuestas de los usuarios principalesen las que éstos indiquen de qué modopretenden poner en práctica las recomenda-ciones, especificando en lo posible las respon-sabilidades asignadas y los plazos fijados.La responsabilidad de definir las modalidadesde aplicación y los plazos de las recomenda-ciones acordadas recae en los usuarios princi-pales del PMD y los países prestatarios.
El APC constituirá la base para el seguimientode la puesta en práctica de las recomenda-ciones de la evaluación por parte de la direc-ción del FIDA y formará parte del informede evaluación.
Recomendaciones formuladas original-
mente por la OE pero consideradas inapli-
cables por algunos asociados
Las recomendaciones que la OE formulóoriginalmente pero que los principales usua-rios consideraron inaplicables, aplicables enparte o imposibles de poner en práctica, seexpondrán en este apartado. Entre la infor-mación que habrá de presentarse aquí figu-rará: i) la recomendación inicial; ii) el asociadoo asociados que manifestaron reservas y sujustificación; iii) toda recomendación alterna-tiva o nueva propuesta indicadas por losasociados, y iv) las observaciones finales dela OE, de haberlas.
Firmas (aconsejables) Fecha
_________________ ________
El consorcio central de aprendizaje y los
usuarios de la evaluación
En el primer apartado se describe la composi-ción del CCA y se explican los criterios deselección de sus miembros (fundamental-mente, representantes de las instituciones ypersonas que tienen algún interés en las reco-mendaciones y/o responsabilidades, y queademás tienen el poder de adoptar las deci-siones necesarias para ponerlas en práctica).En este mismo apartado también se da cuentade cómo se desarrollaron los intercambios conla OE (p. ej., fechas y tipos de encuentro)desde el principio de la evaluación. Se hacereferencia al modo en que se formalizó el APC(mediante un taller o por videoconferencia), alos participantes y a los usuarios de la evalua-ción (a los principales se les alentará a firmar elacuerdo). Se pone de relieve el hecho de quela OE, aun no siendo una de las partes en elAPC, facilitó el proceso que desembocó en laconclusión del mismo como un documentoorientado a la acción. El objetivo es definir quérecomendaciones consideran viables los usua-rios principales y cuáles inviables (véanse losapartados 3 y 4).
Principales conclusiones de la evaluación
En este apartado (que debe ser lo más breveposible) se ofrece un resumen de las princi-pales conclusiones de la evaluación y seponen de relieve tanto las esferas de éxitocomo las que precisan mejoras.
Recomendaciones acordadas por
todos los asociados
Aquí se presentan las recomendacionesderivadas de la evaluación que hayan sidoacordadas por los asociados.
7Anexo
90
Lista de las políticas y estrategiassubsectoriales pertinentes del FIDA
1. Marco Estratégico del FIDA (2007-2010)
2. Política del FIDA sobre la mejora del acceso a la tierra y la seguridad de la tenencia, 2008
3. Estrategia de innovación del FIDA, 2007
4. Política del FIDA relativa a la financiación mediante donaciones en relación con el marco de sostenibilidad de la deuda, 2007
5. Estrategia del FIDA de gestión de los conocimientos, 2007
6. Política del FIDA de supervisión y apoyo a la ejecución, 2006
7. Política de focalización del FIDA: los pobres de la zonas rurales, 2006
8. Política del FIDA sobre los enfoques sectoriales en la agricultura y el desarrollo rural, 2005
9. Estrategia del FIDA para el desarrollo del sector privado y la asociación con él, 2005
10. Política del FIDA para la prevención de las crisis y la recuperación posterior, 2005
11. Política del FIDA en materia de empresas rurales, 2004
12. Política del FIDA en materia de financiación rural, 2004
13. Incorporación de una perspectiva de género en las actividades del FIDA, 2003
8Anexo
91
información sobre la estructura/diseño del taller,los planes para efectuar las visitas sobre elterreno a un proyecto o proyectos financiadospor el FIDA, la lista provisional de participantes(que, pese a ser incompleta, al menos daráuna indicación de las instituciones principales alas que habrá que invitar a asistir) y una “hojade ruta” de los eventos y procesos clave quetendrán lugar antes y después del taller.
La nota conceptual habrá de prepararse enforma de borrador y debatirse con la principalcontraparte dentro del FIDA (con toda probabili-dad, la división regional competente del PMD).Una vez incorporadas las observaciones delPMD, el borrador revisado de nota conceptualdeberá enviarse oficialmente a las contrapartesclave del gobierno interesado y debatirse duran-te la misión preparatoria (véase al respecto elsiguiente apartado). A la nota habrá de adjun-tarse un anexo con el programa provisional deltaller. Es importante recalcar el hecho de que lanota conceptual es un borrador que se ultimarásólo tras examinarlo con el PMD y, durante lamisión preparatoria, con el gobierno o gobier-nos interesados. Esto reviste la máxima impor-tancia, porque en la nota figurará informaciónsobre aspectos que sólo pueden acabar dedefinirse tras intercambiar impresiones con elPMD y el gobierno (p. ej., el lugar donde secelebrará el taller, el proyecto que se seleccio-nará para una posible visita sobre el terreno).
Misión preparatoria
La misión preparatoria (que durará como máxi-mo una semana) habrá de llevarse a cabo máso menos dos meses antes del taller. Es impor-tante que el borrador de nota conceptual seenvíe al gobierno y al personal interesado del
Antecedentes
Estas anotaciones tratan sobre la organiza-ción de los talleres relativos a las evaluacionesde nivel superior, cuyo objetivo, normalmente,es doble: i) debatir acerca de los resultadosgenerales de la evaluación, y ii) sentar lasbases para la preparación del acuerdo en elpunto de culminación de la evaluación.
Objetivos de estas anotaciones
Aprovechando la experiencia acumulada por laOE en los últimos años, estas anotaciones sir-ven de orientación para garantizar que la plani-ficación y organización de esos talleres se ajus-ten a las buenas prácticas. En ellas se ponende relieve algunas de las actividades principalesque hay que llevar a cabo para que los talleresse celebren sin contratiempos y sean eficaces,y se ofrece una orientación sobre los siguientestemas relacionados con la organización de lostalleres: a) la preparación de la nota conceptualsobre el taller; b) las misiones preparatorias dela OE; c) la formulación del presupuesto;d) la visita sobre el terreno; e) las actividadesde comunicación y divulgación antes, durantey después del taller; f) el equipo encargado deltaller y sus funciones y responsabilidades; g) elmodelo y diseño del taller, y h) el documentotemático y la oficina de la secretaría del taller.
Nota conceptual y programa provisional
del taller
Es fundamental preparar esa nota lo antesposible (unos cuatro meses antes de celebrarel taller). En ella deberán ponerse de relieve losobjetivos del taller, proporcionarse informaciónsobre las fechas y el lugar donde se celebrará,además de información logística (como dispo-siciones sobre el alojamiento y el transporte),
76. Estas directrices debenleerse conjuntamente con elBoletín del Presidente (defecha 2008) relativo a laorganización de talleresfinanciados por el FIDA, queestá disponible en Intranet.
9Anexo
Directrices sobre buenas prácticas para la organización de talleres deaprendizaje76
92
El borrador de la nota conceptual se ultimarátras la misión preparatoria organizada por laOE y una vez efectuada la consulta de rigorcon el Director de la misma.
Formulación del presupuesto
Se recomienda preparar un presupuesto parael taller poco después de la misión preparato-ria. El presupuesto forma parte de la asigna-ción original destinada a la evaluación. Parael taller se asignarán en torno a USD 30 000,cifra indicativa dado que las circunstanciasvarían. El costo efectivo puede ser mayor,especialmente en los casos en que se preci-sen servicios de interpretación simultánea paratalleres regionales o cuando hayan de asistir altaller miembros del Comité de Evaluación. Enel presupuesto deberán incluirse los costosrelativos a las instalaciones donde se celebraráel taller (sala de conferencias, salas de reunio-nes y despacho para la secretaría de la OE),las comidas, el envío de documentos y publi-caciones desde Roma, la contratación deespecialistas, los pagos al personal local desecretaría y un fotógrafo (en caso de que secontrate uno), las fotocopias, las necesidadesde transporte terrestre y los honorarios delpresidente o presidentes del taller, entre otros.Cualquier contribución que el gobierno seavenga a realizar deberá tomarse en conside-ración y consignarse en el presupuesto.
Visita sobre el terreno
La mayoría de las veces conviene organizaruna visita sobre el terreno a un proyecto finan-ciado por el FIDA para que el personal delFondo tenga la oportunidad de mantenerconversaciones con los beneficiarios y ver lasactividades sobre el terreno. Se recomiendaorganizar esas visitas antes del taller. La visitadeberá durar como máximo dos días comple-tos (pernoctando una noche en la zona delproyecto). Al respecto es esencial celebrar lasdebidas consultas con el PMD para determinarel proyecto y las zonas y actividades concretasque se visitarán. Además, habrá de prestarseatención a las disposiciones relativas al trans-porte para garantizar que se dedique el máxi-mo tiempo posible al trabajo efectivo sobre el
proyecto 15 días antes de la misión preparato-ria, junto con una solicitud para mantenerencuentros con las instituciones gubernamen-tales más importantes y otros participantes.El borrador de nota conceptual es el punto departida de las conversaciones que se celebra-rán, puesto que en ella figuran las distintascuestiones que habrán de tomarse en conside-ración de las que depende toda una serie dedecisiones (véase el párrafo anterior). La OEpuede organizar directamente desde Roma losencuentros con representantes de las NacionesUnidas y otras organizaciones internacionales,aunque es importante mantener al gobiernoinformado de todas las reuniones que se hayanconfirmado, de modo que puedan incluirse enel programa general de la misión preparatoriaque esté elaborando el gobierno. El borradorde nota conceptual deberá enviarse asimismoa título de información de antecedentes a otrosasociados con los que probablemente se vayaa coincidir durante la misión preparatoria (auncuando exista la posibilidad de revisar algunosaspectos de la nota conceptual tras las conver-saciones con las contrapartes gubernamenta-les clave). Es de capital importancia que lamisión preparatoria comience con la celebra-ción de reuniones con los representantesprincipales del gobierno.
La misión preparatoria también es una oportu-nidad para descubrir sinergias y esferas espe-cíficas de contribución financiera y en especieque el gobierno esté en condiciones de apor-tar a la organización del taller. Entre los ejem-plos de posibles contribuciones en especie acargo del gobierno figuran las siguientes acti-vidades: organizar una recepción o una cena,facilitar transporte terrestre (servicio de recogi-da y traslado del aeropuerto a los hoteles yviceversa, y transporte para la visita sobre elterreno y el taller), suministrar los localesdonde se celebrará el taller (p. ej., la sala deconferencias, etc.). La OE dicidirá en estrechaconsulta con el gobierno el lugar donde secelebrará el taller y otros arreglos de organiza-ción conexos. A este respecto, puede que laOE desee tener en cuenta la opinión del PMDantes de tomar una decisión definitiva.
93
indicar con claridad en la nota conceptual que,aunque el taller brindará la oportunidad de deba-tir los problemas y conclusiones de la evalua-ción, el informe ya no estará abierto al debate(tras el taller se modificarán sólo inexactitudes dehecho, si es que en esa fase aún queda alguna).Debe organizarse un proceso de intercambiosclaro que dé la oportunidad de formular obser-vaciones sobre el borrador de informe de eva-luación mucho antes del taller. La documenta-ción mencionada más arriba deberá enviarse atodos los participantes por correo electrónico almenos dos semanas (15 días) antes del taller.Puede pedirse a las autoridades gubernamenta-les que distribuyan copias impresas del informea las instituciones públicas, los responsables delproyecto y otros participantes que residan en elpaís. La OE deberá cerciorarse de que en elFIDA se impriman copias adicionales suficientesde toda la documentación enumerada en estepárrafo y de que se envíen al país para distribuir-las al principio del taller. En la página interna debienvenida (log-on) y en el sitio web de Intranetdeberá publicarse un breve anuncio acompaña-do por los enlaces a la nota conceptual, elprograma provisional, el programa de la visitasobre el terreno, el documento temático y elinforme final de evaluación aún sin publicar.
Durante el taller se recomienda distribuir a todoslos participantes una copia impresa de los docu-mentos siguientes: las declaraciones inauguralesdel Director de la OE y del representante delPMD (por lo general, el Presidente Adjuntoencargado del PMD y/o el Director de la divisiónregional competente), el discurso de apertura delrepresentante del gobierno (normalmente, elministro competente, aunque en ocasionespuede haber más de uno), la presentación enPowerPoint acerca de la evaluación realizadapor el evaluador principal de la OE y el discur-so de clausura del presidente del taller. Con elapoyo de la EC y en coordinación con el gobier-no deberá disponerse lo necesario para garanti-zar la presencia de miembros de la prensa escri-ta y los medios de comunicación audiovisuales.
Las actividades de comunicación después deltaller revisten la misma importancia. En primer
terreno. Una vez llegados a la zona del proyec-to y antes de comenzar las visitas, es importan-te organizar una breve reunión informativa (en laoficina del proyecto o en el hotel) acerca de laoperación y, en particular, de las actividadesque se van a visitar. En esa reunión se deberáexplicar qué relación guarda cada actividadque se visitará con los objetivos generales delproyecto y las disposiciones de ejecución. Serecomienda organizar alguna actividad recrea-tiva durante la visita sobre el terreno, sin queello incida en el tiempo dedicado a las visitasa los lugares del proyecto y a los intercambioscon las comunidades locales. Esto revisteespecial importancia en el caso de las visitassobre el terreno que cuentan con la participa-ción del Comité de Evaluación.
Es útil elaborar y distribuir (por adelantado) alpersonal del FIDA y a los demás visitantes unfolleto de 2 ó 3 páginas sobre el proyecto quecontenga un mapa, el programa previsto y lasdisposiciones logísticas para la visita sobre elterreno. Es lógico que esta parte de las activi-dades del taller requiera una estrecha relacióncon los responsables del proyecto en cuestión.
Comunicación y divulgación
Este apartado puede dividirse en tres partes,que se dedicarán a las actividades que se lle-varán a cabo antes, durante y después deltaller. Deberá solicitarse a la División deComunicaciones (EC) del FIDA que prepareun plan de comunicaciones que ofrezca laoportunidad de dar a conocer los contenidosfundamentales del taller al público externo.Es esencial informar a la EC del volumen derecursos que la OE está en condiciones dededicar a las cuestiones ligadas a la comuni-cación, de manera que pueda elaborarse yponerse en práctica un plan realista.
Antes del taller es importante transmitir a todoslos participantes los documentos y la informa-ción siguientes: la carta de invitación,77 la notaconceptual y el programa provisional del taller,el programa de la visita sobre el terreno, eldocumento temático del taller y el informe finalde evaluación aún sin publicar. Es fundamental
77. Se recomienda que sea elDirector de la OE quien invitea las organizacionesinternacionales, mientras quelas invitaciones a lasinstituciones públicas y alpersonal del proyecto deberáncorrer a cargo del gobierno yse basarán en una lista departicipantes concordada.
94
lugar, se recomienda publicar en el mensaje debienvenida y en el sitio web en Intranet unanuncio (de un párrafo) sobre el taller y susresultados, junto con todo el material menciona-do en el párrafo anterior. Esta labor deberá reali-zarse pocos días después del taller. Luego, enel plazo de dos semanas a partir del taller debe-rán prepararse cartas de agradecimiento que seenviarán a las personas clave (en particular, a losdignatarios de alto nivel del gobierno que asis-tieron al taller y a quienes ayudaron en los pre-parativos). Esas cartas deberán estar firmadaspor el Director de la OE. Por último, el acuer-do en el punto de culminación de la evaluaciónhabrá de enviarse a los asociados en cuantose haya redactado y debatido con el PMD.
Funciones y responsabilidades del
equipo encargado del taller
La OE, junto con el gobierno, son los principa-les organizadores del taller. Todas las decisio-nes importantes deberán tomarse conjunta-mente por ambas partes. A efectos operacio-nales y en aras del sentido de apropiación, esfundamental que el gobierno forme su propioequipo o comité de organización del taller, quedeberá entablar una muy estrecha y constanterelación con la OE en Roma y hacer el segui-miento de todos los arreglos sobre el terreno.
Estructura y duración del taller
Se recomienda que estos talleres tengan una
duración de un día y medio. La mañana delprimer día deberá celebrarse una sesión ple-naria, durante la cual los representantes delgobierno y el FIDA pronunciarán sus discursosy declaraciones de apertura. A este respectodebe prestarse gran atención, empleandotodo el tiempo que sea necesario, a determi-nar el orden de las intervenciones, teniendo encuenta la jerarquía, el rango u otras considera-ciones. A tal fin se tomarán en consideraciónlos procedimientos protocolarios del propiopaís, que es posible que varíen de un lugar aotro. En el curso de esa misma sesión plena-ria, el evaluador principal realizará una presen-tación general de la evaluación, a la queseguirá un debate abierto y un intercambio deopiniones entre los participantes. La sesión
vespertina se reservará normalmente porentero a los debates de los grupos de trabajo.Después de ello, concluirá el primer día de taller.
La media jornada restante del segundo día tam-bién se consagrará a una sesión plenaria, cuyosintegrantes deberán en primer lugar tener laoportunidad de escuchar las conclusiones(habitualmente en formato PowerPoint) a quehayan llegado los grupos de trabajo. Luegohabrá de reservarse tiempo suficiente para quelos participantes formulen observaciones acercade esas presentaciones. A continuación, el eva-luador principal hará una breve exposición delos próximos pasos que se deberán dar paraultimar la evaluación. Luego, el director de ladivisión regional competente del PMD (o el GPPcorrespondiente) comunicará sus reflexionesacerca del modo en que la división puedesacar partido de la evaluación, informando alos participantes de los próximos pasos con-cretos que tienen intención de dar para asimi-lar las constataciones y recomendaciones dela evaluación. Así se llegará a la fase final, queconsiste en la lectura del discurso de clausurapor parte del presidente del taller.
En el modo de estructurar el taller reviste unaimportancia fundamental el papel desempeña-do por el presidente. Es esencial que todoslos talleres transcurran bajo la dirección de unpresidente que forme parte del gobierno.La presidencia deberá determinarse durantela misión preparatoria del taller, y la personadesignada habrá de ocupar como mínimo elcargo de secretario permanente (p. ej., vice-ministro o ministro). Es sumamente importanteque, como mínimo unos días antes del taller,la OE ponga al corriente de su función y de loque se espera de su labor a la persona desig-nada para la presidencia. El presidente deberádedicar parte de su tiempo a leer los docu-mentos de antecedentes más importantes.Cabe la posibilidad de que la OE tenga queretribuir debidamente los servicios prestadospor el presidente (con el equivalente de 2 ó 3días de trabajo). Sin embargo, antes de acep-tar el pago de una retribución a un funcionariopúblico, la OE tiene que dilucidar la cuestión
95
solicitará a un funcionario de la OE o a uno delos consultores de la misión de evaluación querealicen una introducción sobre el tema asigna-do al grupo de trabajo con el fin de dar inicio aldebate. Por último, es importante que el perso-nal de la OE y los miembros de la misión deevaluación se dividan, para que estén repre-sentados en los tres grupos de trabajo, y ayu-den al relator en la preparación de la presenta-ción en PowerPoint del grupo (retroinformación)una vez que los debates hayan concluido.
Otro aspecto de la estructuración o diseño deltaller es la preparación del discurso de clau-
sura. En la OE está disponible un modelo enformato electrónico para ese tipo de discurso.El evaluador principal redactará el discursodurante la noche del primer día del taller,haciendo uso de sus propias anotaciones y desu participación en uno de los grupos de tra-bajo. En esa intervención habrán de incluirseasimismo las cuestiones y recomendacionesclave de los demás grupos de trabajo, quepueden conseguirse consultando a los repre-sentantes de la OE que hayan participado enlos otros grupos y remitiéndose a sus presen-taciones en PowerPoint. Además, durante lamañana del segundo día es importante ultimarel discurso incorporando cualquier nuevacuestión que surja durante los debates de lasesión plenaria. El borrador del discurso debe-rá recibir el visto bueno del Director de la OE y,a continuación, someterse al representantejerárquicamente más importante del PMD paraque formule observaciones al respecto. Luego,la propuesta final recibirá el visto bueno delpresidente del taller antes de que se le invite apronunciar el discurso.
Oficina de la secretaría del taller
Es fundamental que se organice una pequeñaoficina, adyacente a la sala principal del pleno,para el personal de la OE y los representantesde la secretaría del taller del gobierno. Esedespacho deberá equiparse con una fotoco-piadora, dos computadoras personales conconexión a Internet y dos impresoras.También puede considerarse la posibilidad deinstalar una conexión telefónica.
con las autoridades interesadas, para asegu-rarse de que se trata de un procedimientoaceptable. Para ello, la OE podrá pedir el ase-soramiento de la oficina del PNUD y de funcio-narios estatales, antes de concluir cualquieracuerdo al respecto. En resumen, la tarea delpresidente consiste en orientar los debatesdurante las sesiones plenarias, velando porque todos los participantes tengan la ocasiónde contribuir a las deliberaciones. Además, elpresidente puede formular unas breves obser-vaciones finales al término de cada sesiónplenaria. Por norma general también pronun-ciará el discurso de clausura del taller.
Dos aspectos fundamentales de los talleres sonel documento temático y el funcionamiento
y la organización de los grupos de trabajo.
En cuanto al primer aspecto, antes de celebrarel taller es una buena práctica elaborar un brevedocumento temático (de entre 5 y 7 páginas deextensión) basándose en las constataciones dela evaluación. Ese documento suele dividirse entres temas amplios (con un número apropiadode subtemas) derivados de la evaluación eincluye los puntos y aspectos de interés funda-mentales planteados durante la misma. Paracada asunto tratado el documento deberá con-tener varias preguntas que puedan servir debase para los debates de los grupos de trabajo.Una vez en el taller, la mañana del primer día sepedirá a los participantes que se inscriban en elgrupo del que les gustaría formar parte. Otraposibilidad consiste en que la OE (en consultacon el gobierno) asigne previamente a los parti-cipantes a los (tres) grupos de trabajo. A cadauno de esos grupos se le pedirá que centre suatención sólo en una cuestión. Si es preciso, laOE tal vez tendrá que transferir a algunas per-sonas de un grupo a otro para garantizar quecada uno esté formado más o menos por elmismo número de participantes. Antes de ello,consultará a los interesados y obtendrá su con-sentimiento. Cada grupo de trabajo tendrá supropio presidente, que la OE deberá determinar(e informar al interesado de su elección) antesde que los grupos se reúnan. Además, se pedi-rá a todos los grupos que nombren a un relatorantes de comenzar el debate. Asimismo se
Fondo Internacionalde Desarrollo AgrícolaVia Paolo di Dono, 4400142 Roma, ItaliaTel +39 0654592048Fax +39 0654593048Correo electrónico: [email protected] web: www.ifad.org/evaluation
Impreso porMarchesi Grafiche Editoriali S.p.A., Roma, ItaliaAbril 2009
Diseño gráficoLorella Candido