guia y tdr evaluaciones de proyectos con fondos españoles marzo 2012

MINISTERIODEASUNTOSEXTERIORESYDECOOPERACINSecretaraGeneraldeCooperacinInternacionalparaelDesarrollo

NORMASDEGESTIN,SEGUIMIENTOYJUSTIFICACINDECONVENIOSYPROYECTOSDEONGDYDEACCIONES(Resolucionesde24demarzode2009y31deoctubrede2011)

GUAPARAEVALUACIONES

GuaparaEvaluaciones(versinmarzo2012)pg.1

Gua para evaluaciones de convenios, proyectos y acciones de cooperacin para el desarrollo

Incluye modelo de trminos de referencia para la contratacin de la

evaluacin externa (TdR)

(Versin marzo 2012)

GRubioPTexto escrito a mquinaNIPO: 502-13-013-8

GRubioPTexto escrito a mquina



GUAPARAEVALUACIONES


La presente gua se ha elaborado para facilitar a las entidades adjudicatarias de subvenciones de la AECID, la gestin de las evaluaciones externas obligatorias1, o autorizadas, a contratar con cargo a la subvencin. Se recomienda la lectura del Manual de Gestin de Evaluaciones de la Cooperacin Espaola (SECI - MAEC), disponible en la pgina web del la AECID. Este manual recoge los principales pasos para la gestin de una evaluacin. Para unificar la terminologa, se aconseja as mismo la consulta del glosario en la pgina 107 de dicho manual. Por otro lado, para la elaboracin de esta gua, ha sido consultado el documento Estndares de calidad de evaluacin de 2010 de la Red de Evaluacin del CAD2. Adicionalmente, puede servir como referencia de consulta la Metodologa de evaluacin de la Cooperacin Espaola (1998) y Metodologa de evaluacin de la Cooperacin Espaola (II) (2001). Las referencias que en esta gua se hacen al papel de las entidades ejecutoras de las intervenciones, en el proceso de evaluacin, incluyen tanto a las entidades adjudicatarias, como a sus socios locales, con nimo de favorecer la apropiacin de resultados y aplicacin de mejoras en el terreno. Esta gua ha sido elaborada por el Departamento de ONGD de la AECID y la Divisin de Evaluacin de la Secretara General de Cooperacin Internacional y es susceptible de actualizaciones fruto del aprendizaje continuo y del intercambio de visiones y lecciones aprendidas.

1ParaconvocatoriasalamparodelaOrdenAEC/1303/2005(convocatoriashasta2011),sonobligatoriaslasevaluacionesintermediasdeconveniosylasfinalesdeproyectosquehayansidosubvencionadoscon350.000oms.2 Documento elaborado por la Red de Evaluacin del Desarrollo del Comit de Ayuda al Desarrollo (CAD) de laOrganizacindeCooperacinyDesarrolloEconmico (OCDE)enabrilde2010,ms informacinsobreevaluacionesenhttp://www.oecd.org/document/35/0,3746,en_21571361_34047972_31779555_1_1_1_1,00.html



GUAPARAEVALUACIONES


Esta gua se divide en los siguientes captulos: 1Quin,cundoycmo:plazoseindicacionesparalapresentacindelosproductos

deevaluacin.2Diseodelaevaluacin.3Actoresdelaevaluacin4Orientacionesmetodolgicas5Sugerenciasdesdelaprctica6ModelodeTrminosdeReferencia

1- Quin, cundo y cmo: plazos e indicaciones para la presentacin de los

productos de evaluacin3.

Principales productos en el desarrollo de una evaluacin: 1- Trminos de Referencia: documento en el que se recogen las decisiones tomadas en el diseo de la evaluacin: propsito, alcance y objetivos, criterios, cuestiones y metodologa recomendada para realizar el estudio de evaluacin, perfil solicitado al equipo de evaluacin, recursos y tiempo asignado, y requisitos de presentacin de informes, entre otros. Constituyen la principal referencia para el equipo evaluador sobre la evaluacin que se pretende realizar. 2- Propuesta de equipos evaluadores: oferta tcnica que presenta el equipo evaluador respondiendo a las necesidades reflejadas en los TdR. Recoger, entre otros elementos, el plan de trabajo y sus fases, la metodologa y la aplicacin de tcnicas, los productos intermedios y finales, el perfil del equipo y una oferta econmica. 3- Borrador de informe de evaluacin: informe preliminar que ser presentado a los actores que participan en la evaluacin y que tiene como objetivo permitir la aportacin de comentarios, garantizando que los evaluadores tengan la libertad y la independencia necesarias para enjuiciar la intervencin a la luz de los hechos y datos verificables, llevando a cabo el trabajo sin repercusiones para su evolucin profesional. 4- Informe de evaluacin: Producto en el que se recogen las tcnicas y mtodos usados para la recopilacin y anlisis de la informacin, los resultados de la evaluacin, las conclusiones y recomendaciones. (Los plazos mencionados a lo largo de este apartado son plazos mximos. Se recomienda que el proceso de diseo de la evaluacin y la recogida de necesidades de informacin se realice ya desde los primeros meses de ejecucin de las intervenciones. En el documento de formulacin, la entidad adjudicataria ya prev un plan de seguimiento y evaluacin. Ese es el momento para un diseo preliminar de la evaluacin, y para prever la recopilacin de toda la informacin necesaria (un diagnstico, una lnea de base, informe de seguimiento, fuentes de verificacin etc)

3Paramayordetalle, verapartado9.4de laguadeaplicacinde lasnormasdegestin,seguimientoy justificacindeconvenios,proyectosyacciones,demarzode2012,disponibleenlapginawebdelaAECID



GUAPARAEVALUACIONES


1.1- Convenios 1.1.1- Evaluaciones intermedias.

1.1.1.1- Cundo y cmo se presentan?

- Es obligatoria y externa para todos los convenios de convocatorias hasta 2011. - Los informes de evaluaciones intermedias se deben presentar en el plazo mximo de

9 meses, en convenios de convocatorias hasta 2011, o de 6 meses, en convenios de convocatorias desde 2012, desde que haya transcurrido la mitad del plazo de ejecucin del convenio.

- Deben presentarse en idioma espaol. La traduccin, en caso de que el documento original est en otro idioma, es un gasto financiable con cargo a la subvencin AECID.

1.1.1.2- Cmo se contratan?

Para la contratacin de las evaluaciones intermedias de convenios de convocatorias hasta 2011, se seguir el siguiente procedimiento: - Elaboracin de trminos de referencia de la evaluacin: La ONGD elaborar los

trminos de referencia (TdR) de la evaluacin conforme a los trminos de referencia generales que se hayan establecido en el Convenio suscrito dentro del Plan de evaluacin y seguimiento. (Recomendable empezar seis meses antes de la mitad del plazo de ejecucin). Posteriormente presentar su propuesta de TdR a la AECID, a travs del Departamento de ONGD, como mximo hasta 4 meses antes de que transcurra la mitad del plazo de ejecucin.

- Objecin o no objecin de la AECID sobre los TdR: la AECID se pronunciar en el plazo mximo de dos meses, indicando su no objecin o las modificaciones a introducir. Si surgen diferencias entre la AECID y la ONGD adjudicataria, respecto de los TdR, sern resueltas en la Comisin de Seguimiento del Convenio. Si la AECID no se pronuncia en el plazo de dos meses, se considerar que est conforme con los TdR.

- Seleccin del equipo evaluador: Cuando no haya objecin de la AECID a los TdR,

manifiesta o por haber transcurrido dos meses sin pronunciarse, o cuando se hayan modificado los TdR en los trminos indicados por la AECID o acordados en la Comisin de seguimiento del convenio, la ONGD presentar los TdR a un o varios equipos evaluadores para obtener sus ofertas. Se debern tener en cuenta las siguientes reglas:

o Si el presupuesto para la evaluacin fuera superior a 12.000 euros, se deber recabar

oferta de un mnimo de tres equipos evaluadores. Si no fuera posible obtener tres ofertas, se deber acreditar esta imposibilidad con el visto bueno de la OTC/Embajada.

o Deber acudirse con preferencia a los profesionales locales del pas de ejecucin (empresas o particulares). Si no fuera posible la contratacin en el mercado local o no estuviera garantizada en ste un mnimo de calidad, cualquiera que sea el



GUAPARAEVALUACIONES


presupuesto para la evaluacin, se deber acreditar esta imposibilidad con el visto bueno de la OTC/Embajada.

o Deber estar garantizada la independencia del equipo evaluador contratado respecto de la intervencin evaluada: a. No estando vinculado con la gestin de la intervencin ni con ninguno de sus

elementos.

b. No habiendo mantenido una relacin laboral con la ONGD espaola o con su contraparte local al menos desde que se inici el periodo de identificacin y ejecucin de la intervencin a evaluar.

- Presentacin de propuesta a la AECID4: la ONGD presentar a la AECID, a travs del

Departamento de ONGD, la propuesta del equipo evaluador seleccionado y si el importe fuera superior a los 12.000 , se presentarn tambin las ofertas recabadas de un mnimo de tres equipos evaluadores y la propuesta de adjudicacin motivada de la oferta seleccionada.

- Objecin o no objecin de la AECID sobre el equipo evaluador seleccionado: En caso de que la AECID tenga objeciones que plantear a la propuesta presentada por la ONGD, lo comunicar en el plazo de un mes, para que la ONGD modifique la propuesta de adjudicacin en el sentido sealado por la AECID y presente nueva propuesta. Si la AECID manifiesta su no objecin o transcurre un mes sin que se haya pronunciado, se considerar conforme la propuesta de la ONGD.

- Contratacin y realizacin de la evaluacin: Se proceder a suscribir el contrato y a la

realizacin de la evaluacin cuando la AECID haya manifestado expresamente su no objecin, o cuando haya transcurrido un mes sin que la AECID se manifieste, o cuando se haya presentado nueva propuesta modificando la propuesta de adjudicacin en el sentido indicado por la AECID, en caso de que sta manifieste su objecin a la primera propuesta de la ONGD.

*Ejemplo convenio 4 aos: fecha de inicio es el 01/01/2010; los TdR debern ser presentados antes del 01/09/2011, y la evaluacin podr iniciarse despus del 01/01/2012 (justo despus de cumplirse la mitad de la ejecucin). El informe de evaluacin deber ser presentado, a ser posible, en cuanto est disponible, y en todo caso, antes del 01/10/2012. - Presentacin de la evaluacin y discusin de resultados: La ONGD compartir el

informe completo de la evaluacin con los socios locales, la OTC y la AECID y a ser posible con el colectivo meta de la intervencin. En el plazo de dos meses, desde la recepcin por la AECID de dicho informe, la Comisin de seguimiento en sede mantendr una reunin en la que se analizarn las

4De caraaagilizar losplazos yparaque losequiposevaluadoresdispongande tiempo suficientepara llevara caboel trabajodeevaluacin,serecomiendaalasONGDquepresentenalaAECIDlapropuestaopropuestasdeevaluacinenunplazomximodedosmesesdesdelaaprobacindelosTdR.



GUAPARAEVALUACIONES


conclusiones y recomendaciones del informe de evaluacin y a la que conviene que la ONGD presente el plan de mejora que retroalimente la intervencin fruto de la evaluacin. Los acuerdos que se adopten en esta reunin se recogern en un acta que pasar a formar parte del Convenio entre las partes, para lo cual ser suscrita por ambos representantes legales, y podr introducir modificaciones en el convenio derivadas de las conclusiones y recomendaciones de la evaluacin, con los mismos efectos que una resolucin de autorizacin de modificacin sustancial. Las OTC recibirn una copia de este acta. En caso de no existir acuerdo en la reunin de la Comisin de Seguimiento, el acta firmada por el representante del Departamento de ONGD en la Comisin, actuando en calidad de secretario de la misma, recoger las argumentaciones y propuestas de ambas partes y se elevar al rgano concedente de la subvencin, quien, una vez recabados los informes que considere oportunos y previo trmite de audiencia a la ONGD, resolver los trminos en los que haya de darse continuidad al convenio o, incluso, su finalizacin.

Para la contratacin de las evaluaciones intermedias de convenios de convocatorias desde 2012, el procedimiento anterior, descrito para los convenios de convocatorias anteriores, se modifica en los siguientes extremos: - La presentacin a la AECID de los TdR y de la propuesta de equipo evaluador, se

realizar conjuntamente y, como mximo, hasta 4 meses antes de que transcurra la mitad del plazo de ejecucin.

- La AECID se pronunciar tambin conjuntamente sobre ambos aspectos, en el plazo mximo de dos meses desde la recepcin de la propuesta.

1.1.2- Evaluaciones finales - Las evaluaciones finales externas no son obligatorias en convenios, pero puede ser

autorizadas por la AECID su realizacin con cargo a la subvencin, si han sido incluidas en la formulacin inicial aprobada o si se autorizan posteriormente.

- Las evaluaciones finales autorizadas deben ser presentadas a la AECID, a travs del Departamento de ONGD, conjuntamente con el Informe Final, en el plazo mximo de 11 meses desde la finalizacin de la ejecucin del convenio, si se trata de convenios de convocatorias hasta 2011, o de 6 meses en convenios de convocatorias desde 2012.

- Deben presentarse en idioma espaol. La traduccin, en caso de que el documento

original est en otro idioma, es un gasto financiable con cargo a la subvencin AECID.

- Para determinar los TdR de la evaluacin y del equipo evaluador que habr de

realizarla, se proceder de acuerdo a lo descrito para las evaluaciones intermedias en el anterior epgrafe, segn el ao de la convocatoria a la que pertenezca el convenio.



GUAPARAEVALUACIONES


- En convenios de convocatorias hasta 2011, los TdR deben ser presentados a la AECID en el plazo mximo de 4 meses desde la finalizacin del plazo de ejecucin del convenio. En convenios de convocatorias desde 2012, los TdR se presentarn conjuntamente con la propuesta de equipo evaluador y hasta 4 meses antes de la finalizacin del plazo de ejecucin.

1.2- Proyectos y acciones1.2.1- Cundo son obligatorias y cundo y cmo se presentan?- Para proyectos a partir de la convocatoria de 2005 y hasta la convocatoria 2011, es

obligatorio realizar una evaluacin final externa en todos aquellos que hayan obtenido una subvencin de la AECID superior a 350.000 euros.

- En el caso de proyectos de menos de 350.000 euros, de convocatorias 2005 a 2011, y

en todos los de convocatorias desde 2012, cualquiera que sea su importe, as como en el caso de las acciones, no es obligatoria su realizacin, pero podr autorizarse su realizacin con cargo a la subvencin de la AECID, siempre que sean externas.

- Los informes de evaluaciones financiadas por la AECID se presentan conjuntamente

con el informe final, en el plazo de 11 meses desde la finalizacin de la ejecucin del proyecto si se trata de proyectos de convocatorias hasta 2010, o de 6 meses en proyectos de convocatorias desde 2011, inclusive, y en acciones.

- Deben presentarse en idioma espaol. La traduccin, en caso de que el documento

original est en otro idioma, es un gasto financiable con cargo a la subvencin AECID.1.2.2- Cmo se contratan?Para la contratacin de las evaluaciones realizadas con cargo a la subvencin de la AECID, ya sean stas obligatorias o no, se seguir el siguiente procedimiento:- Elaboracin de trminos de referencia de la evaluacin: La entidad adjudicataria de

la subvencin elaborar los trminos de referencia (TdR) de la evaluacin, presentar los TdR a uno o varios equipos evaluadores para obtener sus ofertas y seleccionar a la empresa evaluadora. Si el presupuesto para la evaluacin fuera superior a 12.000 euros, se proceder de la misma forma que en el caso de convenios.

- Presentacin de propuesta a la AECID: en el plazo mximo de 4 meses

desde la finalizacin de la intervencin, en el caso de proyectos de convocatorias hasta 2011, y de 4 meses antes de la finalizacin del plazo de ejecucin, en el caso de proyectos de convocatorias desde 2012 y de acciones, la entidad adjudicataria debe presentar a la AECID, a travs del Departamento de ONGD, en el caso de proyectos, o de la Unidad Gestora que corresponda, en el caso de acciones,: los TdR empleados para la contratacin, la propuesta del equipo evaluador seleccionado y, si el importe



GUAPARAEVALUACIONES


fuera superior a los 12.000 , las ofertas recabadas de un mnimo de tres equipos evaluadores y la propuesta de adjudicacin motivada de la oferta seleccionada.

- Objecin o no objecin de la AECID: En caso de que la AECID tenga objeciones

que plantear a la propuesta presentada, lo comunicar en el plazo de un mes, si se trata de proyectos de convocatorias hasta 2011, o de dos meses, si se trata de proyectos desde 2012 o de acciones, para que sean modificados los TdR o la propuesta de adjudicacin en el sentido sealado por la AECID y presente nueva propuesta. Si la AECID manifiesta su no objecin o transcurre el plazo sealado sin que se haya pronunciado, se considerar conforme la propuesta. Para la contratacin y realizacin de la evaluacin aplica lo mismo que lo mencionado para convenios.



GUAPARAEVALUACIONES


2- El diseo de la evaluacin: 2.1. Aspectos generales Con carcter general, el proceso de evaluacin comprende tres fases: su diseo, el desarrollo del estudio (que compete a personal evaluador independiente, si la evaluacin es externa) y, por ltimo, la comunicacin de resultados e incorporacin de lecciones aprendidas. Durante la primera fase es necesario tomar una serie de decisiones que conduzcan a un adecuado diseo de la evaluacin. En el Manual de Gestin de Evaluaciones de la Cooperacin Espaola se detallan estas etapas y los pasos5 a dar. Realmente es en el diseo del marco lgico de la intervencin cuando conviene plantearse cul ser el plan de seguimiento y el plan de evaluacin de la iniciativa, de cara a que se pueda saber cules son los avances de la intervencin y evaluarlos. Esto implica que hay que contar desde el principio con un buen sistema de seguimiento, con las herramientas adecuadas (indicadores con lnea de base, fichas de seguimiento, etc). As mismo desde el diseo de la intervencin hay que tener en cuenta cmo podra sta ser evaluada, que enfoque sera el ms conveniente, en que momento convendra evaluar, y para qu (utilidad), que actores podran aportar informacin clave, etc. Tener esto pensado desde el principio facilita la elaboracin de los TdR as como redunda en ventajas de gestin de la propia intervencin y de gestin de la evaluacin (Ver apartado 5 de sugerencias desde la prctica punto 2.)

Finalmente, toda esa informacin es trasladada a los TdR configurando el diseo del proyecto evaluativo. Como tal proyecto evaluativo ha de marcar las orientaciones bsicas para que el equipo evaluador pueda adecuar su oferta y metodologa de trabajo a la demanda realizada por la ONGD en los TdR. Sin nimo de extendernos, se tratara entonces de dar respuesta a las siguientes cuestiones:

- Por qu (motivos) y para qu (principales objetivos) el ejercicio de evaluacin?

- Qu objeto (convenio, proyecto o accin) va a ser evaluado?, en su totalidad o

algn componente de manera particular (acotar el objeto)?

- Qu se quiere valorar con el estudio (preguntas de evaluacin y6 criterios de valor a los que responden)?

- Quines son los actores participan del diseo y supervisin de la evaluacin

(promotores, gestores, comits de seguimiento)?

5AECID(2007)ManualdeGestindeEvaluacionesdelaCooperacinEspaola,p.35386 La finalidadprincipaldeuna evaluacin es valorar. Laspreguntasdeben,por lo tanto, implicar elementos valorativos ynodescriptivos.



GUAPARAEVALUACIONES


- Qu recursos de informacin (diagnsticos, lneas de base, formularios, informes,

registros) e informantes clave estaran7 disponibles?

- Cul es el cronograma estimado y el presupuesto disponible?

- Qu productos intermedios y finales son demandados al equipo evaluador?, y cules seran las condiciones para su elaboracin (fecha de entrega, revisin de borradores, posible ndice de contenidos, publicacin, etc.)?

El diseo de una evaluacin responde a una lgica muy similar a la utilizada para disear las intervenciones de desarrollo. Es muy importante recordar que el conjunto de elementos de los TdR deben ser coherentes y estar planteados de manera realista y factible. De manera especial, deber existir una primera concordancia entre los objetivos principales del estudio y las preguntas especficas de evaluacin, y entre stas y los criterios de valor asociados. A partir de ah, debe darse a su vez un equilibrio razonable entre: - La amplitud y profundidad de esos temas de inters que guan la evaluacin,

representados de manera especfica en las preguntas de evaluacin. - Los recursos financieros, temporales y de informacin disponibles. - El alcance y complejidad del convenio, proyecto o accin, y sus caractersticas

principales (en trminos de colectivos meta, diversidad de puntos geogrficos, integracin de estrategias sectoriales, lmites temporales), las posibles combinaciones de tales caractersticas, y la propia estrategia de la intervencin.

* Por ejemplo, no ser muy factible realizar una evaluacin de un Convenio que se ejecuta en mltiples pases y/o varios sectores, que quiera dar respuesta a una gran cantidad de preguntas y que cuente para ello con un pequeo presupuesto, sin que se acabe resintiendo el rigor del anlisis y la calidad de los productos. Es necesario tener en cuenta que una buena evaluacin necesita de personal evaluador cualificado y la aplicacin de tcnicas adecuadas de recopilacin y anlisis de la informacin. En ningn caso las restricciones presupuestarias deben de ser un factor que limite la calidad de su evaluacin. Si tiene recursos limitados, la mejor alternativa es restringir el alcance de la evaluacin. (p.66 Manual). Es importante considerar adems, que las cuestiones que se prevean responder y valorar con la evaluacin pueden tener distinto grado de complejidad y requerir diferentes niveles de indagacin y aplicacin de tcnicas de investigacin social por parte del equipo evaluador (entrevistas, cuestionarios, estudios de caso, grupos de discusin, etc) que tienen su repercusin en el presupuesto del estudio.

7Comounaprimeraaproximacina las condicionesdeevaluabilidadde la intervencin, sirveparaorientaralequipoevaluadorsobrelasfacilidadesodificultadesdelestudioylasposiblesopcionesmetodolgicasparaejecutarlo.



GUAPARAEVALUACIONES


As, algunas preguntas relacionadas con la eficacia pueden requerir de un anlisis ms sencillo que otros temas, como por ejemplo el estudio del impacto, que exige un alto grado de especializacin y entraa dificultades tanto de orden prctico como conceptual.8 En cualquier caso, el equipo de evaluacin podra proponer algunos ajustes a los TdR en dos momentos distintos:

- A la hora de presentar la oferta de evaluacin, dependiendo de la informacin facilitada en los TdR y, sobre todo, de la documentacin con ellos difundida (ver modelo de TdR, punto 7.- Documentos y fuentes de informacin).

- Posteriormente, durante la reunin inicial una vez que el encargo resulte

adjudicado y firmado el contrato. En este segundo momento el objetivo de la reunin es comparar los TdR y la oferta del equipo evaluador para llegar a un marco de entendimiento entre lo que desea saber con la evaluacin y lo que se puede alcanzar.9

En el Manual de Gestin de Evaluaciones de la cooperacin espaola (MAEC, 2007) le sugiere una matriz para priorizar las cuestiones de la evaluacin.10 En el diseo de la evaluacin, la participacin debe ser vista como elemento fundamental para garantizar la apropiacin de los resultados de la misma. Para que esta participacin pueda tener lugar, es necesario abrir espacios, uno de estos espacios puede ser el comit de seguimiento que menciona el Manual de Gestin de Evaluaciones de la Cooperacin Espaola. Este espacio creado debe ser dinamizado a lo largo del proceso de evaluacin. Adems si el colectivo meta de la intervencin no participa en el Comit de Seguimiento, habr que buscar otros cauces para fomentar su participacin. Es imprescindible que reciban al menos os resultados de la evaluacin en un formato accesible para ellos teniendo en cuenta aspectos culturales, sociales, de gnero, etc. Por ltimo, debido al gran nmero de evaluaciones que se gestionan al mismo tiempo, subvencionadas por distintos financiadores, se tendrn en cuenta a la hora de disear las mismas los estndares de calidad del CAD que pretenden fomentar la elaboracin de evaluaciones conjuntas y la Declaracin de Paris y de Accra que incluye entre sus principios la armonizacin y coordinacin entre actores. Se potenciar por lo tanto, si fuera posible, la realizacin de evaluaciones conjuntas de intervenciones similares en la misma zona con el mismo equipo evaluador. Si esto es posible, sin disminuir la calidad de la evaluacin, facilitando el proceso de evaluacin y sin contravenir la normativa, se podra pedir autorizacin al Departamento de ONGD. Esta filosofa es la que subyace de la nueva normativa de 2011 con su Plan Bienal de Evaluaciones.

8Paraunaaproximacinaestostemas,verMAEC(1998),Metodologadeevaluacindelacooperacinespaola(p.51yp.74)9AECID(2007)ManualdeGestindeEvaluacionesdelaCooperacinEspaola,p.8210AECID(2007)ManualdeGestindeEvaluacionesdelaCooperacinEspaola,p.61.



GUAPARAEVALUACIONES


2.2. Orientaciones sobre el presupuesto durante el diseo. El III Plan Director (2009-2012) tambin menciona la necesidad de planificar el seguimiento y la evaluacin desde el inicio, para evitar que se convierta en una carga administrativa. Siguiendo el ejemplo de otros actores de cooperacin, recomienda establecer una horquilla de porcentaje tanto para el seguimiento (entre 2% y 3%) como para la evaluacin (entre 3% y 5%).

Esta horquilla es una orientacin que puede ayudar, pero tendr que valorarse cada caso, dependiendo de la intervencin. Hay intervenciones muy costosas, algunas de ellas con un presupuesto alto en infraestructuras, que tal vez no tengan por qu necesitar un presupuesto elevado para la evaluacin y en cambio, otras menos costosas, por ejemplo algunas ms relacionadas con temas educativos o de promocin de derechos, que pueden requerir una evaluacin de ms presupuesto.

Para conseguir un mnimo de calidad, es deseable que el presupuesto no sea demasiado escaso, siendo importante establecer mnimos presupuestarios ms que mximos.

2.3. Orientaciones para intervenciones de ms de un pas. En el caso de intervenciones complejas en varios pases, es difcil que al acotar la evaluacin se incluyan todos los pases y todas las acciones, en este caso se incluyen aqu algunas orientaciones vinculadas al diseo y encargo de la evaluacin:

- La elaboracin de los TdR por parte de la unidad gestora y su posterior difusin vendr condicionada por la acotacin que se haga de la evaluacin, pudindose dejar fuera, previa justificacin (enumerando los criterios para hacer la seleccin), algn pas de la intervencin si no se considera til la evaluacin en dicho pas. As, podrn recogerse las necesidades informativas de los actores de los pases ms implicados.

- El hecho de que la intervencin se produzca en ms de un pas no es bice para que se priorice la contratacin de equipos locales (de alguno de los pases de la intervencin).



GUAPARAEVALUACIONES


3- Actores de la evaluacin11: Promotores: Aquellos que generan la motivacin para evaluar o deben de dar cumplimiento a un mandato de evaluacin, normalmente, la entidad adjudicataria de la subvencin, para evaluaciones optativas, o la entidad adjudicataria y la AECID, para evaluaciones obligatorias. Gestores: Aquellos que se encargan de que el proceso evaluativo se realice segn lo establecido, impulsando y liderando el diseo de la evaluacin, coordinando y supervisando el avance y desarrollo del estudio de evaluacin y la calidad del proceso; y son los responsables de comunicar los resultados, conclusiones y recomendaciones. Para ello deben de tener las competencias y destrezas necesarias para participar en el diseo y gestin de actividades en materia de evaluacin: personal de la propia entidad promotora de la evaluacin o un grupo de trabajo conformado entre ella y su socio local, con o sin apoyo de expertos externos, entre otras posibilidades. Evaluadores12: Aquellos encargados de realizar el estudio de evaluacin, en nuestro caso, dado el carcter externo de la evaluacin exigido por AECID, el desarrollo de este estudio debe correr a cargo de personal independiente que no haya participado en la gestin la intervencin a analizar, necesariamente especializado en las tcnicas propias de la investigacin social y, de ser posible, con experiencia en la materia de estudio. Colectivo meta de la intervencin: Segn sea la intervencin el colectivo meta pueden ser titulares de derechos (ciudadanos sujetos de derechos, comunidades), titulares de obligaciones (las administraciones pblicas) o titulares de responsabilidades (actores no estatales, entes privados, organizaciones locales, empresas, etc). Es imprescindible tener en cuenta sus opiniones tanto en el diseo de la evaluacin como en su desarrollo (ya que suelen ser informantes clave) as como en la devolucin de las conclusiones de la evaluacin. A mayor participacin del colectivo meta ms se enriquece la evaluacin si bien tambin puede ralentizarse o consumir ms recursos. Comit de Seguimiento de la Evaluacin: en terreno y/o Espaa, en el que estn representados los grupos de actores ms relevantes para la evaluacin. Deben de participar los actores cuyas necesidades de informacin vayan a ser tenidas en cuenta y que a su vez harn uso de los resultados de la evaluacin. No deben ser actores que slo figuren en lo formal, debe haber una participacin real. En caso contrario, es ms conveniente que el comit de seguimiento se reduzca slo al financiador y a la unidad gestora de la evaluacin. La participacin e inclusin de los actores depender de cada intervencin a evaluar. Sus funciones, entre otras, son las de validar los distintos productos que se vayan obteniendo, facilitar informacin a los evaluadores, facilitar la participacin de los distintos actores, identificar necesidades de informacin, supervisar la calidad del proceso y difundir los resultados de la evaluacin. Es necesario que como mnimo en terreno se invite a participar a la OTC.

11AECID (2007) Manual de Gestin de Evaluaciones de la Cooperacin Espaola, p.23.12Se incluye en este trmino a empresas, equipos o a profesionales evaluadores independientes.



GUAPARAEVALUACIONES


Existen adems otros actores relevantes, tales como informantes clave. Para mayor informacin, consultar el Manual y su glosario. Por ltimo, a nivel de participacin de actores y en lnea con el principio de apropiacin de la Declaracin de Pars, se recomienda integrar a los socios locales en la toma de decisiones del proceso de evaluacin, liderndolo incluso si fuera necesario.



GUAPARAEVALUACIONES


4- Orientaciones metodolgicas. 4.1- Definicin del objeto y dimensiones de anlisis: Deber definirse de forma resumida y clara la intervencin a evaluar en sus aspectos fundamentales. Se explican los cambios sustanciales entre lo planificado y la ejecucin actual. 4.2- Preguntas de evaluacin: Los actores implicados en el diseo de la evaluacin traducirn los objetivos de la evaluacin en preguntas. Estas preguntas podrn ser clasificadas por criterios de evaluacin o atendiendo a aspectos del diseo de la intervencin, de sus procesos y/o de los resultados. 4.3- Los criterios de evaluacin: El listado de posibles criterios representa una serie de puntos crticos a tener en cuenta para emitir un juicio de valor sobre la accin. () No se trata, sin embargo, de categoras exclusivas o exhaustivas, si no ms bien de conceptos gua para enfocar las evaluaciones 13 dependiendo del objeto de evaluacin y de los objetivos de la misma. De esta manera, los criterios se adecuarn a las preguntas que se deseen responder. La Metodologa de evaluacin de la Cooperacin Espaola (1998) y el Manual de Gestin de Evaluaciones de la Cooperacin Espaola (2007) recomiendan la aplicacin de criterios de evaluacin armonizados e internacionalmente compartidos en el seno del Comit de Ayuda al Desarrollo (CAD) de la OCDE. Adems de los 5 criterios14 de evaluacin propuestos por el CAD: pertinencia, eficacia, eficiencia, impacto y viabilidad, el Manual propone y define 6 criterios que pueden ser analizados segn el inters acordado entre los actores, el contexto evaluativo y el objeto de estudio; estos criterios son la coherencia, la apropiacin, el alineamiento, la armonizacin, la participacin y la cobertura. Los criterios aplicados en una evaluacin determinada se definen con claridad y sin ambigedades. En caso de que no se haya aplicado un criterio o se hayan aplicado otros criterios adicionales se explica el porqu en el informe de evaluacin15. Tal es el caso, por ejemplo, de la evaluacin de la Accin Humanitaria. 4.4- Modelo de TdR. (Ver modelo adjunto en esta gua). Los TdR constituyen la principal referencia sobre la evaluacin que se pretende realizar (ver definicin en recuadro, pgina 3). Recoge los puntos ms importantes del desarrollo de la evaluacin y las decisiones tomadas en el diseo de la evaluacin. 13MAEC(1998)MetodologadeEvaluacindelaCooperacinEspaola.(p.45)14Lasdefinicionesdeestoscriteriosestnenlapgina56delmanualdegestindeevaluacionesdelacooperacinespaola.15CAD(2006)EstndaresdecalidaddeevaluacindelaReddeEvaluacindelCAD.



GUAPARAEVALUACIONES


El modelo propuesto, que se incluye al final de esta gua, es una adaptacin del modelo incluido en el Manual de Gestin de Evaluaciones de la Cooperacin Espaola. No obstante, es necesaria cierta flexibilidad en relacin a la extensin o contenidos de cada apartado. Incluso, en las ocasiones en las que sea necesario, podran aadirse nuevos apartados o cambiar el orden de los mismos. As mismo se podrn aadir los anexos que se consideren oportunos para la mejor comprensin del encargo de evaluacin. Por otro lado, es importante sealar que el orden de los apartados de los TdR no tiene por qu corresponder con el orden en el que se toman las decisiones durante el proceso de diseo de la evaluacin.16 *Por ejemplo, algunas evaluaciones inician con una financiacin dada y no hay mucha flexibilidad para elegir el presupuesto despus de haber recogido las preguntas de evaluacin, y stas deben ser adaptadas al presupuesto disponible. En otros casos el tipo o momento de la evaluacin se impone (externa, final). Nos encontramos en la fase de redaccin de los TdR (fase 5 segn el Manual), cuando el presupuesto casi siempre est predefinido y el tipo de evaluacin ya est fijada en la normativa. En todo caso, para elaborar unos TdR adecuados y realistas, han tenido que tenerse en cuenta los pasos anteriores (identificar la motivacin para evaluar, seleccionar el objeto y definir las preguntas) y ajustar estas decisiones a los elementos definidos a priori en estos casos: el presupuesto y el tipo y momento de la evaluacin. 4.4- Indicaciones para las evaluaciones intermedias. Se incluyen aqu una serie de recomendaciones para orientar las evaluaciones intermedias, ya que al tratarse de evaluaciones de intervenciones en ejecucin, presentan caractersticas distintas y, en principio, ms limitadas que las de una intervencin ya finalizada. - Las evaluaciones intermedias (previstas solo para convenios), tienen como finalidad

general valorar el grado de avance en el cumplimiento de los resultados esperados por la intervencin, as como otros apectos que puedan ser interesantes segn el convenio. Una de las utilidades que la AECID encuentra en las evaluaciones intermedias de este tipo de intervenciones es que pueden permitir la mejora de la intervencin cuando sta est todava en marcha.

- Este objetivo de la evaluacin establecido en la normativa no excluye la inclusin de

otros objetivos que la ONGD considere oportunos. - En funcin de los objetivos de cada evaluacin intermedia y de la utilidad que busque

la ONGD y otros actores implicados, se priorizarn los criterios de evaluacin ms apropiados.

16Verapartado2deestaguaypginas3538delManualdeGestindeEvaluacionesdelaCooperacinEspaolaparaconocerelitinerariocompletodelaevaluacin.



GUAPARAEVALUACIONES


- En el caso de las evaluaciones intermedias, criterios como el impacto sern difcilmente aplicables. Su inclusin ser poco realista teniendo en cuenta el momento en el que se evala, aunque s podra valorarse la calidad de los indicadores de impacto, la previsin de conseguir los efectos deseados a nivel del objetivo general con base a los logros avanzados, o un avance de los efectos no deseados provocados hasta el momento por la intervencin.17

- En estas evaluaciones se har un nfasis especial en la evaluacin de la calidad de

los procesos.

17 En cualquier caso, ya se ha avanzado que las evaluaciones de impacto son anlisis complejos, en particular si lapretensin es asignar causalmente la atribucin de tales efectos a nuestra intervencin. En sistemas complejos deintervencin,ladinmicadelaevaluacindeimpactoselimitaalestudiodenuestracontribucinatalesefectos.



GUAPARAEVALUACIONES


5- Sugerencias desde la prctica. En este apartado se recogen una serie de buenas prcticas extradas del seguimiento de las evaluaciones llevadas a cabo en los ltimos dos aos. Estas sugerencias son fruto del acompaamiento a ONGDs en la gestin de evaluaciones, y no fruto de una evaluacin de las mismas. Algunas de estas sugerencias ya se han mencionado a lo largo de la gua, pero es bueno tener una visin de conjunto que refleje de forma constructiva los aspectos ms relevantes que hemos visto que influyen en la buena gestin de las mismas. 1- Se ha visto que es importante que exista una cierta coherencia entre el alcance y

objetivos de la evaluacin y los recursos humanos, temporales y econmicos con los que se cuenta. Se recuerda, que si ha habido una mala previsin, o las necesidades de informacin cambian a la hora de elaborar los TdR y se quiere hacer una evaluacin de mayor alcance, siempre que haya fondos disponibles, se podr aumentar el presupuesto destinado inicialmente para la evaluacin, con el correspondiente cambio de partidas del presupuesto del Convenio/Proyecto/Accin, o la aplicacin de excedentes o rendimientos financieros.

2- El diseo y planificacin de la evaluacin deben gestarse desde el inicio de las intervenciones para que pueda contribuir a mejorar los procesos de aprendizaje y capacitacin institucional. Es decir, debe de ser planificada pensando en evaluar (al igual que se debe evaluar pensando en futuras planificaciones o reajustes de la presente). As, planificacin y evaluacin se convierten en procesos interrelacionados que se retroalimentan.

3- Se ha evidenciado que la intervenciones que cuentan con un riguroso sistema de

seguimiento (sistemtico, con indicadores y fuentes de verificacin adecuados) permiten al equipo de evaluacin centrarse en los objetivos propios de la evaluacin- como son el valorar y enjuiciar de forma constructiva-, en lugar de centrarse en describir los avances y logros, que por otro lado es ms propio del seguimiento. El sistema de seguimiento sirve para conectar la planificacin con la evaluacin y es un cimiento indispensable para permitir a los equipos evaluadores llevar a cabo una buena evaluacin.

4- Se ha visto que la evaluacin que se lleva a cabo, sin apurar los plazos mximos

establecidos en la normativa, destinando tiempo suficiente para la misma, es de mayor calidad que la evaluacin que se realiza sin tener en cuenta el tiempo disponible.

5- Las evaluaciones que tienen en cuenta las necesidades de informacin de la unidad

gestora de la evaluacin y de otros actores implicados en la intervencin son potencialmente ms tiles que las que no tienen en cuenta estas necesidades. Dirigir las preguntas de la evaluacin a satisfacer esos intereses iniciales resulta un primer paso para tratar de garantizar el uso de las conclusiones y recomendaciones finales. Son, adems, una buena gua para seleccionar los criterios de evaluacin que tienen ms importancia en cada caso y de qu manera especfica son dotados de contenido valorativo en cada estudio.



GUAPARAEVALUACIONES


6- Se ha visto que es necesario definir claramente el papel de cada actor involucrado y

no confundir el papel de los miembros de un comit de seguimiento de la evaluacin, con los promotores de la evaluacin: - La entidad adjudicataria de la subvencin es promotora de la evaluacin que

impulsa y define a iniciativa propia. - Si la evaluacin es obligatoria, la entidad es co-promotora, junto a la AECID de la

evaluacin. De esa manera, da cumplimiento a un mandato normativo de AECID e integra en el estudio, junto al rendimiento de cuentas exigido, temas de inters para las partes implicadas.

- En ambos casos, tiene adems un rol principal como gestora de la evaluacin18, unidad que puede estar conformada exclusivamente por la entidad, o por sta y otros actores (p.ej. el socio local).

En cualquier caso, es importante que los TdR establezcan claramente la articulacin entre los distintos actores. La creacin de un comit de seguimiento de la evaluacin puede ayudar en esta tarea, a maximizar la comunicacin con el equipo evaluador tras la adjudicacin y a realizar un buen seguimiento de la evaluacin en la sede y en terreno.

7- Se ha visto la importancia de definir el objeto de estudio y proporcionar en los TdR la

informacin necesaria a los potenciales equipos evaluadores o, al menos, un listado de la misma. De esta manera, el equipo evaluador podr ajustar mejor su oferta tcnica. As mismo es necesario incluir en los TdR los criterios por los que se valorarn las propuestas que presenten los evaluadores. Podran resumirse en tres aspectos a valorar: la propuesta metodolgica, el perfil de los evaluadores y la oferta econmica.19

8- Se ha visto que para prevenir determinadas debilidades de rigor evaluativo, es importante tener en cuenta que los TdR han de exigir al equipo evaluador las opciones metodolgicas y tcnicas de levantamiento de informacin ms adecuadas. En la misma lnea, los equipos evaluadores han de justificarla en sus ofertas tcnicas y planes de trabajo iniciales, en funcin de la informacin facilitada por la entidad que los contratar; y en todo caso, esta informacin ha de constar en los informes finales, con los ajustes necesarios derivados de la ejecucin del estudio.

9- Se ha visto que se previenen debilidades de rigor evaluativo si en los TDR se exigen

al evaluador que explique las opciones metodolgicas y tcnicas de levantamiento de la informacin que piensa poner en prctica. En la misma lnea, los evaluadores han de justificar su metodologa en sus ofertas tcnicas y planes de trabajo iniciales en la fase de gabinete, en funcin de la informacin facilitada por los ejecutores de la intervencin; y en todo caso esta informacin ha de constar en los informes finales de evaluacin, con los ajustes necesarios derivados de la ejecucin del estudio.

18No confundir con laUnidadGestorade la subvencin,que,enel casode convenios yproyectos,eselDepartamentodeONGD. El Departamento de ONGD, como gestor de todo el ciclo del convenio, tambin participa en la gestin de laevaluacin cuando llega el momento, acompaando a las ONGD, validando los productos, etcpero laresponsabilidaddelagestindelasevaluacionesrecaeenlaONGD.19Verpginas7477delManualdeGestindeEvaluacionesdelaCooperacinEspaola.



GUAPARAEVALUACIONES


10- Se ha evidenciado la importancia de la discusin del borrador y que sta debe estar prevista ya en los TdR. La discusin del borrador del informe final de la evaluacin se est revelando clave en el proceso de apropiacin de los resultados de la evaluacin. En relacin a la discusin y la incorporacin de los aportes de otros actores, los estndares de calidad de la evaluacin del CAD20 sealan lo siguiente:

3.15. Se debe ofrecer a los actores implicados relevantes la posibilidad de formular observaciones al borrador de informe. En el texto definitivo se deben reflejar dichas observaciones y poner de manifiesto las discrepancias sustanciales. Cuando surjan diferencias sobre hechos verificables, los evaluadores han de realizar las pesquisas necesarias y modificar el borrador, si procede. Si se trata de diferencias de opinin o interpretacin, se reproducirn textualmente las observaciones de los interesados en un anexo o una nota a pie de pgina, en la medida en que ello no vulnere los derechos o el bienestar de los participantes.

11- Para velar por la calidad de la evaluacin, se debe exigir rigor a los productos entregados por los equipos evaluadores y tener un conocimiento suficientemente amplio de los mismos que permita compartirlos con otros actores.

12- Se ha visto que la adecuacin en extensin y formato los productos de difusin y comunicacin de resultados a las necesidades y expectativas que las distintas audiencias tienen en la evaluacin, puede facilitar la apropiacin de las recomendaciones y resultados de la evaluacin.21 Adems es importante que en esta fase de la evaluacin la informacin fluya de manera bidireccional, de los gestores y evaluadores al colectivo meta, en especial titulares de derechos y titulares de obligaciones (y a otros actores) y viceversa, pudiendose as incorporar en los planes de mejora que elaboren los gestores los aportes de los colectivos directamente implicados.

20CAD(2010)EstndaresdecalidaddeevaluacindelaReddeEvaluacindelCAD.21Verpginas95100delManualdeGestindeEvaluacionesdelaCooperacinEspaola.



GUAPARAEVALUACIONES


6- Modelo de Trminos de Referencia22

Modelo de TdR

CONTENIDOS: 0. Ttulo: Nombre de la evaluacin a realizar: nombre de la intervencin a evaluar

y tipo de evaluacin: [PRESCRIPCIONES TCNICAS - TERMINOS DE REFERENCIA - PARA LA EVALUACIN INTERMEDIA / FINAL DE [CONVENIO/PROYECTO/ACCIN..]

1. Introduccin 2. Objeto de evaluacin y antecedentes 3. Actores implicados 4. Alcance de la evaluacin. 5. Preguntas y criterios de evaluacin. 6. Metodologa de evaluacin y plan de trabajo. 7. Documentos y fuentes de informacin. 8. Estructura y presentacin del informe de evaluacin. 9. Equipo evaluador 10. Premisas de la evaluacin, autora y publicacin 11. Plazos para la realizacin de la evaluacin 12. Presentacin de la oferta tcnica y criterios de valoracin 1. INTRODUCCIN Por qu y para qu se evala? Describir de forma breve a quien promueve y gestiona la evaluacin. Este es un

espacio para que pueda presentarse la entidad ejecutora de la intervencin evaluada, describir como trabaja y si existe o no unidad de evaluacin interna en el seno de la organizacin.

Objeto de evaluacin: Breve referencia a la intervencin que ser objeto de

evaluacin (convenio/proyecto/accin).

Definir el tipo de evaluacin: intermedia/final de proyecto/convenio/accin.

Justificacin y razones (motivos) de la evaluacin: por qu se evala esta intervencin?

22Los Trminos de Referencia constituyen la principal referencia para el equipo evaluador sobre la evaluacin que se pretende realizar. No sustituyen el contrato privado por la contraprestacin de servicios que el equipo evaluador firme con la entidad contratante.



GUAPARAEVALUACIONES


Definir los objetivos generales de la evaluacin (propsito): para qu se evala?, qu se quiere saber en trminos generales con esta evaluacin?

Uso y expectativas de la evaluacin: establecer los puntos sobre los que se esperan recomendaciones y el uso utilidad de la evaluacin- que se dar a los resultados de la evaluacin.

2. OBJETO DE LA EVALUACIN Y ANTECEDENTES Describir de forma breve el objeto de la evaluacin (convenio/proyecto/accin)

incluyendo el contexto en el que se lleva a cabo la intervencin, su historial, su marco de planificacin y la lgica de intervencin, aunque luego sea recomendable adjuntar como anexo la matriz de planificacin u otros documentos de inters.

Indicar el nmero y tipo de los que componen el colectivo meta, duracin de la intervencin (fecha de inicio y fin), presupuesto bsico (no es necesario incluir el presupuesto total con todos los cofinanciadores desglosado por partidas, pero si indicar el monto total de la intervencin y la subvencin AECID de forma general). Contrapartes, contexto institucional y breve referencia al contexto socio-econmico en el que se desarrolla la intervencin. En el caso de convenios, indicar los periodos que abarca cada PAC, la estructura del convenio, si se ha diseado por acciones, explicar la relacin de stas con la lgica de intervencin del convenio.

3. ACTORES IMPLICADOS Identificar a los agentes implicados en la intervencin a evaluar y ofrecer un listado

de posibles informantes clave. Es conveniente que dicho listado tenga informacin especfica sobre cada informante (relevancia para la evaluacin, participacin durante el proceso, se sugiere que se use el cuadro propuesto en el Manual de Gestin de Evaluaciones de la Cooperacin Espaola, pag 45).

Identificar a los actores implicados en la evaluacin y establecer cul ser su participacin durante el proceso de evaluacin. Distinguir entre:

- Unidad gestora de la evaluacin: entidad ejecutora de la subvencin y

representantes en terreno (tanto de la entidad como de los socios locales). En este caso los gestores de la evaluacin son al mismo tiempo gestores de la intervencin a evaluar. Acta adems como unidad mandataria de la evaluacin, encargada de validar y supervisar la calidad del proceso, de la elaboracin de los TdR, de la contratacin del equipo evaluador, de la publicacin y difusin de resultados.

- Comit de seguimiento de la evaluacin: en terreno y/o Espaa, en el que estn

representados los grupos de actores ms relevantes para la evaluacin. Explicitar su rol, cmo ser la coordinacin con la Unidad gestora de la evaluacin y el equipo de evaluacin, y la jerarqua en la toma de decisiones. Es necesario que como mnimo en terreno se invite a participar a la OTC.



GUAPARAEVALUACIONES


- Comisin de Seguimiento del Convenio: es el cauce regular de seguimiento en el caso de los convenios, normalmente tiene lugar en Madrid, aunque puede tener lugar en terreno. Formada por miembros de la AECID y de la ONGD espaola. En relacin a la evaluacin, esta comisin se reunir durante el proceso de diseo, si es necesario, y con carcter obligatorio en el momento de discusin del informe final. Sus miembros podran ser los mismos que los de un comit de seguimiento reducido creado para la evaluacin.

4. ALCANCE DE LA EVALUACIN Delimitar el mbito del estudio: Dimensiones geogrficas, institucionales, temporales,

y temticas o sectoriales de la intervencin a evaluar (convenio/proyecto/accin) especificando en su caso los sub-temas que se consideran relevantes para que la evaluacin los analice.

*Por ejemplo, si la intervencin consiste en un convenio a 4 aos en varios pases y sectores, y se trata de una evaluacin intermedia, en este apartado se deber delimitar: periodo a evaluar, pases, sectores y n de acciones que forman parte del estudio. Si en el mbito de estudio no estn representados todos los pases, sectores y acciones previstas, se deber justificar la acotacin realizada.

Dentro de la acotacin del estudio, se especificar si ste se enfoca a aspectos de

diseo de la intervencin, de procesos de ejecucin y/o de resultados.

Es importante tener en cuenta el presupuesto disponible y ser coherente con ello a la hora de delimitar el mbito de la evaluacin.

5. PREGUNTAS Y CRITERIOS DE EVALUACIN En funcin de las preguntas generales de la evaluacin, se desarrollan aqu los

criterios de evaluacin a tener en cuenta para el anlisis. Se pueden considerar los criterios de evaluacin clsicos de la cooperacin al desarrollo (eficacia, pertinencia, eficiencia, impacto, viabilidad), adems de otros que se consideren relevantes tras el anlisis de las preguntas de evaluacin. Estos criterios deben ser definidos, priorizados y, en su caso, completados con otros criterios de valor relevantes. Ver punto 4.1 de la presente gua.

6. METODOLOGA Y PLAN DE TRABAJO Metodologa y tcnicas requeridas de recopilacin y anlisis de la informacin para la

presentacin y difusin de resultados. Si la ONGD tiene preferencias o limitaciones concretas en cuanto a las tcnicas que desea que el equipo evaluador utilice, lo plasmar aqu, si no, en general se recomienda que sea el equipo evaluador quien seleccione en sus propuestas el enfoque metodolgico y las tcnicas ms adecuadas, justificndolas adecuadamente.



GUAPARAEVALUACIONES


Es importante recordar que la metodologa incida en los aspectos de gnero y

permita la consideracin de todos los colectivos meta, sobre todo de los de difcil acceso.

Se solicitar as mismo en este apartado el Plan de trabajo: fases, plazos y

productos que se desea recibir. Generalmente, el trabajo se divide en fase de gabinete y trabajo de campo, y

se establece el tipo de tareas que se espera que los evaluadores realicen en cada una: perfeccionamiento de las herramientas para la recopilacin y proceso de los datos, identificacin y entrevista (o la tcnica que se elija) a los informantes clave en las sedes y se preparacin del trabajo de campo. Durante el trabajo de campo se debern programar y realizar reuniones de devolucin de resultados preliminares con los distintos organismos vinculados con la intervencin, incluyendo a las autoridades e instituciones socias del pas en cuestin (con el comit de seguimiento creado, invitando a la OTC).

Se establece que un borrador de informe final deber ser entregado en un plazo

definido, el cual se discutir por todas las partes hasta obtener un Informe final. La OTC deber ser avisada cuando esto tenga lugar y deber recibir el documento borrador.

7. DOCUMENTOS Y FUENTES DE INFORMACIN Identificar los documentos y fuentes de informacin a los que tendr acceso el equipo

evaluador. Elaborar una matriz de documentacin para la compilacin de documentos e informacin disponibles.

Ejemplo de matriz propuesta:

Documento Principales contenidos Localizacin

Documento de formulacin de la intervencin Estudios de diagnstico, viabilidad y Lneas de Base relacionados con la intervencin Normativa Reguladora Planes Operativos Anuales Informes de seguimiento (incluidas fuentes de verificacin) Estudios sobre el sector/regin Documentos de planificacin de la cooperacin espaola Otras evaluaciones previas de otra fase de la intervencin o de intervenciones similares en la zona. Planes, normativa u otros documentos del pas de intervencin Otra documentacin de inters



GUAPARAEVALUACIONES


Incluir fuentes primarias y secundarias disponibles. No olvidar mencionar evaluaciones anteriores y los diagnsticos y lneas de base

elaborados con anterioridad.

Enumerar as mismo la normativa de aplicacin a tener en cuenta para la evaluacin, tanto la relativa a la gestin de intervenciones de la AECID en general, como la relativa al pas/es en el que se lleva a cabo la intervencin y que sea de relevancia para el estudio.

8. ESTRUCTURA Y PRESENTACIN DEL INFORME DE EVALUACIN La ONGD establecer una estructura orientativa que se recomienda que siga el

Informe final de evaluacin. Se adjunta aqu una propuesta de ndice de contenidos:

0. Resumen ejecutivo 1. Introduccin Antecedentes y Objetivo de la evaluacin. Preguntas principales y criterios de valor: definicin.

2. Descripcin resumida de la intervencin evaluada, con especial referencia a las expectativas de cumplimiento en el momento intermedio (convenios) o final (segn proceda) en el que se realiza la evaluacin; resumen de los antecedentes, la organizacin y gestin, actores implicados y contexto en el que se desarrolla la intervencin.

3. Metodologa empleada en la evaluacin Metodologa y tcnicas aplicadas. Condicionantes y lmites del estudio realizado.

4. Anlisis de la informacin recopilada y evidencias en torno a las cuestiones establecidas previamente. Interpretacin de las evidencias en relacin con las preguntas de evaluacin enunciadas.

5. Conclusiones de la evaluacin en relacin con los criterios de evaluacin establecidos.

6. Lecciones aprendidas que se desprendan de las conclusiones generales que indiquen buenas prcticas y que puedan ser extrapoladas y retroalimentar las acciones de la intervencin en ejecucin o para futuras intervenciones, segn proceda.

7. Las recomendaciones derivadas de la evaluacin clasificadas segn el criterio elegido por el equipo evaluador (Ej.: a corto/largo plazo, segn criterios de evaluacin, segn dimensin o componente de la intervencin, segn zona de intervencin). En todo caso siempre que sea posible, mencionar el actor (o actores) a quien va dirigida de manera particular la recomendacin.

8. Anexos en los que se incluirn: Los TdR. El plan de trabajo, la composicin y la descripcin de la misin.



GUAPARAEVALUACIONES


Metodologa propuesta, tcnicas y fuentes utilizadas para recopilar de informacin23:

Revisin documental: listado de fuentes secundarias utilizadas. Entrevistas: listado de informantes, guion de entrevista, transcripciones y

notas. Encuestas: modelos, datos brutos recopilados y anlisis estadstico. Talleres participativos: relatora y productos. Etc Alegaciones y comentarios de distintos actores al borrador del informe si se

considera pertinente, sobre todo si existen desacuerdos y no han sido reflejados en el cuerpo del informe. (Ver premisa de responsabilidad).

Ficha-resumen de la evaluacin (modelo CAD24). Se determinar la extensin mxima del Informe Final de evaluacin. ste ir acompaado de un Resumen ejecutivo, estipulando un mximo de pginas. Asimismo, se deber presentar una ficha-resumen de la evaluacin siguiendo el formato establecido por el CAD de la OCDE para el inventario de evaluaciones de esta institucin. El equipo evaluador entregar a la entidad ejecutora de la subvencin el informe final de evaluacin, una vez haya sido discutido el borrador por todas las partes. La entidad entregar a la AECID, va Departamento de ONGD, en caso de convenios y proyectos, o va Unidad gestora de la subvencin, en caso de acciones, una copia del informe en papel y otra en formato electrnico. 9. EQUIPO EVALUADOR Definicin del nmero de integrantes del equipo evaluador, perfil de las personas,

cualificaciones profesionales (titulaciones, idiomas, experiencia profesional en el sector, en cooperacin internacional, en diseo y ejecucin de evaluaciones, en tcnicas de investigacin social). Siempre se deber nombrar a un/a coordinador/a del equipo, en quien recaer la responsabilidad final del trabajo y la funcin de contacto con la Unidad gestora de la evaluacin.

De acuerdo con el III Plan Director y su apuesta por el fortalecimiento de las capacidades de los socios locales, se acudir con preferencia a los profesionales, empresas y particulares locales. En caso de no ser posible la contratacin en el mercado local o de no estar garantizada en ste un mnimo de calidad, cualquiera que sea el importe de la misma, se deber motivar por escrito y recabarse el visto bueno de la OTC o Embajada de Espaa correspondiente.

23Esdeseablequeen losTdRsedemandeypresupuestequeelequipoevaluadorproporcione, juntoconel informefinal,toda la informacin que ha utilizado para su anlisis e interpretacin, y que recopil a travs de fuentes primarias(transcripciones de entrevistas, volcado de cuestionarios, relatora de grupos de discusin, etc.). Garantizando en todomomento lapremisadeanonimatoyconfidencialidad,esta informacinpuedesertilpara lapropiaentidadejecutoradelaintervencinyparaotraspersonasinteresadasenelprograma,comolosfinanciadoresyexpertosenevaluacinquequierandisponerdeesainformacinparafuturosestudiosometaevaluaciones.24SeadjuntaelmodeloalfinaldeestaGua.



GUAPARAEVALUACIONES


Haciendo referencia a las premisas de la evaluacin, se recuerda que el equipo evaluador tiene que garantizar su independencia de la intervencin evaluada, no estando vinculado con su gestin o con cualquier elemento que la compone. As mismo no deber de haber trabajado para la entidad ejecutora de la subvencin o para sus socios locales al menos durante el periodo de identificacin y ejecucin de la intervencin a evaluar.

La entidad ejecutora de la subvencin proporcionar la informacin y el apoyo que el equipo evaluador necesite y podr ofrecerse a acompaarle, pero ser ste el que determine si es pertinente que la entidad o sus socios locales estn presentes durante el desarrollo de los trabajos de la evaluacin, ya que esto podra condicionar los resultados de la misma.

Los equipos evaluadores tendrn la responsabilidad de poner de manifiesto cuestiones no mencionadas especficamente en los TdR, si ello fuera necesario para obtener un anlisis ms completo de la intervencin. Aunque el borrador de informe pueda ser consensuado en el comit de seguimiento con el resto de actores, el equipo evaluador deber dejar constancia de su valoracin aunque la entidad ejecutora de la subvencin u otros actores discrepen. Siempre podr aclarar en qu puntos hay discrepancias.

Conviene tener en cuenta, adems, que en aquellos casos en que la normativa

prevea la presentacin simultnea a la AECID de los TdR y las propuestas, deber dejarse claro a los potenciales equipos evaluadores en los TdR que la AECID llevar a cabo una revisin de dichos TdR con posterioridad a la presentacin de su propuesta, y que de dicha revisin se pueden introducir cambios en los TdR que guiarn la evaluacin.

10. PREMISAS DE LA EVALUACIN, AUTORA Y PUBLICACIN25 Establecer las premisas bsicas de comportamiento tico y profesional de parte

del equipo evaluador:

(EJEMPLO) Anonimato y confidencialidad.- La evaluacin debe respetar el derecho de las

personas a proporcionar informacin asegurando su anonimato y confidencialidad. Responsabilidad.- Cualquier desacuerdo o diferencia de opinin que pudiera

surgir entre los miembros del equipo o entre stos y los responsables de la intervencin, en relacin con las conclusiones y/o recomendaciones, debe ser mencionada en el informe. Cualquier afirmacin debe ser sostenida por el equipo o dejar constancia del desacuerdo sobre ella.

Integridad.- Los evaluadores tendrn la responsabilidad de poner de manifiesto cuestiones no mencionadas especficamente en los TdR, si ello fuera necesario para obtener un anlisis ms completo de la intervencin.

25VerEstndaresdeevaluacindelCAD



GUAPARAEVALUACIONES


Independencia.- El equipo evaluador deber garantizar su independencia de la intervencin evaluada, no estando vinculado con su gestin o con cualquier elemento que la compone.

Convalidacin de la informacin.- Corresponde al equipo evaluador garantizar la veracidad de la informacin recopilada para la elaboracin de los informes, y en ltima instancia ser responsable de la informacin presentada en el Informe de evaluacin.

Incidencias.- En el supuesto de la aparicin de problemas durante la realizacin del

trabajo de campo o en cualquier otra fase de la evaluacin, stos debern ser comunicados inmediatamente a la entidad ejecutora de la subvencin y sta, si lo considera necesario se lo comunicar a la AECID. De no ser as, la existencia de dichos problemas en ningn caso podr ser utilizada para justificar la no obtencin de los resultados establecidos por la entidad en los presentes TdR.

Derechos de autor y divulgacin.- Se aclara que todo derecho de autor recae

en la entidad contratante de la evaluacin. La divulgacin de la informacin recopilada y del Informe final es prerrogativa de la entidad ejecutora de la subvencin y contratante de la evaluacin. Sin embargo, la AECID se reserva el derecho de reproducir, distribuir o comunicar pblicamente el informe de evaluacin sin necesidad de acuerdo previo con dicha entidad, cuando as lo requiera el correcto desarrollo de procedimientos administrativos y lo har con previa autorizacin de la misma, cuando se requiera por otro tipo de motivos.

Rgimen sancionador.- En caso de retraso en la entrega de los informes o en el

supuesto en que la calidad de los informes entregados sea manifiestamente inferior a lo pactado, sern aplicables las penalizaciones y arbitrajes establecidos por la entidad contratante conforme al contrato privado establecido con el equipo evaluador.

11. PLAZOS PARA LA REALIZACIN DE LA EVALUACIN Se establece la fecha de inicio y finalizacin de la evaluacin, el calendario de

entrega de productos, entrega informe final, y las actividades de devolucin de resultados. Aunque esto puede variar ligeramente despus de negociarlo con el equipo que se contrate.

Se debe estimar y establecer el presupuesto para la evaluacin. 12. PRESENTACIN DE LA OFERTA TCNICA Y ECONMICA Y CRITERIOS DE VALORACIN Se establecen las caractersticas que debe tener la oferta tcnica del equipo

evaluador.



GUAPARAEVALUACIONES


Se deber solicitar tambin la presentacin de la propuesta econmica por parte del equipo evaluador.

Se deben incluir los criterios de valoracin de la calidad de la propuesta con un puntaje. Se recomienda que se consideren en tres bloques a valorar: la propuesta metodolgica, el perfil de los evaluadores y la oferta econmica.



GUAPARAEVALUACIONES


FICHA DE EVALUACIN DEL CAD

Ttulo Lugar Sector Subsector Tipodeevaluacin Coste()

Fechadelaintervencin Agenteejecutor

Colectivometa

Fechadelaevaluacin Agenteevaluador

Antecedentesyobjetivogeneraldelaintervencin Principiosyobjetivosdelaevaluacin Metodologayherramientas

Conclusionesyrecomendacionessegncriteriosdeevaluacindelaintervencin(seincluirnlosevaluados)

Eficacia Eficiencia Pertinencia Impacto Otroscriteriosutilizados

Conclusionesdecarcterespecfico Recomendacionesdecarcterespecfico Agentesquehanintervenido

guia y tdr evaluaciones de proyectos con fondos españoles marzo 2012

Documents