LN\J/\J ~ UNN131September 1982

Manual parael seguimiento y evaluacionde proyectos atgricolasy de desarrollo rural g

D.J. Casley y D.A. Lury

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Manual parael seguimiento y evaluacion

de proyectos agricolasy de desarrollo rural

D.J. Casley y D.A. Lury

Dependencia de Seguimiento y Evaluaci6n,Departamento de Agricultura y Desarrollo Rural

Banco Mundial.Septiembre de 1982

NOTA DEL TRADUCTOR

No existe aun una traducci6n aceptada universalmente de lapalabra inglesa "monitoring", cuando se refiere a la ejecuci6n deproyectos, al idioma castellano. Diversos traductores han utilizado lasvariantes "vigilancia", "acompaiiamiento", "observaci6n", y "seguimiento".La primera tiene una connotacion demasiado activa, casi policial, en tantoque la segunds, de amplia utilizacion en el idioma portugues, nos haparecido demasiado pasiva. El termino "observaci6n" es todavia mas pasivoy, peor ain, induce a error, porque se confunde con los metodos deobservacion de la realidad (ver, por ejemplo, las Partes 5 y 6, masadelante). Se! ha escogido, entonces, el t6rmino "seguimiento", a pesar deno ser totalmente satisfactorio, porque tiene en castellano una connotaci6nactiva, requiere de un sujeto que sigue, de un objeto que es seguido y, enmuchos casos, de una meta a alcanzar o un objetivo a lograr. Mas auln, elque sigue debet estar comparando permanentemente su ubicacion respecto de lacosa o persona seguida, y las velocidades relativas de uno y otro, ypronostica d6nde se encontraran estos en cada uno de los siguientesmomentos, tareas muy similares a las del "seguimiento" (monitoring) de unproyecto. El termino compuesto "control de seguimiento", utilizado ya enalgunas publicaciones del Banco, pareceria tecnicamente mejor, pero, enaras de la brevedad, se ha utilizado s6lo "seguimiento" en este texto.

En eLlgunos paises y grupos se usa directamente la trasliteracion"monitoria". Esta palabra no ha sido aceptada en castellano, pero podriabasarse un argumento al respecto en el hecho de que la palabra castellana"monitor" significa casi con perfecta coincidencia lo que "monitoring"quiere decir en ingles cuando se usa respecto a la ejecucion de proyectos.Sin embargo, se decidio rechazar la facil tentaci6n de intentar darlecurso, porque no se ha encontrado una manera satisfactoria de formar elverbo y el adjetivo correspondientes. "Monitar" suena extrano y ni"monitorear" ni "monitorizar" suenan a buen castellano. Tampoco parecebien hablar de una cosa o variable "monitada", "monitoreada" o"monitorizada". &C6mo se dice la "accion y efecto de" ejercer la tarea quela Real Academia le reconoce al "monitor"?

PREFACIO

La convicci6n de que es necesario seguir la ejecuci6n de losproyectos agr:icolas y de desarrollo rural, y luego evaluarlos, se haextendido rap:idamente en los ultimos anios. Una alta proporcion de dichosproyectos inc:Luye hoy componentes especificos para este prop6sito.

En muchos casos, dicha conviccion no ha estado acompaniada de lacapacidad de diseniar sistemas que permitan ejercer el seguimiento y llevara cabo la evalua,ci6n a costos razonables. La Unidad de Seguimiento yEvaluaci6n, en el Departamento de Agricultura y Desarrollo Rural del BancoMundial, ha llevado a cabo, durante los pasados tres anios, investigacionesanaliticas, seminarios regionales, y estudios de caso sobre experienciascon sistemas de seguimiento y evaluaci6n.

Este Manual, preparado en conjunto con las Pautas, establece enalgun detalle las cuestiones relativas a la ejecucion de sistemas deseguimiento y evaluaci6n y discute varios aspectos de la obtenci6n y elanalisis de datos. El trabajo preparatorio inicial fue el resultado de unesfuerzo conjunto del personal de la Unidad de Seguimiento y Evaluaci6n.Al preparar este Manual, los autores sintetizaron este trabajo y utilizaronsu propia pericia en estos campos.

Como se indica en la introducci6n, se espera que este Manual seaiitil a quienes tienen la responsabilidad de administrar sistemas deseguimiento y evaluaci6n, as! como a los encargados de la administracion deproyectos. El Manual no es un texto extenso. Mas bien, en 61 se elaboraaquellos conceptos que se estimaron esenciales para seguir y evaluarproyectos, y se provee un marco de referencia para dichos sistemas. Elprop6sito basico de los sistemas de seguimiento y evaluaci6n es proveer unaherramiento para la administraci6n de proyectos. Al discutir los aspectosrelativos a obtenci6n y analisis de datos, el Manual destaca metodossimples y pragmaticos, que son a veces olvid-ados en esta era de avanzadoscomputadores y abstrusos analisis econom6tricos.

Leif E. ChristoffersenDirector Adjunto

Departamento de Agricultura y Desarrollo Rural

INDICE

Pggina

Prefacio

PARTE 1: MARCO PARA EL SEGUIMIENTO Y LA EVALUACION DEPROYECTOS AGRICOLAS Y DE DESARROLLO RURAL 1

1.1 Introducci6n 11.2 Seguimiento y evaluacion: El marco basico 41.3 El seguimiento y la administracion del proyecto 61.4 La evaluaci6n: Examen de los resultados 71.5 El seguimiento y la evaluacion en el ciclo de

un proyecto 10

PARTE 2: SEjGUIMIENTO 16

2.,1 Administraci6n y seguimiento 162.2 Especificaci6n de objectivos y metas 182,.3 Seguimiento y contabilidad financiera 202.4 Seguimiento de la dotaci6n de personal 212..5 Seguimiento de la infraestructura y de los

sistemas de entrega 232.6 Funcion de la unidad de seguimiento 252,.7 Comentarios finales 26

PARTE 3: EVALUACION: PROBLEMAS CONCEPTUALES Y OBJECTIVOSBASICOS 27

3.1 Introducci6n 273.2 Un modelo experimental cientifico 293.3 Cuasi-experimentacion: El diseno de

grupos no-equivalentes 333.4 Cuasi-experimentacion: El diseno de

series cronologicas interrumpidas 353.5 Investigaci6n de relaciones mediante

estudios de casos 373.6 Conclusiones practicas 37

PARTE 4: LA SELECCION DE VARIABLES E INDICADORES 39

4.1 Los criterios para la selecci6n 39

Pagina

4.2 Respuestas medidas mediante escalas eindicadores sustitutos 43

4.3 Indicadores para el seguimiento 454.4 Indicadores para la evaluacion 51

4.5 Informacion clasificadora o basica 58

PARTE 5: FUENTES DE LOS DATOS PARA SEGUIMIENTO Y EVALUACION 60

5.1 Datos existentes y organismos que recopilan 60datos

5.2 Utilizacion de datos ajenos al proyecto ycompatibilidad con los mismos 63

5.3 Fuentes de datos especificos de cada proyecto 645.4 4Estudios de casos o encuestas muestrales? 675.5 Combinacion de varios m6todos de investigacion 70

PARTE 6: METODOS DE OBSERVACION DIRECTA 72

6.1 Observaci6n directa 726.2 Observacion rapida: Observacion e investigacion 756.3 El estudio de casos 79

PARTE 7: EL MUESTREO Y EL DISERO DE ENCUESTAS MUESTRALES PARAEL SEGUIMIENTO Y LA EVALUACION 87

7.1 La l6gica basica del muestreo 877.2 La eleccion de la unidad y la base del muestreo 88

7.3 Elecci6n del procedimiento de muestreo 90

7.4 Tamano de la muestra requerido y precisi6n dela encuesta 94

7.5 Componentes del error de la encuesta 100

7.6 Opciones uitiles para el diseno de muestras 102

7.7 Conclusiones 112

PARTE 8: OBTENCION DE DATOS MEDIANTE ENTREVISTAS Y MEDICIONES 113

8.1 Limitaciones de la entrevista y la medici6n 1138.2 Observacion y medici6n 1158.3 La entrevista: Los periodos de recuerdo y

de referencia 1188.4 El tipo de entrevista 1208.5 Diseno del cuestionario 124

Pagina

PARTE 9: ELABORACION Y ANALISIS DE DATOS 137

9.1 Introducci6n 1379.2 Preparacion de los datos 1389.3 Elaboracion de datos 1409.4 La escala adecuada del analisis 1419.5 Presentacion y representaci6n de los datos 1439.6 Descripcion y medicion de la desigualdad 1519.7 Cuadros 2 x 2 1549.8 Normalizacion 1599.9 Advertencias sobre los analisis de correlaci6n

y regresion 161

PARTE 10: PRESENTACION DE LOS DATOS 167

10.1 Conversion de los datos en informacion 16710.2 Presentacion de la informacion 16810.3 Presentacion de infornes 171

Lista de Figuras

I . Ciclo de los proyectos: Datos necesarios yfuentes de informaci6n 12

2 . Estimacion de la labor realizada por losagentes de extensi6n 22

3 . Lista de comprobaci6n de la informaci6n relativaa las practicas de explotaci6n agrlcola 123

4 . Ejemplo de un formulario sobre la composici6nde la familia 128

5 Cultivos presentes por parcela 1296 . Ejemplo de cuestionario sobre la familia 1307 . Ejemplo de un formulario precodificado 1328 . Ejemplo de un cuestionario estructurado o formal 1359 . Meta y rendimiento por area 14710 . Grafico de rendimiento acumulado 15011 . Curva de Lorenz 152

Lista de Cuadros

1 . Variaciones aleatorias en torno a una tendencia 82 . Nuamero de explotaciones agricolas por tamano de

explotaci6n 1053 . Rendimientos y producci6n bruta de maiz y mani

correspondientes a los periodos de cosechasde 1971 143

4 . Rendimientos y producci6n bruta de maiz y manicorrespondientes a los periodos de cosechasde 1972 144

5 . Maiz: Rendimientos medios por acre y producci6nbruta, 1971-72 145

6 . Maiz y mani: Cambios porcentuales en el rendi-miento medio por acre y en la produccionbruta, 1971-72 146

7 . Meta y rendimiento por area 1488 . Distribuci6n del tamano de las explotaciones 1519 . Adopci6n de la practica por los agricultores del

proyecto y los de fuera del proyecto 15510 . Diferencias relativas al rendimiento por areas

debidas a diferencias estructurales 16011 . Calculo de las tasas normalizadas 16112 . Valores de b1 , b2 cuando b 1=2, b2 =1 16413 . Efecto del error de medicion al azar en la

correlaci6n entre una raz6n (Y/Z) y sucomponente com'un (Z) en que los dos estanrelacionados linealmente 165

14 . Ingresos por beneficiario 17315 . Nu.mero de fincas segfin el nu'mero de parcelas

de terreno 17416 . Distribuci6n porcentual de la parcela por zonas 174

PARTE 1

MARCO PARA EL SEGUIMIENTO Y LA EVALUACION DEPROYECTOS AGRICOLAS Y DE DESARROLLO RURAL

1.1 Introducci6n

El presente Manual se ha preparado juntamente con las "Pautaspara el disenio de sistemas de seguimiento y evaluacion de proyectosagropecuarios y de desarrollo rural". En las Pautas se presentan a grandesrasgos materias importantes para el establecimiento y la operaci6n dedichos sistemas. En el presente Manual se examinan mas a fondo estasmaterias y se exponen recomendaciones para abordarlas.

El Manual esta orientado, en primer lugar, a los que trabajan enproyectos especificos, cuya tarea consiste en operar los sistemas deseguimiento y/o evaluacion, y, en segundo lugar, a los encargados deadministrar e:L proyecto, con el objeto de que puedan determinar mejor losresultados que cabe esperar de sus operaciones de seguimiento y evaluacion.

Al establecerse esta finalidad, se plantea inmediatamente unalimitaci6n. Aun cuando la estructura correcta del grupo administrador delproyecto y su relaci6n con el personal encargado del seguimiento yevaluaci6n tienen gran importancia en la mayoria de los casos, los queutilizan el Manual se encontraran en una situacion en que estas estructurasy relaciones ya se han decidido. Quiz' sea posible introducir algunosreajustes conforme avance el proyecto, pero puede ser dificil modificar laestructura de la administraci6n o reorganizar en grado considerable dentrode esa estructura el personal de seguimiento y evaluacion.

Otro asunto de gran interes es el papel que corresponde a lossistemas de seguimiento y evaluaci6n en la evaluaci6n de la actuaci6n de lagerencia del proyecto. Tambien en este caso, es poco lo que puede ofrecerun Manual que se ocupe de la evaluacion en un contexto de proyectosespecificos. Dicha evaluaci6n se lleva a cabo en otro lugar, y lascomparaciones de un conjunto de proyectos o de evaluaciones de proyectoscon programas nacionales de desarrollo formaran parte de las actividadescentrales de evaluaci6n, que pueden incluir o no la evaluaci6n individualde los distintos proyectos.

Adeinas, las recomendaciones relativas a la recopilacion de datosbasicos anteriores a la ejecuci6n del proyecto deben ser orientadas mas alos encargos de la preparaci6n de proyectos que a aquellos que reci6nentran en contacto con el proyecto cuando comienza la etapa de ejecuci6n.Estos asuntos no deben pasarse por alto, puesto que conviene considerar lasactividades dentro de su marco general. No obstante, con frecuencia seabordan como si fueran advertencias. Los objetivos del personal de

- 2 -

seguimiento y evaluacion deben ser fijados de acuerdo con la estructura de

administraci6n y el lugar que ocupe dicho personal en esa estructura.Especialmente, los intentos de remediar la falta de datos basicos

anteriores al proyecto durante la etapa inicial de este no deberan absorbertal proporcion de los recursos de que se disponga que se descuiden lasnecesidades de informaci6n de la gerencia.

Debido a que esta orientado hacia una amplia gama de lectores, elManual contiene cierto material elemental (aunque de caracter

fundamental). Es posible que para el profesional experimentado algunas de

las secciones sean redundantes o repetitivas, pero se confia que el Manual

sera tanto una obra de consulta como de lectura.

Tal como indica su titulo, el Manual se ocupa de proyectosagricolas y rurales. Estos proyectos son de muy diversas, clases, perotienen caracteristicas comunes para las cuales se pueden formularprincipios generales de seguimiento y evaluacion. Estos principios son lossiguientes:

(a) La poblaci6n a la que se trata de beneficiar es la poblaci6nrural (o una parte de la misma) que habita una zonaespecifica de un pais.

(b) Los resultados se han de obtener generalmente induciendocambios en los sistemas de cultivo o en la reaccion de losagricultores ante las limitaciones percibidas, con el fin demitigarlas. (Pueden incluirse otros componentes dentro deeste enfoque principal, pero raras veces aislados del mismo).

(c) La mayoria de las personas a las que se trata de beneficiarsuelen ser pequenos agricultores de la zona (por definicion,en el caso de proyectos de desarrollo rural; relativamentehablando, esto se aplica tambien a muchos proyectos agricol-las), pero tambien se suele prever un cambio general a nivelcomunitario.

(d) Aun cuando posiblemente el paquete tecnico ofrecido se hayapuesto a prueba (tanto experimental como practicamente) enotras zonas, no siempre es posible predecir con exactitud lareaccion de los beneficiarios en un determinado caso antes deque se ejecute el proyecto.

(e) El efecto que se pretende obtener puede verse eclipsado en-elcorto plazo por fen6menos naturales y artificiales ajenos alcontrol de la gerencia del proyecto, que pueden producirefectos mas intensos que el propio proyecto.

- 3 -

Si ;se consideran los objetivos del proyecto como una secuencia,tal como se indica a continuacion, se puede establecer mas facilmente unadistincion entre las funciones de seguimiento y evaluaci6n.

(a) El objetivo inmediato es proporcionar insumos que sonnecesarios para lograr el desarrollo agricola o rural.Ejemplo: Los insumos pueden proporcionarse en forma deinstalaciones fisicas, como un sistema de riego o undispensario, recomendaciones que se espera que losbeneficiarios adopten o la prestaci6n de servicios comocr6dito, fertilizantes, agua potable, medicinas, etc.

(b) Se espera que los beneficiarios del proyecto usaran estosinsumos para generar productos.Ejemplo: En muchos proyectos los productos consisten enproducci6n agricola o ganadera, pero pueden ser tambien laadquisici8n de habilidades profesionales, una mayorasistencia a las escuelas, mejor utilizaci6n de los serviciosde higiene, etc.

(c) A su vez, estos productos producirfn efectos en la poblaci6nobjetivo.Ejemplo: Por lo comuin, el efecto sera un cambio en el nively la distribuci6n de los ingresos y gastos, pero tambiencabe esperar otros efectos en materia de salud y de ordensocial.

(d) Por 5ltimo, estos efectos tendran repercusiones en la vidasocial y econ6mica de la comunidad.Ejemplo: Como resultado del mejoramiento de los ingresos,es posible que se establezcan en la zona servicios queofrezcan mayores ingresos y oportunidades de empleo o, comoresultado del mejor nivel de salud y educaci6n, es posibleque mejore la calidad de vida.

Los efectos y las repercusiones mencionados llegan a confundirse;la diferencia entre ellos es principalmente de grado a lo largo de tresdimensiones: tiempo, magnitud y alcance. Los efectos se pondran demanifiesto antes, tienen que ver con los beneficiarios directos y guardanrelaci6n con aspectos especificos de la actividad rural. Las repercusionesse refieren al resultado final en su totalidad, teniendo en cuenta tantolos efectos directos e indirectos como la difusi6n e imitaci6n, queproducen cambios en el conjunto de la comunidad.

Los insumos y productos fisicos son mensurables, por lo menos enteoria. En cambio, los efectos y las repercusiones no solamente son

- 4 -

dificiles de medir, sino que pueden resultar dificiles de atribuir al

estimulo proveniente del proyecto. Al formular el proyecto, se habran

adoptado ciertos supuestos "razonables" en relacion con los efectos

probables y su relaci6n causal con el proyecto, pero es preciso reexaminar

constantemente dichos supuestos, teniendo presente lo que ocurra durante la

ejecuci6n del proyecto.

Es preciso disenar los sistemas de seguimiento y evaluacion de

manera que indiquen el logro de los objetivos del proyecto, expresados como

metas que han de alcanzarse en ciertos plazos. Si las metas son imprecisas

y han de alcanzarse en plazos indeterminados, no sera posible definir con

precisi6n el sistema de seguimiento. No obstante, es preciso mantenercierto equilibrio; la precision debe ser reflejo de lo que es factible.

Existe el riesgo de que una precisi6n excesiva de las metas y de los plazosde lugar a un esfuerzo excesivo de recopilacion de datos. Generalmente, un

esfuerzo tal no sera eficaz, en funci6n de su costo, para el proceso

decisorio.

Los costos de las actividades de seguimiento y evaluacion deben

guardar relaci6n con la posible mejora en la ejecuci6n del proyecto y conla mejora en la formulacion de proyectos complementarios o semejantes.

1.2 Seguimiento y evaluaci6n: El marco basico

Las funciones de seguimiento y evaluaci6n estan relacionadas,

pero son diferentes. Seguimiento es la entrega de informacion a lagerencia y el aprovechamiento de esa informacion para determinar el

progreso en la ejecuci6n y para tomar decisiones oportunas para asegurar

que se mantiene el progreso de acuerdo con los plazos previstos. El

seguimiento determina si se estan entregando los insumos del proyecto, si

estos se estan utilizando como se habia previsto, y si producen los efectos

iniciales programados. El seguimiento es una actividad interna delproyecto, una parte fundamental de una buena administraci'on y, por

consiguiente, parte integral de la labor cotidiana de la gerencia. La

evaluacion, por su parte, valora los efectos generales del proyecto, tantopretendidos como no pretendidos, y sus repercusiones. Establece

comparaciones para las cuales es preciso disponer de informacion externa al

proyecto en lo que se refiere al tiempo, el area o la poblaci6n. Las

funciones relativas que corresponden al seguimiento y a la evaluaci6n

varian segan sea el tipo de proyecto. La distribucion en una zona extensade un paquete tecnico con el que ya se han obtenido buenos resultados y que

tiene por objeto beneficiar a un determinado cultivo o actividad agricola

exige un seguimiento cuidadoso, pero posiblemente requerira menos atencion

a la evaluacion. Es posible que un proyecto innovador y en pequenia escalasea mas facil de seguir, pero su evaluacion sera a la vez dificil y

trascendental.

Las etapas iniciales para disenar un sistema de seguimiento yevaluaci6n son las siguientes:

(a) Examen de los objetivos del proyecto, a fin desistematizarlos siguiendo la secuencia indicada en laSecci6n 1.1.

(b) Identificacion de los usuarios de la informaci6n a serprovista por los sistemas de seguimiento y evaluacion. Enlo que respecta al primero, los usuarios seran losadministradores del proyecto. El tipo de informaci6n que secomunique se adecuara a las necesidades de cada nivel deadministracion. Los usuarios de la evaluaci6n van desde lagerencia del proyecto hasta los planificadores nacionales,pasando por la direccion general o ministeriocorrespondiente.

La evaluacion utilizara los datos obtenidos por medio del sistemade seguimiento para ayudar a explicar las tendencias que se observen en losefectos y a valorar las repercusiones del proyecto. Si los datos generadospor el sistema de seguimiento revelan una desviacion importante conrespecto a las expectativas, sera preciso realizar una evaluaci6n sobre lamarcha para examinar los supuestos y premisas en que se baso el diseniooriginal del proyecto. Dicho examen, como sucede tambien en el caso de laevaluacion retrospectiva, puede ser de gran valor para la administracionsectorial en su funcion de formulaci6n de politicas.

El seguimiento debe estar integrado en la organizaci6n jerarquicadel proyecto, pero la evaluacion, con sus perspectivas mas amplias queexigen informaci6n comparativa, no es necesariamente un elemento integralde dicha organizacion. Puede justificarse un mecanismo central deevaluacion cuando:

(a) La pericia tecnica necesaria para interpretar los datosrelativos a la evaluacion no existe, o resulta antiecon6micapara cada proyecto individual.

(b) Los datos que se necesitan se remontan a una fecha anterior ala iniciacion del proyecto y llegan hasta un periodo que vamas alla de su terminaci6n.

(c) Es necesario contar con datos provenientes tanto de dentrocomo de fuera de la poblacion afectada por el proyecto parallevar a cabo comparaciones.

- 6 -

Aun cuando se haya centralizado el diseino y el analisis, se

utilizaran los recursos para recopilaci6n de datos de que disponga elproyecto para obtener una gran parte de los datos que. se necesiten para la

evaluaci6n. Si la misma unidad recoge datos que se van a utilizar, a lavez, pra una ulterior evaluacion y pra el seguimiento rapido y oportuno, espreciso que este u'ltimo no sufra como consecuencia de las mayores

exigencias de la primera.

1.3 El seguimiento y la administraci6n del proyecto

Dentro del proyecto, la necesidad fundamental es la de seguir el

progreso logrado. Suponiendo que la evaluaci6n previa del proyectolhayasido realizada cuidadosamente, es decir, que hay un supuesto a priori bien

fundamentado de que ciertos estimulos e insumos produciran ciertosproductos, efectos y repercusiones, la funci6n que corresponde a la

gerencia en la fase inicial de ejecuci6n es la de crear las condiciones que

pongan en marcha esta sucesion de hechos.

En los primeros anios de la ejecucion del proyecto se pondra6nfasis en el seguimiento del progreso fisico y financiero y de la entrega

de los insumos a los que hayan de recibirlos. Los registros y

documentaci6n del proyecto, debidamente organizados, constituyen la fuenteprincipal para este aspecto del seguimiento. En esta etapa, la gerencia

debe tambien ocuparse del destino que se de a estos insumos y de la

reaccion de los beneficiarios.

Las tasas de aceptacion y, lo que es mas importante, las tasas de

aceptaci6n repetida, ofrecen a la gerencia una idea clara de si el proyecto

esta dando o no los resultados esperados. Es importante obtenerinformaci6n sobre las actitudes y opiniones de los beneficiarios, a,fin de

explicar toda divergencia entre el comportamiento real observado y el

previsto al formular el proyecto. Un comportamiento imprevisto puededeterminar el exito o el fracaso del proyecto.

El seguimiento de la ejecuci6n del proyecto no requierenecesariamente sistemas complicados de datos. Una acumulaci6n subjetiva de

impresiones por parte del personal del proyecto puede constituir un sistema

de seguimiento. Si se aplican normas de administraci6n basadas en el

sentido comun, el sistema de seguimiento puede limitarse a un minimo de

parametros que hayan de registrarse peri6dicamente. Se trata de que la

recopilacion de datos sea lo mas objetiva posible y, sobre todo, de que se

cuente con los medios necesarios para cotejar, resumir y presentar la

informacion a los responsables de tomar las decisiones. La necesidad de

que el personal del proyecto registre el progreso logrado juntamente con

sus impresiones subjetivas sigue existiendo, aun cuando se cuente con una

unidad de seguimiento, ya que esos informes sn una fuente esencial para el

sistema.

- 7 -

Una vez que la gerencia se ha cerciorado de que el sistema deentrega de los insumos esta funcionando, debera prestar atencion a losproductos originados por el proyecto, es decir, hacerse la pregunta: ,seestan obteniendo los resultados previstos? No obstante, el concentrarse enmedir el producto no debe ser a costa del seguimiento del sistema deentrega de los insumos. La medici6n de los productos es mas bien unafuncion de evaluacion, ya que determinar las tendencias no es una tareafacil en vista de las influencias ex6genas que existen, y muchas veces nopuede llevarse a cabo sin contar con series cronol6gicas que se extiendanpor muchos anios. No obstante, la gerencia necesita estimaciones de laproduccion, y en este Manual se examinan mas adelante los medios paraobtenerlas.

La clave de un mecanismo satisfactorio de seguimiento es laentrega peri6dica y oportuna a la gerencia del proyecto de informacion quefacilite la adopci6n de decisiones. Esto puede lograrse contratando alpersonal necesario al comenzar la ejecucion del proyecto, considerando adicho personal como parte del grupo de la gerencia e indicandole el ordende prioridad de la informacion que necesita la gerencia.

1.4 La evaluaci6n: Examen de los resultados

La evaluacion tiene por objeto determinar si se estan alcanzandoo se alcanzaran los objetivos del proyecto en lo que respecta a losproductos, efectos y repercusiones previstos. Esto da lugar a una revisi6nde los resultados obtenidos y de las ensenanzas que se derivan paraproceder a introducir mejoras en una fase ulterior del proyecto o enproyectos analogos que se lleven a cabo en otros lugares.

El nivel de productos obtenidos es un indicador del resultado dela utilizacion que los beneficiarios hagan de los insumos del proyecto. Sison considerables, es posible que las variaciones de los productos sepongan de manifiesto ya durante la fase de ejecucion del proyecto. Enotros casos (por ejemplo en la salud, a consecuencia de la prestaci6n deservicios de higiene como insumo), es posible que los efectos no sean tanrapidos en aparecer. Y, en la mayoria de los casos, las repercusiones dedichos efectos en la calidad general de vida de la comunidad sera unproceso que se seguira desenvolviendo con lentitud. La creaci6n de unsistema de evaLuacion exigira la elaboraci6n de una serie de datos quecomience antes de la ejecuci6n del proyecto y continue mas alla del periodode ejecuci6n. A diferencia del sistema de seguimiento, que insiste en unaelaboracion rapDida, el sistema de evaluaci6n requiere un periodo masprolongado antes de que puedan deducirse incluso conclusiones tentativas.

No siempre se comprende el grado en que incluso una variabilidadmoderada puede afectar a la situaci6n general. En el ejemplo siguiente

- 8 -

puede apreciarse la forma en que funciona la variabilidad; se simulan tres

conjuntos de resultados, sometiendo una tendencia lineal a una variaci6naleatoria. La tendencia va de 1.000 a 2.000 durante cinco anos; la

variabilidad que se utiliza en las simulaciones es normal (en el sentidoestadistico) con una desviaci6n tipica del 15 por ciento de los valores de

la tendencia. Las tres series fueron las primeras que se obtuvieron; no setrato de obtener variaciones extremas.

Cuadro 1: Variaciones aleatorias en torno a una tendencia

Anio Tendencia Simulaciones

1 2 3

0 1000 950 632 1163

1 1200 1170 1284 14232 1400 1213 1522 13163 1600 1596 1714 1748

4 1800 1942 1945 14985 2000 1658 2192 1668

Las tres simulaciones tienen una probabilidad similar y todasellas dan por supuesto que la tendencia subyacente tiene de hecho lugarcomo base sobre la que se impone la variacion aleatoria. Supongamos, encambio, que tres zonas hayan tenido las cifras de tendencia como metas

anuales, y que se produjeron como resultados las series antes indicadas.&Se las consideraria igualmente satisfactorias? Por lo tanto, esimportante que, antes de deducir cnclusiones apresuradas sobre los

resultados relativos, se considere la influencia de la variabilidadnatural.

La evaluacion debe ir mas alla de la cuantificacion de lasvariaciones que ocurren; debe determinar la forma en que el proyectocontribuye a dichas variaciones. Pero la zona de aplicacion del proyecto y

los beneficiarios estan tambi6n expuestos a influencias exogenas que el

proyecto no puede controlar; dichas influencias no se pueden predecir encuanto a su cronologia o magnitud. Por consiguiente, el establecer la

relaci6n de causalidad entre los insumos y los efectos y repercusiones del

proyecto plantea el problema mas dificil de la evaluacion. Estascuestiones se examinan en la Parte 3.

-9-

Ademas de analizar las series cronol6gicas, la evaluaci6ngeneralmente requerira estudios a fondo de la validez de ciertos supuestosimplicitos en la justificacion del proyecto. &Se comprenden bien losfactores socioecon6micos determinantes del comportamiento de losbeneficiarios del proyecto? LSe mantendra estable el mercado en que hayade colocarse la producci6n adicional cuando se incorpore al sistema elmayor suministro? Se beneficiaran los familiares de los beneficiarios conlos ingresos originados, o estos serfn absorbidos de manera que no lleguena las familias? Estas son interrogantes que la gerencia del proyecto,abrumada por las numerosas tareas de ejecuci6n, no tiene tiempo paraexaminar, a menos que uno o mfis de estos factores amenace el proceso deejecuci6n y, para entonces, posiblemente, sea demasiado tarde. Dichosestudios facilitaran el proceso de evaluaci6n sobre la marcha a que se hahecho menci6n anteriormente. Sera necesario que intervenga el grupodedicado al seguimiento. Esto sirve de ilustracion de la tesis, a la quese vuelve a hacer referencia mfis adelante en la Partes 2 y 3, de que en lapractica existe una relaci6n estrecha entre el seguimiento y la evaluaci6n,a pesar de tratarse de funciones diferentes.

4Hasta que punto deben normalizarse los datos recopilados dentrode un proyecto para permitir comparaciones entre proyectos o con seriesnacionales de datos? Si se trata de un solo proyecto que abarca unapequeiia superf'icie del pais y que es el 'unico de su tipo, la respuesta aesa pregunta puede ser "muy poco". Pero los proyectos de desarrolloagricola y rural, considerados individualmente, abarcan con frecuenciagrandes zonas geogrfficas, y colectivamente, una gran parte del pais. Losrecursos para seguimiento y evaluacion existentes en cada proyecto puedenconstituir, en conjunto, una parte muy importante del total de recursosestadisticos del pais. Hay, pues, poderosas razones para que estosrecursos contribuyan a las necesidades nacionales de informaci6n,estableciendo la normalizacion adecuada de los disenos de las encuestas,del contenido de los datos y del tratamiento analitico. Muchas de lasnecesidades dei datos relativos a los productos y a los aspectossocioecon6micos son semejantes en distintos proyectos, y son tambiensimilares a las necesidades a nivel nacional. Esta normalizacion no debedistraer la atenci6n de las necesidades de la administraci6n del proyecto;en realidad, puede ayudar a la gerencia del proyecto a determinar susnecesidades con una vision mas amplia.

Ademfis, es posible que las pericias obtenidas en la recopilaci6ny analisis de datos, si se limitan al proyecto, se desperdicien, una vezque se haya te!rminado el proyecto. Esto no redundaria en beneficio de lasituacion general de las estadisticas en el pais. Es preciso identificar yaprovechar las posibilidades de apoyo mutuo entre los organismos nacionalesque recopilan datos y las unidades del proyecto dedicadas al seguimiento yevaluaci6n, erL beneficio de ambos.

- 10 -

1.5 El seguimiento y la evaluaci6n en el ciclo de un proyecto

En la terminologia del Banco Mundial, el ciclo de un proyectotiene las siguientes etapas:

1. Identificaci6n2. Preparaci6n3. Evaluaci6n previa4. Negociacion y Presentacion a la Junta Directiva5. Ejecuci6n y Supervisi6n6. Evaluacion Retrospectiva

En la Figura 1 se presentan estas etapas y se establecen sus principalesnecesidades de datos y las fuentes posibles en que pueden obtenerse estos.Por supuesto, la sumariedad de la figura no permite presentar muchos de los

aspectos que surgen a lo largo del proyecto, pero si ofrecen un panoramageneral.

Las cuatro primeras etapas preceden a las actividades delproyecto sobre el terreno, pero se presentan aqui para indicar lainformaci6n basica del proyecto. Esta informaci6n sera tambi6n atil paralos que trabajan en proyectos en ejecuci6n que, a menudo, participan en la

preparaci6n de propuestas para fases ulteriores de actividades delproyecto, ya sea mediante la continuaci6n de estos o mediante su repetici6nen otros lugares. Esta informacion indica tambien que algunas de las

actividades de seguimiento y evaluaci6n en las etapas-5 y 6 solamentepueden dar los resultados previstos si se planean debidamente en las tresprimeras etapas.

En general, el seguimiento tiene lugar en la etapa 5 y laevaluaci6n en etapa 6. Pero, como ya se ha indicado y se vuelve a trataren las Partes 2 y 3, en la practica no hay una separaci6n tan precisa entrelas dos funciones como la senalada en la Figura 1.

La decisi6n fundamental a tomarse en las etapas anteriores a laejecuci6n es si se debe o no llevar a cabo una encuesta en gran escala para

obtener datos basicos. La decisi6n que se tome afecta a la totalidad de laevaluaci6n que se efectue durante los anos futuros. Se justifica una

encuesta con una muestra probabilistica si se intenta obtener la mismainformacion en otras etapas del ciclo del proyecto, incluido el periodoposterior al desembolso completo de los fondos del proyecto. En laevaluaci6n se hara hincapie en una comparaci6n longitudinal de estasmuestras probabilisticas. Por muy conveniente que sea realizar y analizar

dicha encuesta en una etapa apropiada anterior a la ejecuci6n, para ellohay que contar con una organizacion capaz de llevarla a cabo. Por logeneral, no suele ser aconsejable contratar esa encuesta con un instituto

- 11 -

universitario que anicamente tenga experiencia y los necesarios medios enla esfera de pequefios estudios en profundidad. Si no existe unaorganizaci6n adecuada, la alternativa es depender del sistema deseguimiento para obtener indicadores longitudinales mas sencillos, perocontinuos, complementados por encuestas muestrales en peque?ia escala, deselecci6n posiblemente dirigida, para poner de manifiesto las variacionesrelativas entre los grupos (incluyendo, por lo menos, un grupocuasitestigo). Para esto puede resultar conveniente que participeninstituciones locales.

En la etapa de preparacion del proyecto son necesarios algunosdatos sobre las caracteristicas demograficas y socioecon6micas de lapoblacion, independientemente de si se realiza o no una encuesta paraobtener datos basicos. Para este fin, puede muy bien servir una encuestabasada en entrevistas rapidas que utilice una muestra dirigida o porcuotas, que posiblemente incluya un cuestionario a nivel de la comunidad.En esa etapa solamente se requieren niveles aproximados. En consecuencia,el problema del periodo que recuerdan los entrevistados y la simplificaci6nexcesiva de las preguntas, que es inevitable en una entrevista breve, noson necesariamente limitantes. El costo de una encuesta de esa naturalezaes moderado en relaci6n con los demas costos de la preparaci6n y evaluaciEonprevia del proyecto, pero raras veces se lleva a cabo debido a la falta demedios de que dispone el pais para realizar encuestas.

En esta etapa podria tambien ser de gran valor una investigacionsocioecon6mica, efectuada por uno o dos profesionales competentes, quedeterminen las actitudes y limitaciones de los probables beneficiarios. Enmuchos proyectos se dan por sentadas ciertas reacciones de losbeneficiarios que luego no se producen debido a no haberse analizadosuficientemente este asunto.

Una vez que se llega a la etapa de ejecuci6n y supervisi6n, elsistema de seguimiento debe mantenerse dentro de sus objetivos. No-corresponde a este sistema llevar a cabo, en partes mas avanzadas delciclo, encuestas que debian haberse realizado anteriormente.

En la etapa de evaluaci6n retrospectiva se dispondra de seriescronol6gicas de datos solamente si al comienzo se llev6 a cabo una encuestapara obtener datos basicos y se la repitio luego dos o tres veces. Estarepetici6n constituye una obligaci6n importante, y lo mejor es contratar denuevo a la misma entidad que llev6 a cabo la encuesta original. De estemodo, no solamente se mantiene la continuidad, sino que se evita dedicar elsistema interno de seguimiento a actividades de es magnitud.

Cada proyecto--con la posible excepcion de los que repiten enforma identica uno anterior--tiene hasta cierto punto caracteristicassingulares. Por consiguiente, el establecer una tipologia y un calendario

- 12 -

para las actividades de seguimiento y evaluacion puede resultar equivoco,

encubriendo las caracteristicas individuales de un proyecto, que requeriran

un sistema de informaci6n adaptado especificamente a sus circunstancias.

En la Parte 4 se trata con cierto detalle la selecci6n de

indicadores, y en.las Partes 5, 6 y 7 se examinan las fuentes de los

datos. Antes, las Partes 2 y 3 consideran nuevamente las caracteristicas

distintivas del seguimiento y la evaluaci6n.

FIGURA 1

Ciclo de los proyectos: Datos necesarios y fuentes de informaci6n

Etapa Datos necesarios Fuente

Identificaci6n Area o zona del proyecto, Archivos administrativos,

productos, beneficiarios censos, encuesta nacional

y medio ambiente. y local, estimaciones delMinisterio de Agricultura.