evaluation matters - african development bankidev.afdb.org/sites/default/files/documents/files/2015...

Deuxième trimestre 2015

L’EVALUATION D’IMPACT :Des experts en parlent

Richard Palmer-Jones

Laurence Lannes

Teresa Farinha Fernandes

Emmanuel Jimenez

Jean-Louis Arcand

Fabrizio Felloni

Jeremy D. Foltz

Richard Manning

Jyotsna Puri

Simona Somma

Kweku Opoku-Agyemang

Annette N. Brown

Cameron Breslin

Nompumelelo Mohohlwane

Peter Huisman

André Portela Souza

Alexandra Orsola-Vidal

Stephen Taylor

Rik Linssen

Dalila Figueiredo

Temina Madon

Ricardo Paes Mamede

Anne Oudes

Christian KingombeElsa de Morais Sarmento

Laura Camfield Maren Duvendack

Jacob Oduor

Daniela Cruz

Lycia Lima

eVALUAtion MattersBulletin d’information trimestriel sur l‘évaluation du développement

Évaluation indépendante du développementBanque africaine de développement

De l’expérience à la connaissance... De la connaissance à l’action... De l’action à l’impact

idev.afdb.org

est une publication trimestrielle d’IDEV, Groupe de la Banque africaine de développement. Sous différentes perspectives, la publication propose des avis d’experts sur l’évaluation et des questions de développement.

Rédactrice en chef : Felicia Avwontom ([email protected]) Publié sous la Direction de Rakesh Nangia, Evaluateur Général.

Cette édition a été préparée en collaboration avec Elsa De Morais Sarmento, Rédactrice invitée.

© 2015—Banque Africaine de développement (BAD) Groupe de la Banque Africaine de développement Immeuble du Centre de commerce international d’Abidjan (CCIA) Avenue Jean-Paul II01 BP 1387, Abidjan 01 Cote dIvoire Phone : +225 20 26 44 44 Fax : +225 20 21 31 00 Internet : www.afdb.org

Concéption : CRÉON et Felicia AvwontomLayout: CRÉON

10

23

15

Entretien : Emmanuel Jimenez, directeur général de 3ie

On enregistre actuellement beaucoup plus d’évaluations d’impact de programmes et projets de développement par rapport à il y a dix ans.

L’évaluation d’impact des programmes de développement : Défis et justificationLycia Lima, André Portela Souza, Dalila Figueiredo

Une EI peut aider les responsables de programme à prendre des décisions éclairées concernant l’élargissement, le remaniement ou l’interruption d’un programme.

Entretien : Richard Manning, Président du Comité d’aide au développement, OCDE

Les bons résultats provenant d’évaluations d’impact et d’examens systématiques sont en concurrence dans l’espace politique où il existe des pressions, dans tous les pays, afin que des décisions soient prises rapidement à des fins de publicité ou selon le cycle électoral, que ces décisions soient ou non fondées sur les faits.

… Les vies des personnes pauvres pourraient être améliorées si la communauté du développement apprenait plus systématiquement de ses efforts et notament, si des évaluations d’impact plus rigoureuses sur ce qui fonctionne en matière de développement étaient menées, leurs réultats largement diffusés et compris, et si les responsables des programmes se basaient sur ces preuves pour améliorer la politique et la pratiqueEmmanuel Jimmenez, p. 10

4

18

29

37

47

Mot de l’Evaluateur Général

L’évaluation d’impact est un complément aux méthodes existantes qui sont plus axés sur l’efficacité organisationnelle. C’est un outil supplémentaire qui permet à l’évaluation de se présenter comme véritablement indépendante dans l’évaluation de l’efficacité du développement

Entretien : Annette N. Brown, sous-directrice de 3ie et chef du Bureau de Washington

Les institutions qui cherchent à innover doivent commencer petit à petit et apprendre par la pratique et rester engagées.

L’évaluation d’impact à l’appui des projets de développementElsa de Morais Sarmento, Christian Kingombe

Comment améliorer l’utilisation des évaluations d’impact dans les programmes de développement ?

Le biais en matière d’évaluationLaura Camfield, Maren Duvendack and Richard Palmer-Jones

Les évaluations qualitatives et quantitatives sont vulnérables aux pressions politiques, sociales et économiques ; les chercheurs en évaluation déterminent ce qu’ils « voient », ce qu’il est possible pour eux de voir et ce qu’ils cherchent à étayer par les pratiques statistiques. A savoir le biais empirique, le biais de recherche, le biais méthodologique et le biais contextuel.

Randomisation sous les tropiques : à la recherche d’un mirage Jean-Louis Arcand

Pour ceux d’entre nous qui ont travaillé pendant plusieurs années sur le terrain, s’agissant de convaincre les décideurs dans les pays en développement d’évaluer véritablement l’efficacité de leurs programmes, les TCR n’ont guère porté leurs fruits.

eVALUatiOn Matters

Sommaire

Remerciements : IDEV remercie les rédacteurs, les réviseurs, les éditeurs et tous ceux qui ont collaboré à la réalisation de ce numéro.

53 Le choix de la complexité : Les systèmes d’évaluation d’impact prêts à l’emploi – Quelques expériencesJyotsna Puri

Les défis de la conduite d’évaluations d’impact comprennent la prise de conscience au sujet du pouvoir potentiel et de la pertinence des évaluations d’impact, l’insuffisance de données, très peu d’implication de la part des décideurs.

La mission du département de l’Evaluation indépendante du développement est de renforcer l’efficacité des interventions de la BAD dans ses pays membres régionaux par des évaluations indépendantes et influentes, ainsi que des activités d’évaluation des partenaires et du partage des connaissances.

Evaluateur Général : Rakesh Nangia, [email protected]

Chefs de division : Samer Hachem, [email protected] Rot-Munstermann, [email protected] Amira, [email protected]

Des questions?Appelez nous :Tél : +225 2026 2041 Web: http://idev.afdb.orgEcrivez nous : [email protected] [email protected]

Copyright: © 2015—African Development Bank (AfDB)

64 Une approche innovante à trois paliers pour l’institutionnalisation de l’évaluation d’impact dans les organisations multilatéralesCameron Breslin, Alexandra Orsola-Vidal, Temina Madon

En dépit du besoin et de la demande de preuves rigoureuses, l’évaluation d’impact n’est toujours pas pleinement institutionnalisée au sein des organisations multilatérales de développement. Cet article présente un programme conçu pour le renforcement des capacités et l’intégration des évaluations d’impact dans les institutions multilatérales.

73

79

L’évaluation d’impact dans les institutions de développement : l’exemple de la Banque africaine de développementJacob Oduor, Elsa de Morais Sarmento, Laurence Lannes

la Banque n’a commencé que récemment à mener une recherche sérieuse pour savoir ce qui marche effectivement et ce qui peut être attribué à ses propres interventions. Des réalisations mais aussi des défis à relever.

87

102

111

121

127

Les évaluations d’impact dans les projets de développement rural : Opportunités et défis. L’expérience naissante du Bureau indépendant d’évaluation du FIDA Fabrizio Felloni, Simona Somma

L’évaluation d’impact selon le Bureau indépendant de l’évaluation : hier, aujourd’hui et demain.

Etapes de l’évaluation de projets routiers (en milieu rural) finances par la BADChristian Kingombe

Sur la voie de la mise en œuvre réussie de l’évaluation d’impact d’une route (rurale) : Six étapes interconnectées pourraient constituer la base d’un guide d’utilisation pour la production d’évaluations quantitatives rigoureuses.

L’évaluation d’impact au service des innovations au plan des politiques d’éducation : l’alphabétisation des jeunes enfants en Afrique du SudNompumelelo Mohohlwane and Stephen Taylor

En l’absence de la preuve qu’il existe des politiques et programmes efficaces pour faire face au défi de la qualité de l’éducation, le recours à des évaluations d’impact prospectives est recommandé.

Évaluation de l’impact de la formation professionnelle au Portugal : une collaboration institutionnelle fructueuseRicardo Paes Mamede, Daniela Cruz and Teresa Farinha Fernandes

Une évaluation contrefactuelle de l’impact des cours de formation professionnelle sur les résultats scolaires et les résultats sur le marché du travail.

Les évaluations peuvent aider les décideurs à comprendre la corruptionJeremy D. Foltz, Kweku Opoku-Agyemang

Comment les évaluations d’impact peuvent nous aider à comprendre ce qu’est la petite corruption et dépasser la stigmatisation qui empêche d’aborder ce phénomène en profondeur.

Améliorer l’apprentissage en impliquant les parties prenantes dans les études d’impact d’OXFAMPeter Huisman, Rik Linssen, Anne Oudes

Un aperçu du Comité des Citoyens du Monde développé par Oxfam comme nouvelle approche de la mesure de l’impact. Oxfam a mis cette approche en œuvre dans six pays d’Asie et d’Afrique, et se prépare à l’étendre à huit autres.

les progrès sur la voie de l’ institutionnalisation de l’ évaluation se réaliseront à travers :les initiatives menées par les pays, une forte adhésion de la part des parties prenantes et le renforcement des capacités en évaluationBreslin et al., p. 71

4

eVALUatiOn Matters

Rakesh Nangia

Mot de l’Evaluateur GénéralLe rôle principal des évaluations d’impact indépendantes

Au cours des dernières décennies, les méthodes d’évaluation sont passées de la limitation à la prédominance d’approches expérimentales, à l’adoption d’une plus large gamme de modèles quantitatifs, au développement de différents modèles basés sur une approche participative, et à l’application d’approches qualitatives et interprétatives plus sophistiquées.C’est dans ce nouveau contexte que des gouvernements, des organismes donateurs et des banquesmultilatérales de développement (BMD) se sont ralliés au pladoyer en faveur de l’évaluation d’impact (EI). Celle-ci gagne du terrain dans la mesure où elle peut proposer des données précises et sans parti pris idéologique ou politique, donc aider à améliorer la qualité des données probantes utilisées dans l’élaboration de décisions portant sur les politiques et programmes.

Dans le monde d’aujourd’hui, les reconstitutions basées sur les résultats sont en train de devenir une réalité : les contributions sont liées à des résultats tangibles qui, à leur tour, servent de support pour les efforts de réforme, ce qui fait toute la différence concernant l’amélioration de la performance en vue d’atteindre les objectifs fixés et notamment, l’accroissement de la productivité au niveau organisationnel interne et la réduction de la pauvreté comme impact final. Un bon accueil, un cercle vertueux.

À mon avis, le rôle principal des EI indépendantes est d’améliorer la pratique et apporter des enseignements. En matière d’apprentissage, l’accent est souvent mis sur les processus et l’exploration

Publication trimestrielle du département de l’Évaluation indépendante du Groupe de la Banque africaine de développement

5du lien de cause à effet. Les évaluations d’impact sont susceptibles de devenir plus pertinentes quant à l’amélioration les initiatives de développement avec le temps, au fur et à mesure qu’elles seront à la fois une base de connaissances mettant l’accent sur la causalité et une solide base de données probantes. Les EI peuvent également contribuer à la formulation de politiques et la mise au point de pratiques, en créant un stock de connaissances sur ce qui fonctionne, selon différents contextes d’intervention. Ce canal souligne l’inf luence que l’IE a tendance à jouer à des niveaux plus stratégiques, en recentrant les débats, réduisant l’incertitude et améliorant la compréhension des décideurs.

Mais là où la reddition de comptes aux bailleurs de fonds est de rigueur (responsabilité ascendante), c’est là aussi que l ’indépendance, la rigueur et l ’efficacité de l ’évaluation d’impact sont particulièrement appréciés. Les bailleurs de fonds préfèrent commander des EI susceptibles de générer des résultats alignés sur leurs objectifs primordiaux, tel que les résultats de santé ou la réduction de la pauvreté. Les évaluations d’impact sont utilisées pour justifier les décisions et les actions d’une organisation, en particulier dans le contexte des efforts de collecte de fonds, en donnant des preuves concrètes sur l’efficacité du développement, en particulier l’efficacité des interventions.

L’IE a aussi pour rôle d’influer sur la conception et l’exécution des projets. Etant donné que les EI sont conduites dans le but de montrer si une intervention particulière a eu les résultats escomptés, les intégrer aux initiatives des BMD est utile dans la mesure où des projets prometteurs avant leur mise en œuvre, peuvent ne pas parvenir à générer des impacts après leur achèvement. Dans une évaluation d’impact rigoureuse, déterminer si un projet a atteint les objectifs visés est un défi substantiel aussi bien technique que de crédibilité ; non seulement en termes de validité interne, mais aussi pour comprendre les limites de l’extrapolation de résultats (validité externe). Les évaluations d’impact

expérimentales répondent à ces exigences car elles fournissant des preuves solides et indépendantes sur les effets de l’intervention.

Les évaluations d’impact peuvent également apporter une contribution importante à la gestion axée sur les résultats de projets / programmes, enrichir les données objectives sur la façon d’améliorer les allocations budgétaires entre les différentes activités ou concernant la décision de continuer / interrompre / modifier / agrandir un projet.

Si l ’ éva luat ion d ’ i mpac t présente de nombreux avantages, elle soulève également de nombreux défis. N’étant pas un vaste outil, elle n’est pas adaptée à chaque projet ou initiative de développement. Elle complète les méthodes existantes plus axées sur l’efficacité organisationnelle et constituede fait un outil supplémentaire véritablement indépendant pour l’évaluation de l’efficacité du développement.

L’évaluation d’impact a également d’autres limitations. Par exemple, elle est capable de répondre à des questions très spécifiques, mais n’apporte pas de réponses à toutes sortes de questions ; ou encore, elle ne montre pas comment répartir au mieux les ressources entre les options ou le point à la meilleure alternative politique. Combiner des EI afin de quantifier des résultats, établir la causalité des méthodes qualitatives pour approfondir des questions du genre «pourquoi», cela n’est pas encore très répandu.

L’adoption des évaluations d’impact à une plus large échelle est conditionnée par des mesures incitatives comprenant des perspectives de croissance, l’apprentissage et la communication, des mécanismes d’efficacité, des indications sur l’inférence causale, les trajectoires de l’impact, et comment soutenir au mieux une politique fondée sur des faits. Nous devons travailler davantage sur les écarts dans l’apprentissage, la confiance, les mécanismes de communication et l’utilisation interne des connaissances acquises.

eVALUatiOn Matters

6 Ce numéro d’Evaluation matters aborde quelques-uns des sujets brûlants et donne un aperçu de la recherche de pointe dans le domaine. Il commence par une série d’entretiens avec d’éminents experts suivis

de discussions sur le contexte et la méthodologie, l’institutionnalisation de l’IE, et les évaluations d’impact dans trois domaines clés du développement : le développement rural, l’éducation et la corruption.

PROFIL DE L’AUTEUR

Rakesh Nangia est Évaluateur général à la Banque africaine de développement. Avant de rejoindre la BAD, il a passé 25 ans à la Banque mondiale, où il avait occupé plusieurs postes dont celui de Directeur de la stratégie et des opérations pour le Réseau du développement humain et Vice-président par intérim pour le World Bank Institute. Il a fait ses études à l’Indian Institute of Technology à Delhi et l’Université de Harvard. Il est diplômé en administration et Ingénieur.


7

PREUVES

LIENS

RECHERCHE

DONNÉES

Point de vue des experts - Initiative internationale pour l’évaluation d’impact (3ie)3ie finance des évaluations d’impact et des revues systématiques susceptibles de générer des éléments de preuve sur ce qui fonctionne dans les programmes de développement et pourquoi.

- Emmanuel Jimenez- Richard Manning- Annette Brown

eVALUatiOn Matters

10

Emmanuel JIMENEZ Directeur Général de 3ie

Quel est le rôle principal des évaluations d’impact indépendantes dans le développement international ?

En un mot, l’apprentissage. En 2006, le Centre pour le développement mondial (CGD) a publié la monographie When Will We Ever Learn ?, qui marque l’aboutissement de 18 mois de travail par une équipe internationale composée d’éminents experts. Il prétendait vigoureusement que esl vie des pauvres pourraient être améliorées si la communauté du développement apprenait plus systématiquement de ses efforts et notamment, si des évaluations d’impact plus rigoureuses et portant sur ce qui marche au plan du développement étaient menées, si les résultats de ces évaluations étaient plus largement diffusés et compris, et si les décideurs et responsables de programmes en utilisaient les constatations pour améliorer les politiques et les pratiques. Le fait que plus de 60 années de théorie et pratique du développement n’aient pas été suffisamment fondées sur de telles preuves était à son avis, préoccupant. Des arguments tels que ceux-là ont poussé la communauté internationale à financer plus d’évaluations d’impact et, partant, à la naissance de 3ie en tant qu’institution.

L’autre réponse à la question est l’indépendance. Je crois qu’il est moins important que les acteurs d’évaluations d’impact soient institutionnellement indépendants de ceux qui mettent les politiques en œuvre ou ceux qui les nancent. Il y a eu quelques excellentes évaluations d’impact commandées par les institutions internationales et nationales et menées au sein de ces dernières. Ce qui est plus important est que la recherche passe par un examen collégial et que les résultats sont largement disponibles.

Le paysage du développement évolue constamment. Dans quelle direction s’engagent les EI et quelles sont les grandes tendances qui se dégagent par rapport à ce qu’on observait il y a une décennie ?

Par rapport à ce qu’il y avait il y a dix ans, on enregistre maintenant beaucoup plus d’évaluations d’impact de programmes et projets de développement. Si l’on s’en tient au dépositaire des évaluations


11d’impact de 3ie (une banque de données de toutes les évaluations d’impact qui répondent à certaines normes de qualité), il y a maintenant plus de 2 670 évaluations d’impact. Près du tiers de ces évaluations a été conduit en Afrique. Dans le Groupe de la Banque mondiale, où je travaillais avant, le Groupe indépendant d’évaluation a constaté qu’entre 2000 et 2005 en moyenne, 16 évaluations ont été lancées par an et, entre 2005 et 2010, ce chiffre est passé à 57. Depuis lors, ce chiffre a probablement augmenté davantage. Cette tendance va à mon avis se maintenir. Il y a eu un moment où le principal indicateur des dépenses pour le développement, par les bailleurs de fonds ou par les États, était de savoir si les fonds alloués étaient effectivement dépensés. Cet indicateur est certes important, mais il ne répondait pas à la question de savoir si les fonds, une fois dépensés, donnaient réellement lieu à des réalisations au plan du développement, par exemple l’amélioration des conditions de vie des populations. Cela a changé. Les bailleurs de fonds et les contribuables demandent maintenant à voir les résultats.

Une autre tendance est que la qualité des évaluations d’impact continue de s’améliorer dans la mesure où cette activité est maintenant l’objet de recherche académique. Il y a maintenant des revues spécialisées (comme le Journal of Development Effectiveness) et des livraisons entières de revues traditionnelles qui présentent et résument les résultats des EI.

Une troisième tendance est que le nombre d’EI a augmenté, les lacunes en matière d’information dans certains thèmes clés commencent à émerger et je me m’attends à ce qu’elles soient examinées dans l’avenir. La plupart des EI jusqu’ici ont été conduites dans les secteurs de la santé, de l’éducation et de la protection sociale. Selon un document récent de 3ie (2015), la plupart des études publiées de 1981 à 2012 ont été menées dans les secteurs de la santé, de la nutrition, de la population, de l’éducation et de la protection sociale. Dans le premier appel à propositions de 3ie à travers son Open Window en 2009, deux tiers des propositions concernaient le développement de la petite enfance, l’éducation, la santé et le développement social, et environ un dixième concernait l’agriculture. Dans le dernier appel à fenêtre ouverte, la part de l’agriculture est passée à 25 %, mais il y a encore quelques EI dans les secteurs de la gouvernance, de l’environnement ou des infrastructures, qui devraient être conduites.

La quatrième tendance, étant donné que plus d’EI sont en voie d’achèvement, est la synthétisation croissante des résultats. Les preuves synthétisées fournissent un angle solide à partir de plus qu’un échantillon, contexte et période de temps, par comparaison à des recherches distinctes portant sur des interventions spécifiques. Ce travail englobe des examens systématiques, qui sont des enquêtes exhaustives qui suivent des principes et des procédures bien établis, de toutes les preuves sur un sujet sur une période de temps donnée (habituellement 20 ans) et des cartographies de lacunes d’information.

Le véritable défi qui se pose en matière d’institutionnalisation de l’EI est que celle-ci reste pertinente et soit utilisée de façon judicieuse par toutes les parties prenantes. Que reste-t-il à faire pour institutionnaliser intégralement les EI en Afrique ?

Du côté de la demande, il faut accroître la compréhension des EI et la façon dont elles peuvent être utilisées pour faire progresser les efforts des pays au plan du suivi des résultats et de l’apprentissage. Une impulsion venant du sommet peut fortement y contribuer. Des agences telles que le Département sud-africain du suivi et de l’évaluation de la performance, qui relève de la présidence, a pris un rôle de chef de file dans ce domaine. Chaque année, ce département organise un atelier de 3 jours pour que tous les fonctionnaires acquièrent des connaissances sur les EI faisant appel à plusieurs méthodes et les examens systématiques. Ces efforts peuvent habituellement aller au-delà des pouvoirs publics. Le projet multipays de renforcement de la capacité

eVALUatiOn Matters

12 à utiliser les constatations des évaluations (BCURE) a collaboré avec 3ie pour développer le Réseau africain des preuves pour le secteur public et la société civile. Promouvoir une plus grande utilisation des preuves et une plus large diffusion des résultats des évaluations pourrait stimuler la demande du public et encourager la transparence au plan de la gouvernance.

Du côté de l’offre, la capacité est répartie de façon inégale. Les rares chercheurs qualifiés en Afrique sont largement occupés et certains sont largement débordés. Il faut faire plus d’efforts pour renforcer cette capacité, ce qui constitue un programme difficile et à long terme pour les systèmes éducatifs. Mais il y a des exemples prometteurs à moyen terme, et ceux-ci englobent souvent une collaboration internationale soutenue. Au Ghana, un partenariat de plusieurs années entre l’Institut de recherché statistique, sociale et économique (ISEER) et l’initiative Innovations for Policy Action (IPA), qui a bénéficié d’un financement de 3ie, a réussi à mener au développement graduel des compétences du personnel local de sorte que les chercheurs d’ISEER peuvent maintenant demander de façon autonome des financements sous forme de don.

Les enseignements tirés des évaluations ne sont souvent pas pris en compte par les organismes d’exécution au moment de la conception ou de la mise en œuvre des programmes. Comment pouvons-nous mieux utiliser ces enseignements ?

Vous avez raison – cela est préoccupant. Par exemple, dans le cas du GIE, moins de la moitié des évaluations d’impact effectuées à la Banque mondiale était mentionné dans les rapports d’achèvement qui sont supposés renseigner sur l’efficacité des projets. La bonne nouvelle est que cela a été reconnu et que nous savons maintenant comment les leçons sont apprises.

Une façon d’y arriver est de faire en sorte que les évaluateurs interagissent avec les concepteurs et les exécuteurs de programmes tôt et souvent. Parfois, les évaluateurs, ne voulant pas compromettre l’indépendance ou la conception, ont une interaction limitée. 3ie a mis en place une phase de préparation qui encourage des interactions précoces et positives pour faire en sorte que les questions soient pertinentes et contextualisées et que les chercheurs profitent de cette phase pour prendre connaissance de la documentation et situer une évaluation au centre de l’ensemble des faits observés. Mais on admet généralement que les leçons peuvent véritablement améliorer la conception d’un programme en cours ou d’un programme à venir, le personnel chargé de ces programmes est habituellement disposé à interagir avec l’équipe d’évaluation.

Une autre façon est que les chercheurs qui visent à faire publier leurs travaux reçoivent des incitatifs pour entreprendre cette interaction. 3ie, par exemple, exige des bénéficiaires de ses dons qu’ils soumettent des plans d’influence des politiques au départ des études envisagées. Les travaux analytiques récents et l’expérience propre de 3ie renforcent la notion que l’utilisation ne dépend pas seulement de cet exercice sur papier – elle nécessite clairement une implication précoce, le renforcement de relations, une compréhension adéquate, ainsi que l’intérêt et la confiance. Par ailleurs, comme les faits observés seront toujours en concurrence avec d’autres facteurs importants dans la prise de décisions, 3ie est devenue plus proactive en amenant les chercheurs et les responsables de la mise en œuvre de programmes directement à la phase de préparation déjà mentionnée, et nous expérimentons avec la valeur

3ie, par exemple, exige des bénéficiaires de ses dons qu’ils soumettent des plans d’influence des politiques au départ des études envisagées. Les travaux analytiques récents et l’expérience propre de 3ie renforcent la notion que l’utilisation dépend de plus que cet exercice sur papier – elle nécessite clairement une implication précoce, le renforcement de relations, une compréhension adéquate, ainsi que l’intérêt et la confiance.


13ajoutée qu’apportent les ateliers de démarrage avant la finalisation de la proposition d’évaluation. Pendant ce temps, les chercheurs reçoivent des orientations et un appui directs, selon les besoins, au sujet de la façon de renforcer efficacement leur interaction avec les acteurs et les publics clés, notamment la façon de communiquer efficacement tout au long de la conduite de l’étude. Hormis ces plans, 3ie exige qu’au moins 10 % soient consacrés aux interactions et à l’influence tout au long du cycle de don, et elle suit cela dans le cadre du suivi de la conduite de l’étude.

Lorsque ces mesures sont prises, les résultats peuvent être spectaculaires. Ce qui est arrivé dans l’évaluation d’impact de l’éducation préscolaire en milieu rural au Mozambique est un bon exemple, dans la mesure où cette évaluation a constaté que les enfants ayant reçu une éducation préscolaire enregistraient des résultats nettement meilleurs au plan des réalisations cognitives et non cognitives et de l’inscription que les enfants qui n’avaient pas obtenu cette éducation. Les chercheurs ont présenté ces résultats clairement et avaient collaboré avec le gouvernement et les groupes de défense des droits au cours de la recherche. Le résultat a été le déploiement d’établissements d’enseignement préscolaire dans les zones rurales et l ’inclusion du développement de la petite enfance dans la stratégie nationale d’éducation du pays.

Quels conseils donneriez-vous aux institutions qui visent à innover et à sauter l’étape des EI ?

Les pouvoirs publics qui cherchent à innover ont besoin d’un mandat fort de la part des dirigeants qui souhaitent inculquer une culture de l’apprentissage. Les plus grandes autorités dans les pays comme le Mexique et l’Afrique du Sud utilisent des évaluations d’impact pour évaluer leurs programmes sociaux. Ces pays disposent maintenant d’unités d’évaluation qui sont bien intégrées dans les agences publiques.

Les pays peuvent également stimuler les EI en mettant les résultats et l ’information à la

disposition du public. Cela pour effet de stimuler l’intérêt pour le débat public et d’encourager diverses parties prenantes à s’impliquer. Les bailleurs de fonds voudront optimiser l’utilisation de leurs ressources, et les chercheurs seront stimulés par l’attention que commandent leurs travaux.

Cer ta ins résu ltats peuvent s’appl iquer particulièrement à des pays, mais les méthodes et les idées peuvent s’appliquer à plusieurs situations. Il est donc assez important d’obtenir des idées venant d’autres personnes, et d’autres pays. Lorsque le gouvernement philippin envisageait des transferts d’espèces assortis de conditions (TEC) pour la première fois, la Banque mondiale et d’autres ont facilité les contacts directement avec des innovateurs au Mexique, en Colombie et au Brésil pour apprendre de leurs expériences, dont la plupart ont été acquises à travers les évaluations d ’impact. Les Philippines ont maintenant intensifié leur programme de TEC pour qu’il couvre environ 4 millions de ménages pauvres et ont mis en place un programme permanent d’évaluation.

Finalement, il est important de s’adapter à évaluer l’impact de la nouvelle technologie et à utiliser la nouvelle technologie pour améliorer la recherche. Par exemple, la recherche approfondie sur les effets de la disponibilité des systèmes de paiement mobiles comme M-Pesa au Kenya a été largement consultée et citée et a probablement amélioré l’intérêt à l’égard de telles initiatives en vue de renforcer l’inclusion financière.

De quelle façon la communauté de développement peut-elle améliorer l’efficacité des évaluations d’impact ?

Les bailleurs de fonds peuvent être un modèle de référence et des catalyseurs pour les évaluations d’impact d’abord en les menant et les utilisant efficacement pour évaluer leur propre travail. Des organisations comme la Banque mondiale et le DFID, par exemple, ont fortement augmenté leur

eVALUatiOn Matters

14


Emmanuel (Manny) Jimenez est le directeur exécutif de 3ie. Il entre au service de 3ie après 30 ans au sein du Groupe de la Banque mondiale où il a mis à contribution son expertise technique et son leadership au plan stratégique à des postes de recherche et des opérations, notamment comme directeur des évaluations du secteur public au Groupe indépendant d’évaluation et de responsable du programme opérationnel de la Banque mondiale sur le développement humain en Asie. Il a publié plusieurs monographies et des articles scientifiques dans les domaines de l’éducation, de la protection sociale, du travail, du développement urbain, des finances publiques, de l’environnement et de la population. Il a également dirigé l’équipe de base qui a préparé le Rapport sur le développement dans le monde 2007: Le développement et la prochaine génération est le rédacteur de la revue The World Bank Research Observer.

Avant d’entrer au service de la Banque mondiale, le Dr Jimenez était professeur d’économie à l’université Western Ontario à London, au Canada. Il a obtenu un Ph.D. de Brown University. Il est membre du Global Agenda Council du Forum économique mondial sur la croissance démographique.

utilisation des évaluations d’impact et d’examens systématiques. De telles activités alimenteront également la demande provenant des bénéficiaires de l’aide pour rechercher des EI de qualité de sorte qu’elles puissent mesurer l’efficacité également.

La communauté du développement doit également s’assurer d’avoir le financement voulu pour les EI. Comme Ruth Levine et Bill Savedoff l’ont dit dans un article récent, les connaissances acquises à travers les EI sont un bien public. La propagation de programmes tels que les TEC a été alimentée par des EI crédibles et de qualité supérieure qui avaient été menées au Mexique et ailleurs. Des programmes et des pays individuels ne prendront pas en compte les avantages que d’autres enregistrent s’ils décidaient de financer des EI

en fonction uniquement de ce qu’ils pouvaient gagner. C’est pour cela que la Fondation Bill & Melinda Gates, le DfID et Hewlett ont fourni le financement de base pour le lancement de 3ie.Des organisations comme la BAD sont également membres de 3ie et nous espérons que d’autres bailleurs de fonds se joindront à nous.

Fi na lement , toute la com mu nauté de développement – les bailleurs de fonds, les ONG et plus particulièrement les pays eux-mêmes – doivent soutenir les activités de renforcement des capacités à mener des EI dans les pays en développement. Il s’agit là d’une entreprise difficile et qui nécessite de la patience. C’est pourquoi il est vital de commencer le plus tôt possible.

15

Richard ManningPrésident du Conseil des Commissaires


Je considère les évaluations d’impact indépendantes comme un élément essentiel de l’établissement d’une culture plus forte de la prise de décisions axées sur les faits observés, certainement au sein des institutions de financement, mais également, et ce qui est encore plus déterminant, au sein des administrations mêmes des pays en développement. Les EI indépendantes fournissent des enseignements et constituent également le socle des points de vue au sujet de l’impact et des résultats.


Il est évident que le nombre des EI a explosé au cours des dernières années. Les grandes questions sont celles de savoir comment et dans quelle mesure les méthodologies tirées des secteurs sociaux peuvent efficacement être déployées dans d’autres secteurs, le caractère généralisable des résultats et, de plus en plus, celles de savoir si les décideurs sont suffisamment influencés par la somme grandissante de preuves d’évaluation autour d’interventions efficaces et inefficaces.

Le véritable défi qui se pose en matière d’institutionnalisation de l’EI est que celle-ci reste pertinente et soit utilisée de façon judicieuse par toutes les parties prenantes. Que reste-t-il à faire pour institutionnaliser intégralement les EI en Afrique ?

Nous sommes loin d’avoir une bonne compréhension des EI et de savoir les utiliser, et pas seulement en Afrique. Le problème se pose au niveau mondial.

Nous devons admettre que les bons résultats provenant d’évaluations d’impact et d’examens systématiques sont en concurrence dans l’espace politique où il existe des pressions, dans


eVALUatiOn Matters

16 tous les pays, de prendre rapidement des décisions à des fins de publicité ou selon le cycle électoral, que ces décisions soient ou non fondées sur les faits observés. Plus ceux qui, au sein des administrations publiques, conseillent les décideurs et ceux qui sont à l’extérieur de ces administrations et qui peuvent les critiquer, peuvent se faire entendre, plus il y a des chances que les décisions se fondent sur les faits observés.

Pour y arriver, il y a la pression venant des collègues (par exemple des collègues dans la même région qui étudient les mêmes questions), l’établissement d’un consensus chez les faiseurs d’opinion et, plus important encore, la promotion d’une culture d’ouverture par les pouvoirs publics qui sont souvent, on peut dire, trop disposés à mettre de côté toute critique fondée sur la raison.

Les enseignements tirés des évaluations ne sont souvent pas pris en compte par les organismes d’exécution au moment de la conception ou de l’exécution des programmes. Comment pouvons-nous mieux utiliser ces enseignements ?

J’ai appris, lorsque j’étais en service au DfID et dans d’autres organismes auparavant, qu’il est très utile d’avoir l’organisme responsable de l’approbation de nouveaux engagements être également l’organisme qui examine les résultats des évaluations de l’agence. C’est également utile lorsque de nouvelles soumissions doivent dans tous les cas indiquer de quelle façon la théorie du changement pour chaque programme ou projet a été alimentée par les résultats des évaluations pertinentes, et je recommande que toutes les agences procèdent de cette façon.

Quels conseils donneriez-vous aux institutions qui cherchent à innover et à sauter l’étape des EI ?

Ne pas chercher à tout faire à la fois. Se concentrer sur certains secteurs essentiels de l’activité et s’assurer d’avoir accès à des preuves solides au sujet de ce qui

a marché ailleurs. Les examens systématiques, le cas échéant, devraient être lus et les enseignements qui en découlent devraient être évalués par ceux qui envisagent de lancer de nouvelles activités. Élaborer des plans pour évaluer l’impact d’une masse critique de nouvelles activités et s’assurer que celles-ci sont menées selon les normes adéquates par des gens qui n’ont aucun intérêt à tripatouiller les faits observés.

Et, en particulier, veiller à ce que l’évaluation d’impact soit perçue non comme quelque chose imposé par l’organisme de financement mais plutôt comme voulu par le pays concerné, lequel fournira sans doute une bonne partie de ses propres fonds dans l’activité et devrait souhaiter comprendre l’impact ou l’absence d’impact de l’activité sur les objectifs prévus. La nouvelle approche de 3ie Country Policy Window, qui consiste à renforcer les capacités et les systèmes nationaux en finançant des évaluations d’impact approuvées par les pays selon les normes internationales, pourrait changer la donne en Afrique. J’aimerais voir la BAD appuyer cette approche.

Comment la communauté du développement peut-elle renforcer l’efficacité des évaluations d’impact ?

Toujours de la rigueur, mais faire encore plus pour que les décideurs tiennent compte des enseignements tirés de ces évaluations. Pour presque chaque évaluation d’impact, il existe une communauté internationale de décideurs pour laquelle de bonnes preuves quant à ce qui marche et ce qui ne marche pas devraient représenter de la poussière d’or. J’aimerais voir beaucoup plus d’évaluations d’impact (et peut-être en particulier des examens systématiques) commandées conjointement par ces communautés et mises en vedette dans leurs manifestations internationales et régionales périodiques. Autrement, les évaluateurs peuvent se voir obligés d’user de leur inf luence.


17


Richard MANNING est un ancien haut fonctionnaire britannique et ancien président du comité d’aide au développement de l’OCDE. Il est actuellement le président du conseil de l’Institute of development studies (uk), vice-president de la fondation de la BBC world service et chercheur principal au centre for the study of african economies a l’université d’oxford.

Richard a travaillé au ministère du développement international du Royaume-Uni et des organismes qui l’ont préédé de 1965 à 2003. Il a été membre de la représentation permanente britannique à la communauté européenne et administrateur suppléant représentant le Royaume-Uni à la banque mondiale. Il a dirigé la division du développement de l’Asie du sud-est de l’agence de développement de l’outre-mer et a été directeur général de cette agence de 1996 à 2003. En tant que président du comité d’aide au développement, il a participé aux efforts qui ont mené à la déclaration de paris sur l’efficacité de l’aide de 2005.

Il a travaillé comme consultant indépendant pour diverses organisations, notamment le fonds mondial et GAVI, pour leurs cycles de reconstitution de ressources. En 2009, il a signé un rapport sur les objectifs de développement pour le millénaire pour le DfID et l’institut des études internationales du Danemark.

18

eVALUatiOn Matters

Annette N. Brown sous-directrice et chef du Bureau

de 3ie à Washington1

1 Les opinions exprimées sont celles d’Annette Brown et ne représentent pas nécessairement celles de 3ie, de ses membres ou de son conseil d’administration.


Je vais m’appuyer sur le terme « indépendantes » pour mettre en relief un avantage qui est souvent laissé de côté. C’est-à-dire, le rôle essentiel de faire financer les évaluations d’impact de façon indépendante, plutôt qu’à travers le budget de suivi et évaluation de projets individuels, sont qu’elles sont ainsi orientées vers la fourniture de réponses de grande valeur plutôt que regroupées autour de programmes très onéreux. Je faisais un exposé récemment sur les insuffisances de preuves liées aux programmes de renforcement de la paix, et un participant a fait remarquer que certains des nouveaux programmes plus intéressants sont en fait de petites interventions et sont donc peu susceptibles d’être évalués selon la méthode de l’évaluation d’impact. Le financement et la mise en œuvre de façon indépendante des évaluations d’impact peuvent donner l’occasion de tirer des enseignements de ces petites interventions, qui peuvent s’avérer hautement rentables. Même si le budget d’une évaluation d’impact est plus important que celui d’une évaluation d’un programme donné, beaucoup d’organismes d’exécution dans beaucoup de pays peuvent tirer parti de tels enseignements.


Je crois que les organismes d’exécution et les chercheurs vont utiliser les évaluations d’impact pour répondre à une gamme plus grande de questions. Par exemple, une plus grande proportion d’études se penche sur les variations de traitement utilisées pour tester des questions de conception de programmes


19plutôt que sur les questions plus traditionnelle des évaluations d’impact comme « le programme a-t-il porté ses fruits ». Je pense également que plus de chercheurs et d’évaluateurs fondent leurs évaluations d’impact sur la théorie, même si l’aptitude à le faire est toujours assujettie à la question de savoir si les responsables de la mise en œuvre utilisent la théorie dans la conception du programme.

Le véritable défi qui se pose en matière d’institutionnalisation de l’EI est que celle-ci soit utilisée de façon judicieuse par toutes les parties prenantes tout en étant pertinente. Que reste-t-il à faire pour institutionnaliser intégralement les EI en Afrique ?

Je pense que l’institutionnalisation complète des EI continue de poser problème au plan international. Une partie de la réponse à votre question se trouve dans la prochaine question. En d’autres termes, les EI doivent devenir une composante à part entière des décisions relatives au financement et à l’affectation de ressources et de la conception des programmes, pas seulement un moyen pour mesurer les résultats après les faits. Je crois que la recherche de résultats a profité aux EI et à la culture de la preuve à certains égards, mais les EI peuvent jouer un rôle beaucoup plus grand au niveau de l’apprentissage qu’à celui de la responsabilité. Les pouvoirs publics et d’autres organismes d’exécution doivent élaborer et adapter des politiques et des processus de sorte que les preuves soient requises en amont lorsque les programmes sont conçus, proposés, financés, dotés en personnel et mis en œuvre. Évidemment, le renforcement des capacités fait également partie de la réponse, à la fois du côté de l’utilisateur et de celui du producteur.

Les enseignements tirés des évaluations ne sont souvent pas pris en compte par les organismes d’exécution au moment de la conception ou de l’exécution des programmes. Comment pouvons-nous mieux utiliser ces enseignements ?

Nous devons trouver les moyens de rendre les enseignements tirées des évaluations d’impact

plus faciles à utiliser. En partie, ce qu’il faut c’est de rendre ces constatations plus accessibles, c’est-à-dire traduire les résultats des recherches en politiques faciles à comprendre. Certes nous encourageons fortement les chercheurs et les évaluateurs à prendre leurs responsabilités à cet égard, mais cette approche a des limites. Les chercheurs peuvent consciemment ou non être en situation de conflit d’intérêts par rapport aux résultats de leurs travaux. En plus, tous les bons évaluateurs ne sont pas de bons communicateurs. J’estime donc que nous devons, avec l’aide de tiers, compléter cette approche (par ailleurs très importante) en transformant les résultats pour en tirer des implications politiques.

Pour rendre les résultats des évaluations d’impact plus faciles à utiliser, un défi peut-être encore plus grand est d’augmenter ce que nous appelons la « validité externe » à partir d’études individuelles. La validité externe est la mesure dans laquelle nous pouvons appliquer les constatations d’une évaluation d’impact à d ’autres situations. La façon la plus facile d’augmenter la validité externe est d’incorporer dans les évaluations d’impact l’analyse qualitative et factuelle avec une évaluation soignée des processus. L’information détaillée au sujet de la façon dont un programme a été mis en œuvre et a enregistré (ou non) un impact aide d’autres utilisateurs à mieux analyser ce qui devrait ou non être appliqué à d’autres situations et à d’autres populations.

Il faut commencer petit à petit et apprendre par la pratique. Si un organisme ne dispose pas des ressources ou les capacités voulues pour entreprendre une évaluation à long terme d’un programme de grande envergure, elle devrait envisager une programmation plus ciblée à l’aide de techniques d’évaluation d’impact.

eVALUatiOn Matters

20 Les évaluations d’impact qui mettent à l’épreuve un élément de la théorie du développement international tendent également à avoir une validité externe plus grande. Le programme en particulier peut ne pas être pertinent pour les autres, mais les faits qui appuient (ou non) certaines théories aident d’autres concepteurs de programmes à identifier des théories de changement prometteuses. Une autre façon d’accroître la validité externe est de synthétiser soigneusement les faits probants provenant de plusieurs études à l’aide de méthodes d’examen systématique. Si la méta-analyse est possible, nous apprenons si les faits dans l ’ensemble soutiennent (ou non) une intervention. Les examens systématiques de grande qualité étudient également des résultats hétérogènes et nous permettent ainsi d’apprendre si oui ou non le contexte compte, ce qui montre la façon dont les résultats des évaluations peuvent être appliqués à d’autres situations.

Quels conseils donneriez-vous aux institutions qui cherchent à innover et à sauter l’étape des EI ?

Il faut commencer petit à petit et apprendre par la pratique. Si un organisme ne dispose pas des ressources ou les capacités voulues pour entreprendre une évaluation à long terme d’un programme de grande envergure, elle devrait envisager une programmation plus ciblée à l’aide de techniques d’évaluation d’impact. Une étude plus réduite qui produit des résultats utiles en peu de temps peut à la fois concourir à renforcer les capacités de conduite et de gestion d’évaluations d’impact et avoir un effet de démonstration pour aider à attirer des ressources pour plus d’évaluations. Il faut surtout continuer de s’impliquer. Il peut être facile de diligenter des études par des évaluateurs chevronnés et ensuite d’atteindre les résultats, mais les organismes apprennent plus au sujet des EI en s’impliquant étroitement dans les études commandées. Ces enseignements les aideront à utiliser les EI de la façon la plus judicieuse à l’avenir.

Comment la communauté du développement peut-elle renforcer l’efficacité des évaluations d’impact ?

En exigeant que des évaluations d’impact transparentes de qualité supérieure soient livrées assez tôt. On admet généralement que l’examen par des pairs est un élément essentiel pour la production de recherches de haute qualité, mais une étude menée récemment par des collègues et moi-même (Cameron et al. 2015) montre que le décalage entre la collecte de données finales et la publication de revues pour les évaluations d’impact sur le développement international dans le domaine des sciences sociales est de six ans. J’ai bien dit six ans. Cela veut-il dire que les décideurs ne voient pas les résultats de ces évaluations jusque-là ? Non. La plupart des chercheurs affirment qu’ils partagent les constatations avec les décideurs tout de suite. Mais si nous estimons que l’examen par des pairs est important pour la qualité des recherches, pourquoi nous attendrions-nous à ce que les décideurs utilisent des résultats non validés par les pairs ?

La solution consiste en partie à faire pression sur les revues scientifiques afin qu’elles accélèrent le processus de publication. Les revues sur la santé sont un bon exemple dont on peut tirer des leçons. La solution est également en partie de créer des incitatifs pour les chercheurs à rédiger et à publier leurs évaluations le plus tôt possible. Une façon de changer ces incitatifs est d’exiger que les données soient rendues publiques dans un court délai après la collecte des données finales.

D’autres indicateurs de la qualité sont la transparence et la solidité. La première étape en matière de transparence de la recherche est l’enregistrement, c’est-à-dire le processus par lequel les chercheurs et les évaluateurs enregistrent l’information concernant les hypothèses, les plans de collecte de données et les méthodes d’analyse dans un registre public avant de commencer leur travail. Les registres publics peuvent être des outils utiles pour faire en sorte que les organismes d’exécution et les évaluateurs aient les mêmes


21attentes et le même niveau de compréhension par rapport aux évaluations prévues. Le 3ie parraine un registre d’évaluations d’impact concernant les projets de développement international (RIDIE) qui accepte diverses méthodes d’évaluation. La solidité d’une étude menée à son terme peut être vérifiée à travers la réplication à l’interne, c’est-à-dire

lorsqu’un chercheur indépendant utilise les mêmes données pour examiner la même question d’évaluation à la fois en reproduisant les résultats initiaux et en menant une nouvelle analyse. Les organismes d’exécution devraient donner la priorité aux résultats des évaluations qui auront été validés de cette façon.


Dr. Annette N. Brown est sous-directrice de 3ie chargée des services d’évaluation d’impact. Elle est en outre chef du Bureau de Washington de l’organisation. Elle est également responsable des programmes d’évaluation concernant les programmes VIH/SIDA de 3ie. Elle a créé et continue de diriger les programmes de 3ie concernant la réplication et l’enregistrement des évaluations d’impact, et elle supervise actuellement le lancement de la nouvelle initiative Evidence for Peace avec Innovations for Poverty Action menée conjointement par 3ie et la Banque mondiale. Elle est également responsable de la planification et de la gestion de la stratégie d’avancement de 3ie, qui englobe la collecte de fonds, le recrutement de membres et l’intervention. Jusqu’en mai 2012, elle a été responsable en chef de l’évaluation à 3ie et a dirigé la gestion des dons et l’assurance qualité pour toutes recherches primaires financées par l’organisation.

Avant d’entrer au service de 3ie, Annette a occupé divers postes de direction supérieure au sein d’organismes de développement en charge de l’assistance technique et de la recherche dans plus de vingt pays partout dans le monde. Au début de sa carrière, elle a été chargée de cours d’économie à l’université Western Michigan University et occupé des postes dans le département des recherches de la Banque mondiale et de la Stockholm Institute for Transition Economics. Elle détient un Ph.D. en économie de l’Université du Michigan.

eVALUatiOn Matters

22

Contextualisations et méthodologies


23

L’évaluation d’impact des programmes de développement : Défis et justification1

1 Le présent article s’appuie sur les travaux antérieurs des auteurs disponibles sur Barros et Lima, 2012, et INCT et SAE, 2014.

Lycia Lima, André Portela Souza, Dalila Figueiredo

eVALUatiOn Matters

24 IntroductionDéclarée Année internationale de l’évaluation par EvalPartners, 2015 semble être le moment indiqué pour réfléchir sur la raison d’être et les défis de la conduite d’évaluations d’impact de programmes de développement.

Chaque programme de développement vise à générer un impact positif sur les vies des bénéficiaires. Un aspect en est que tous ces programmes ont en commun d’être toujours conçus avec pour but ultime d’améliorer la qualité de vie d’une population cible. Toutefois, en réalité, il n’y a pas d’assurance qu’un programme donné atteint ses buts.

Une importante question qui se pose après la mise en œuvre du programme est celle de savoir si la théorie du changement sous-jacente cadre avec la réalité. En d’autres termes, le programme de développement donné a-t-il l’impact escompté ? Les apports et les activités génèrent-ils réellement les produits et les réalisations attendus ?

Une évaluation d’impact rigoureuse permet de répondre à ces questions. L’évaluation d’impact est un type d’évaluation parmi d’autres. Son importance particulière tient au fait qu’elle est en mesure d’isoler l’impact de l’intervention. En d’autres termes, une évaluation d’impact peut attribuer des impacts à un programme et à ce seul programme. Pour ce faire, elle compare la situation des bénéficiaires après l’intervention par rapport à la situation contrefactuelle – ce qui serait arrivé à ces bénéficiaires s’ils n’avaient pas participé à l’intervention.

Bien que sous-tendue par plusieurs arguments, la réalisation d’une évaluation d’impact reste un exercice difficile. En premier lieu, c’est un outil essentiel d’aide à la décision qui permet de juger s’il faut remanier un programme, l’étendre, l’interrompre, ou concevoir des interventions similaires au profit d’autres communautés. Ensuite, c’est une activité qui prend beaucoup de temps et qui nécessite une bonne réflexion, de la planification et des ressources. Le présent article vise à examiner les raisons pour lesquelles les décideurs devraient mener une évaluation d’impact de leurs programmes et les principales difficultés qu’ils peuvent rencontrer.

Les motifs qui justifient l’évaluation d’impactIdentification de l’impactLa caractéristique la plus importante d’une évaluation d’impact est son aptitude à déterminer l’impact qui est uniquement attribuable au programme. Une évaluation qui compare la situation des bénéficiaires avant et après un programme donné peut saisir non seulement les impacts attribuables à ce programme spécifique, mais également d’autres impacts qui auraient été enregistrés même si le programme n’avait pas existé.

Dans le cadre d’une évaluation d’impact, l’impact est défini comme étant la différence entre la situation des bénéficiaires après le programme et la situation hypothétique dans laquelle ils seraient retrouvés s’ils n’avaient pas participé au programme. Ainsi, pour conduire une évaluation d’impact, il est nécessaire de choisir un groupe témoin pour représenter la situation contrefactuelle des bénéficiaires si le programme n’avait pas existé. En opposant le groupe des bénéficiaires au groupe témoin, il est possible d’identifier adéquatement les impacts du programme, en les isolant de ceux qui se manifestent indépendamment par rapport au programme.


25Il arrive donc souvent qu’une évaluation « avant et après naïve »2 mette au jour un impact, alors qu’une évaluation d’impact n’en trouve aucun. C’est là une information précieuse pour les décideurs qui peuvent l’utiliser pour remanier ou discontinuer le programme et réaffecter les ressources vers des projets plus productifs.

Validation de la théorie du changementUn des arguments qu’on oppose à l’affectation de ressources à l’évaluation d’un programme est que, si les bénéficiaires du programme participent volontairement, c’est donc qu’ils en tirent un avantage, autrement ils ne le feraient pas. Théoriquement, étant donné que nous pensons que les humains sont rationnels, les bénéficiaires ne consacreraient pas leur temps et leurs efforts à quelque chose qui ne leur rapporterait rien. Ce point de vue implique qu’un programme ou une politique doit avoir un impact positif. Si cela est le cas, pourquoi dépenser des ressources pour mener une évaluation d’impact ?

Lorsqu’il n’existe pas de conditions pour la participation à un programme, les bénéficiaires n’ont rien à perdre en participant, mais il est vrai qu’ils peuvent également ne rien y gagner. Même si la justification du programme, ses mécanismes de causalité et ses buts attendus à long terme sont bien définis et alimentent des attentes d’un impact positif sur les bénéficiaires, il n’est pas sûr que le programme donne les résultats escomptés. L’évaluation d’un programme ne consiste donc pas à contester la rationalité des humains. Il s’agit plutôt d’une façon de valider les théories qui ont appuyé la conception du programme et de confirmer si la perception des bénéficiaires cadre ou non avec la réalité.

Au-delà de la recherche pour déterminer l’existence ou l’absence d’un impact, une EI permet aux décideurs de comprendre l’impact, c’est-à-dire d’appréhender les dimensions sur lesquelles le programme a un

2 Une évaluation « avant et après naïve » calcule l’impact en prenant simplement la différence entre la situation des bénéficiaires avant et c’elle d’après le programme.

impact et les canaux de transmission de cet impact. Savoir cela est extrêmement important pour l’amélioration de la conception du programme, pour son adaptation potentielle à d’autres communautés et pour l’identification des pratiques modèles sur le front du développement.

Impact potentiel et impact réel : le rôle de la mise en œuvre Un autre argument contre l’affectation de ressources pour une EI est que les décideurs confondent souvent l’impact potentiel et l’impact réel. Prenons par exemple le cas d’un programme qui a été évalué au cours de sa phase pilote avec des impacts satisfaisants qui ont servi de preuves pour l’exécution à grande échelle de ce programme dans la même communauté. Comme l’évaluation avait déjà été menée dans la phase pilote, est-il nécessaire d’évaluer le programme élargi ?

Si le groupe de bénéficiaires à la phase pilote est suffisamment similaire à celui de l’intervention élargie, il y a des raisons de croire que les impacts seront les mêmes. Le succès du programme à la phase pilote signifie que celui-ci a un impact potentiel avéré. Toutefois, l’impact potentiel n’est pas l’impact réel. L’impact réel d’un programme dépend de son potentiel, évidemment, mais il est également inextricablement lié aux conditions de sa mise en œuvre. Un programme peut ne pas réaliser son impact potentiel plein à cause des imperfections dans le processus de mise en œuvre. Connaître l’impact potentiel d’un programme n’est donc pas une raison pour ne pas mener une évaluation. Une évaluation d’impact est encore nécessaire pour comprendre l’impact réel du programme sur les bénéficiaires et utile pour informer les décideurs au sujet de la nécessité d’améliorer le processus de mise en œuvre.

HétérogénéitéPrenons le cas d’un programme mis en œuvre et évalué avec des résultats satisfaisants au sein d’une communauté donnée. Le décideur peut-il élargir le même programme à d’autres communautés en formant l’hypothèse qu’il aura les mêmes impacts positifs ? Pas nécessairement.

eVALUatiOn Matters

26 L’hétérogénéité de la population donne lieu à des impacts différents. Les avantages peuvent varier selon la population cible et le contexte socioéconomique. Les retombées d’un programme donné dans une communauté plus nantie peuvent être différentes de celles observées dans un environnement moins privilégié et vice versa. Les préférences et les retombées varieront probablement selon les niveaux de revenus et le contexte culturel et ethnique. Ainsi, si le scénario des bénéficiaires change, une EI est nécessaire pour comprendre l’impact et mesurer son incidence sur une population donnée. Dans cette situation, une évaluation d’impact représente un important outil qui aide les décideurs à déterminer si la conception d’origine du programme devrait être ajustée en vue de maximiser ses impacts sur la nouvelle population cible.

Analyse des coûtsUne EI fournit des apports pour l’analyse des coûts d’un programme. Comme les ressources sont limitées, l’allocation adéquate et efficiente de celles-ci constitue un sujet de grande préoccupation pour les bailleurs de fonds. Même si la priorité des programmes de développement est de générer un impact positif sur les bénéficiaires, la simple existence d’un impact ne suffit pas. Si, dans une société donnée, des programmes différents visent des buts similaires, le choix d’un programme par rapport à un autre peut être déterminé par une analyse coûts/avantages qui montre quel programme a l’impact le plus important au coût le plus bas.

L’affectation de ressources à une intervention donnée dépend souvent d’une analyse de rentabilité, qui prend en compte tous les coûts associés au programme et les compare à tous les avantages - y compris ceux associés aux bénéficiaires et les externalités éventuelles générées pour la société. Pour obtenir une analyse coûts/avantages favorable, la valeur nette des avantages (ensemble des avantages moins les coûts) doit être positive.

Choisir la meilleure conception de programmeIl existe généralement plusieurs types d’interventions qui peuvent être conçues pour obtenir la même

réalisation. Prenons par exemple le cas d’un décideur qui recherche la meilleure formule pour un programme de réduction de la pauvreté au niveau national. Même s’il existe des preuves que chacun des modes de livraison a un impact sur des pays différents, comme il a déjà été mentionné, il y a des raisons de croire que ces impacts peuvent être différents selon les scénarios.

L’EI peut être utilisée pour mettre à l’épreuve des modes de livraison différents de façon expérimentale, en vue de permettre la prise d’une décision éclairée sur la meilleure conception d’une politique dans un contexte donné.

Les défisChoix du moment de l’évaluationUne des décisions les plus importantes et les plus difficiles concernant l’EI est le choix du moment où il convient d’en effectuer une, compte tenu des ressources budgétaires. Les objectifs et les résultats obtenus seront donc fonction du moment choisi. Une EI peut avoir lieu au cours de la mise en œuvre du programme ou à l’achèvement de celui-ci.

Une EI effectuée en cours de mise en œuvre du programme présente l’avantage de fournir aux responsables l’information sur la performance du programme, ce qui leur permet de régler des problèmes potentiels à cette étape ou de modifier la conception du programme pour mieux le recadrer en fonction des buts initiaux. Toutefois, il y a un compromis à faire en ce qui concerne la décision concernant le meilleur moment pour lancer l’évaluation. Plus l’évaluation a lieu tôt, plus il est aisé d’apporter des modifications, ce qui a pour effet d’améliorer les avantages et l’efficacité. En revanche, si l’évaluation a lieu trop tôt, étant donné que certains impacts ne se font sentir qu’après un certain temps, il est possible que les impacts soient sous-estimés ou ignorés.

Une EI ex post a lieu à l’achèvement du programme. Il s’agit là d’un outil de reddition de compte très important qui permet de montrer aux bailleurs de fonds le rendement d’un investissement particulier.


27L’EI ex post est également importante dans la mesure où elle est susceptible de saisir les impacts à assez long terme de l’intervention par rapport à une évaluation à mi-parcours. Finalement, elle contribue au développement dans la mesure où elle aide à établir les preuves des meilleures pratiques au plan du développement.

Coordination entre les responsables de programmes et les évaluateursUne EI nécessite une forte coordination entre les responsables de programmes et les évaluateurs. Un dialogue constant entre les deux est déterminant pour le succès d’une évaluation. La première étape consiste à instaurer une compréhension complète de chaque détail du programme par les évaluateurs, notamment les activités, les mécanismes de causalité attendus et les buts fixés. Habituellement, la seule fourniture aux évaluateurs de la documentation relative au programme ne suffit pas – il existe souvent des informations non consignées par écrit ou la documentation peut ne pas correspondre tout à fait à la réalité du programme. Une connaissance approfondie du programme par les évaluateurs est nécessaire pour l’élaboration des instruments appropriés. Si un évaluateur ne réussit pas à bien comprendre le programme, il peut ne pas réussir à créer les instruments qui lui permettent de saisir toutes les dimensions des réalisations attendues et l’EI peut arriver à la conclusion que le programme n’a pas d’impact, alors qu’il en a, mais à une dimension qui n’aura simplement pas été évaluée.

Idéalement, une EI examine tous les aspects d’un programme, mais cela n’est pas toujours possible. Une enquête idéale aurait autant de questions que possible, mais les questionnaires de grande envergure sont non seulement très onéreux et demandent beaucoup de temps, mais ne permettent pas de retenir facilement l’attention des répondants pendant une longue période. Il faut donc faire des choix quant à ce qu’il faut exclure et ce qu’il faut inclure. Ces choix détermineront la qualité de l’évaluation. Il est capital que ces choix soient établis de commun accord entre les évaluateurs et les responsables de programmes.

Scénario contrefactuelS’agissant du succès d ’une éva luation, l’identification de ce qui serait survenu dans la communauté si le projet n’avait pas été mis en œuvre ainsi que et les services ou les biens auxquels les bénéficiaires auraient eu accès au lieu de ceux que permet l’intervention, est un élément déterminant. Comme la situation hypothétique d’une zone non visée par une intervention n’existe pas, un groupe témoin doit être choisi pour représenter la situation contrefactuelle. Cela nécessite une bonne réflexion et constitue un des défis majeurs d’une évaluation, dans la mesure où un groupe témoin inapproprié peut causer l’invalidation des résultats de l’évaluation.

Taille de l’échantillonLes évaluateurs doivent également déterminer la taille de l’échantillon à étudier. La taille idéale dépend de l’intensité et de la variabilité de l’impact. Plus la variabilité est grande et plus l’intensité est faible, plus la taille de l’échantillon doit être grande pour détecter l’impact.

Le défi ici consiste à prévoir l’intensité de l’impact avant la mise en œuvre du programme. Autrement, la tendance est d’établir des échantillons excessivement grands, ce qui serait trop onéreux et inefficace, ou des échantillons extrêmement réduits, ce qui ne permettrait pas d’identifier l’impact.

ConclusionPlusieurs raisons plaident pour la conduite d’une EI d’un programme de développement. Cela est très important non seulement pour l’identification des impacts du programme, mais également pour l’évaluation et la compréhension de leurs dimensions. Une EI peut aider les responsables de programme à prendre des décisions éclairées concernant l’élargissement, le remaniement ou l’interruption d’un programme. L’EI permet également à la communauté internationale du développement de produire une base de connaissances sur les pratiques modèles en matière de développement. Il ne s’agit toutefois pas d’une tâche facile. La conduite d’une

eVALUatiOn Matters

28 évaluation d’impact coûte cher et comporte plusieurs défis de gestion et techniques.

BibliographiePaes de Barros, Ricardo et Lima, Lycia. 2012. Valiação de Impacto de Programas Sociais: Por

que, para que e quando fazer?, dans Avaliação Econômica de Projetos Sociais. Brazil: Itaú Social.

Institutos Nacionais de Ciência e Tecnologia et Secretaria de Assuntos Estratégicos. 2014. Avaliação de Impacto – Conceitos, Utilidades e Desafios.


André Portela de Souza est titulaire d’un Ph.D. en économie de l’université Cornell, un Master en économie de l’Université de São Paulo, et une licence en économie de l’Universidade Federal de Bahia, au Brésil. André enseigne actuellement l’économie au São Paulo Economics School – Fundação Getúlio Vargas, il est également coordinateur du Centre de macroéconomie appliquée et directeur du Centre pour l’apprentissage sur l’évaluation et les résultats pour le Brésil et l’Afrique lusophone. [email protected]

Lycia Lima, doctorante en administration publique au Fundação Getúlio Vargas, au Brésil, détient un Master en économie du développement du School of Oriental and African Studies de Londres, en Grande-Bretagne, et une licence en économie de l’Universidade Federal de Minas Gerais, au Brésil. Lycia a huit ans d’expérience en évaluation d’impact de programmes de développement dans les domaines de l’éducation, de la petite enfance, de la pauvreté, de la gouvernance et des réformes institutionnelles. Elle a travaillé à la Banque mondiale à Washington DC, aux Nations Unies à Genève, au Secrétariat des affaires stratégiques de la Présidence du Brésil et au sein du gouvernement de l’État de Minas Gerais State. Elle est actuellement chargée de recherche au Centre de macroéconomie appliquée – FGV et coordonnatrice du Centre pour l’apprentissage sur l’évaluation et les résultats pour le Brésil et l’Afrique lusophone. [email protected]

Dalila Figueiredo possède un master en économie de la Nova School of Business and Economics de Lisbonne, au Portugal, un master en économie du São Paulo School of Economics – Fundação Getúlio Vargas et une licence en économie de la Nova School of Business and Economics. Elle est coordonnatrice de projet au Centre pour l’apprentissage sur l’évaluation et les résultats pour le Brésil et l’Afrique lusophone. [email protected]


29

Elsa de Morais Sarmento, Christian Kingombe

L’évaluation d’impact à l’appui des projets de développement

eVALUatiOn Matters

30 La gestion axée sur les résultats (GAR) suscite beaucoup d’enthousiasme, car elle établit un lien solide entre les activités de développement et les résultats attendus (Legovini et al., 2015). Mais la nécessité de déterminer si oui ou non les résultats en matière de développement sont générés par des interventions particulières, si oui ou non ces interventions sont rentables et de quelle manière les résultats sont obtenus, ce sont là des questions d’actualité qui ont d’ailleurs pris de l’ampleur ces dernières années. C’est ainsi que l’évaluation d’impact (EI) se retrouve sous le feu des projecteurs.

Le présent article explore les différentes pistes d’amélioration de l’EI dans les programmes et projets de développement. Il aborde dans un premier temps quatre axes principaux d’amélioration (utilisation, quantité, qualité, pertinence et calendrier) avant de présenter, dans un deuxième temps, des aspects plus spécifiques (Groupe indépendant d’évaluation, 2012; Levine, 2006) tels que : la pertinence des partenariats et politiques d’évaluation destinés à favoriser et consolider le soutien EI, comment relier l’EI à la recherche et la politique, les méthodologies et les changements de paradigme, les innovations en matière de technologies et de données, et le rôle d’une société civile forte dans la création d’une demande croissante de connaissances en EI. Ces questions sont abordées dans la deuxième moitié de cet article.

Améliorer l’utilisation, la quantité, la qualité, la pertinence et le calendrier de l’EILa littérature identifie plusieurs domaines d’amélioration de l’utilisation, la quantité, la qualité, la pertinence et le calendrier des EI dans les programmes et projets de développement (Jones et al, 2009 ; Levine., 2006) :

• La Quantité se réfère à l’offre et la demande d’EI, où les ressources sont alignées sur la demande en connaissances et création d’une culture de l’apprentissage. Dans une grande mesure, les ressources et des budgets destinés à l’EI restent rares1, d’où la difficulté de donner la priorité à l’EI tout en restant stratégique. L’évolution de la demande pour des approches plus axées sur les résultats concernant l’aide et son évaluation a plusieurs conséquences graves, surtout en matière de financements. En soutien à la recherche et l’application des politiques, EI a quelque chose d’un bien public (Deaton, 1997). L’appel à des approches expérimentales pour l’évaluation montre encore une fois l’interaction complexe entre la politique nationale, le contexte social, les valeurs politiques et les engagements techniques.

• La Qualité renvoie à des méthodes et des techniques. Elle reflète également les chauds débats méthodologiques en cours sur la conception expérimentale, et en particulier sur les essais contrôlés randomisés (ECR). Ce domaine a évolué, mais il reste du chemin à parcourir, y compris le développement et le perfectionnement de méthodes et techniques de pointe (notamment avec de grands volumes de données et les smartphones qui permettent une collecte de données plus rapide et de meilleure qualité). Le rythme d’innovation méthodologique s’accélère grâce au développement et à l’expérimentation de nouveaux cadres d’évaluation qualitatifs et quantitatifs en cours. Il est

1 Il y a dix ans, lorsque le Bureau de l’économiste en chef de la Banque mondiale a créé l’Unité de développement de l’évaluation d’impact (DIME) en vue de générer des connaissances sur des politiques choisies, seulement 500 000 dollars EU par an ont été consacrés à la Banque comme “budget de recherches” pour augmenter le nombre de projetsavec composantes EI, renforcer les capacités des équipes de mener de telles évaluations et construire un processus d’apprentissage systématique basée sur les leçons apprises. Au cours des années suivantes, l’EI a réussi à couvrir environ 10 pour cent de tous les projets du GBM (Legovini et al., 2015). Les banques régionales de développement ont également entrepris un ensemble plus limité d’EI dans leurs départements de recherche et / ou d’évaluation.


31désormais plus largement reconnu qu’aucune approche conceptuelle ou méthodologique ne sied à tous les contextes, de même qu’il n’existe aucune solution universelle. Adopter les normes les plus élevées revient à accepter qu’il faut dépasser la traditionnelle analyse “avant” et “après”, pour développer et mettre en œuvre un portefeuille diversifié de modèles d’évaluation expérimentaux et quasi-expérimentaux qui traitent de l’attribution tout en étant aligné sur les meilleures pratiques internationalement acceptées, y compris l’utilisation de la triangulation (en utilisant plus d’une méthode de collecte avant de comparer les données). Les institutions de développement doivent continuer à poursuivre ces objectifs et travailler dans le sens de la diversification de leurs approches méthodologiques et les produits de la connaissance relatifs à l’EI, notamment à travers des opérations pilotes et de partenariats spécialisés.

• Utilisation et pertinence de l’EI. L’EI ne doit pas être menée suivant les données et méthodes, mais plutôt en fonction de sa finalité et de ma meilleure façon de répondre aux questions y relatives. La pertinence doit être définie en même temps que la question de savoir comment les évaluateurs et les organisations de développement opportuniste se comportent au moment de sélectionner des à évaluer. Très peu d’EI sont menées dans les infrastructures, contrairement aux Technologies de l’information et de la communication (TIC) qui en font souvent l’objet, de même que les secteurs sociaux, la santé et l’éducation, dont la plupart font preuve d’une attitude positive pour les impacts. EI a encore de grandes possibilités dans développement du secteur privé. La plupart des banques multilatérales de développement (BMD) ne semblaient pas avoir réussi à intégrer pleinement la réforme des politiques, l’assistance technique et l’investissement privé. La plupart des EI

sont très récentes2 et les connaissances dans ce domaine sont seulement en voie d’être rassemblées. En outre, la «tension» entre l’évaluation d’une manière générale et l’élaboration des politiques doit également être dissipée. L’écart entre les besoins des politiques publiques et la capacité de l’évaluation à les combler ne semble pas se réduire. Les faits pour alimenter les politiques l’emportent encore sur les politiques basées sur des faits, vu que les données probantes, indépendamment de leur origine, ne sont pas absorbées par la politique de manière linéaire. Plusieurs tentatives ont été faites ces dernières années pour combler ce fossé, mais encore plus d’efforts ont été faits pour répondre aux questions «pourquoi des EI?» et «pour qui ?»

• Le Timing peut également être amélioré si l ’on veille à ce que cela se produise lorsque des décisions sont prises3. Il faut attribuer un temps et lieu à l’EI dans le cycle politique. D’autres domaines spécifques à améliorer sont décrits ci-dessous.

Partenariats Les incitations structurelles des bailleurs de fonds et des partenaires d’exécution – où les agences d’exécution rendent compte aux bailleurs de fonds, qui rendent compte aux gouvernements, qui font pression sur les bailleurs pour obtenir la preuve que les programmes donnent de bons résultats - pourraient devenir systématiques et difficiles à éviter à court terme. Un certain nombre de mesures pourraient cependant être prises en vue de renforcer l’engagement institutionnel à l’égard de l’EI et établir une structure d’incitation appropriée. Continuer d’encourager la concentration de partenariats en matière d’EI sur les mêmes questions de développement international est un autre aspect à améliorer. L’identification de

2 Manai, Sarmento et Hussein (2014).3 Legovini et al. (2015) constatent les projets ayant une composante EI respectent plus les délais de livraison. Ils montrent comment on peut y apporter des corrections à mi-parcours basée sur des faits.

eVALUatiOn Matters

32 questions relatives à l’EI va au-delà des méthodes ; il est nécessaire que l’EI fasse partie d’un cadre de partenariat pour le développement d’un programme commun entre le pays assisté et agences de développement. Par exemple, les BMD peuvent collaborer avec leurs co-bailleurs de fonds, en particulier ceux qui couvrent de grands programmes complexes (d’échelle nationale), en se complétant mutuellement au niveau des ressources et d’expertise.

Les gouvernements doivent s’intéresser un peu plus aux mécanismes permettant d’obtenir des d’EI indépendantes de haut niveau dans leurs agences de développement. Les gouvernements partenaires prennent également des décisions sur la portée et le calendrier des engagements avec bailleurs externes en vue d’obtenir des financements supplémentaires. Leur rôle dans cette optique, est de toujours examiner le travail des agences et banques multilatérales de développement, et d’exiger une plus grande efficacité et rentabilité. En tant que les financiers des organisations multilatérales (les banques multilatérales de développement en particulier), et les bailleurs bilatéraux utilisent déjà leurs positions dans les conseils d’administration pour préconiser des améliorations en matière d’efficacité ; elles doivent cependant aller au-delà du traditionnel Suivi – Evaluation (S&E) dans les programmes et projets. Par exemple, il est encore temps de conscientiser les membres des conseils d’administration sur les apports que peut produire l’EI en matière de responsabilisation et d’efficacité. Les bailleurs bilatéraux peuvent encore exiger plus d’EI, des preuves supplémentaires que les données fournies par des EI (par exemple, Deaton, 1997) influent sur les politiques, et un mandat plus ambitieux pour les bureaux d’évaluation, reconnaissant ainsi que ces objectifs seront atteints au niveau le plus haut possible si les bureaux d’évaluation restent indépendants et dotés de ressources suffisantes.

Déclarations officielles en faveur de l’EILes agences d’exécution doivent définir une politique cohérente pour les EI et d’investir dans les ressources nécessaires le renforcement celles-ci.

Des efforts décentralisées pour le renforcement de l’EI sont utiles mais insuffisants pour servir de base organisationnelle prioritaire. Articuler une politique d’évaluation ou de S&E cohérente englobant l’EI contribue à améliorer les normes qualité des données, à relier les programmes et les projets avec les ressources appropriées, à fixer des priorités et poursuivre la description des zones plus spécifiques, d’organiser et communiquer les résultats. Pour veiller à l’institutionnalisation de ce type de politique, les organismes ont besoin de créer des unités ou des comités d’évaluation ayant des budgets indépendants, qui puissent aider à opérationnaliser les politiques d’évaluation (Oduor et al., 2015). Ces efforts pourraient nécessiter des investissements considérables, mais ils sont essentiels pour la construction d’opérations efficaces d’EI.

Les liens entre l’évaluation, la recherche et la politiqueL’évaluation d’impact implique un investissement interne relativement élevé. Le lien entre l ’évaluation et la recherche, la production de connaissances et leur diffusion, est un facteur clé pour la capitalisation et médiation en faveur des investissements nécessaires. Le niveau d’importance des recommandations de politique des évaluateurs est un sujet fondamental que les organismes de développement traitent différemment, selon qu’ils préfèrent une approche plutôt formative ou plutôt sommative pendant l’exercice de leurs mandats. En abordant certaines de ces questions, la plupart des agences de développement et les banques multilatérales de développement se déplacent sur le terrain des institutions du savoir4. La plupart ont défini un mandat et une justification clairs en faveur

4 Bien que certains n’aient pas explicitement inclus des IE dans leurs stratégies de gestion des connaissances (par exemple, la nouvelle stratégie de gestion des connaissances de la BAD qui sera approuvée en 2015, ou l’évaluation spéciale l’ADB intitulée “Knowledge Products and Services: Building a Stronger Knowledge Institution” (2012), la plupart des BMD reconnaissent qu’un paysage du développement évolutif requiert une solide de gestion du savoir et un impact de meilleure qualité en ce qui concerne les produits et services relatifs au savoir.


33de l’EI dans le cadre de la reconstitution axée sur les résultats, en équilibrant les besoins de l’apprentissage et ceux de la responsabilisation.

Les résultats d’évaluation actuels sont déjà apprêtés pour leur utilisation dans l’élaboration des futures EI, tandis que les anciens EI ont recours à des études sur le suivi ou l’évaluation ex-post menées antérieurement et ayant fourni des données de référence utilisables. Cette pratique est susceptible de se poursuivre et devenir plus sophistiquée au fur et à mesure que les mécanismes d’évaluation s’amélioreront et que les systèmes d’EI prendront de l’ampleur. Il pourrait cependant être difficile d’établir des mécanismes d’évaluation qui puissent à la fois tirer pleinement profit d’anciennes EI pour effectuer le suivi ou l’évaluation ex-post de futurs projets, et réussir à ancrer des rapports d’IE au suivi et à l’évaluation ex-post des politiques, assurant ainsi une boucle d’évaluation cohérente.

Les méthodes qui apportent des solutionsLes méthodes d’évaluation doivent être choisies sur la base de leur capacité à apporter des solutions. Des méthodes rigoureuses telles que les affectations aléatoires ont longtemps été considérées comme cruciales pour les EI, surtout parce que la randomisation exclut le biais dans la sélection, ce qui représente une menace forte pour la validité interne (Parker, 2010). Mais trouver des groupes de contrôle appropriés et en spécifier un contrefactuel solide constituent des défis pour les EI5. Souvent, la capacité de suivre et de comparer les impacts réels et prévus ne peut être entreprise que si les impacts initiaux prévus ont été quantifiés sur la

5 Certains de ces défis impliquent d’aborder des questions telles que : Comment les groupes de contrôle doivent-ils être définis ? La codification des interventions au niveau des projets de l’institution existe-elle ou doit-elle être créée ?

Sur quels autres critères observables les IE et les interventions en dehors des IE / projets pourraient-elles être jumelées ? Les données sur ces critères sont-ils disponibles, ou doivent-ils être rassemblés ? Comment effectuer la sélection des non observables ? Le même contrefactuel peut-il être appliqué toutes les questions étudiées ?

base des données solides et si les données peuvent par la suite être collectées à un stade ultérieur, en vue d’évaluer d’ultimes impacts. Des initiatives destinées à combler les données manquantes en s’engageant par exemple directement avec les parties prenantes ont souvent donné des résultats décevants, car il est souvent impossible de recueillir des données d’une quantité et une qualité suffisantes pour en permettre l’utilisation dans les EI, tel que prévu. Lorsque des données détaillées ne sont pas disponibles au départ, leur collecte et validation par les parties prenantes concernées demande énormément de temps et de ressources. Lorsque des limitations de l’analyse des données sous-jacentes ne sont pas clairement spécifiées, il est fort probable de soulever des doutes y compris sur la solidité et l’impartialité de la méthodologie. Les évaluateurs doivent également faire raisonnablement diligence pour identifier des arbitrages entre les méthodologies et les impératifs de rigueur scientifique liés à l’utilisation de TCR, concernant l’évaluation du développement, de même que les considérations de justice sociale évoquées dans les débats actuels sur l’éthique. Compte tenu du changement de paradigme et de fortes controverses qui alimentent la vague d’intérêt pour des EI rigoureuses, les évaluateurs sont finalement ceux qui peuvent apporter le meilleur jugement et centraliser les idées produites par ces débats, afin de faire des choix méthodologiques sensibles en pleine connaissance du potentiel et des limites des instruments et pratiques alternatifs.

L’innovation technologique et les progrès en matière de donnéesLa fiabilité et la disponibilité des données restent une préoccupation majeure dans les pays moins développés ; ceci est aggravé par un faible accès à l’internet, en particulier dans les zones rurales. Cependant, les récentes innovations technologiques ont rendu tout cela plus facile et moins coûteux. Une grande quantité de données est gratuite grâce à l’Internet (données en libre accès), aux logiciels de données (les logiciels libres par exemple), les logiciels de gestion de données pas chers, ainsi

eVALUatiOn Matters

34 que de nouvelles avancées dans le domaine tels que l’initiative « Big data ». Peu de domaines ont suscité plus d’investissements et d’innovations que les données et leur mobilité (Court, 2015). Non seulement parce que les données sont importantes, mais aussi parce qu’elles offrent un énorme potentiel pour l’impact (Reimsbach- Kounatze, 2015). De nouveaux types de données telles que les données (mobiles et SIG par exemple) sont également accessibles par satellite. Plus une organisation est avancée, plus elle recueille et enregistre des données. Ceci soulève d’importantes questions sur la gestion de données, questions auxquelles chaque organisme du savoir doit répondre. L’installation et la mise à jour de systèmes de Suivi et Evaluation est une entreprise sérieuse pour de nombreuses institutions. Des systèmes et des indicateurs de suivi sont souvent développés au cours des étapes de conception et de mise à jour, dans la phase de mise en œuvre ; ils peuvent devenir inappropriés, en particulier quand l’intervention finale se révèle être assez différente du projet initial. En outre, des outils et des dispositions de suivi pour les évaluations ex-post peuvent varier considérablement : lorsque les systèmes de suivi spécifiques et détaillées existent, ou s’il y a tout simplement un large cadre d’évaluation multi critères. La plupart de ces systèmes ont encore évolué à l’étape où l’évaluation de l’impact prévu est en effet possible.

Une Société civile plus forteUn problème fréquent dans les évaluations menés par le passé est qu’ils donnent des informations limitées sur les effets à moyen ou à long terme sur les projets / programmes et la variation nette des résultats. Cela peut être dû en grande partie à l’absence d’informations de base, de systèmes d’information et de gestion adéquats, et de collecte systématique de données durant le cycle du projet, ce qui empêche d’évaluer les résultats finaux pour les bénéficiaires. C’est pourquoi de nombreuses discussions sur l’efficacité des BMD au niveau des pays sont généralement limitées aux extrants et aux résultats intermédiaires, plutôt qu’à des impacts à plus long terme, en particulier dans les pays en développement où la rareté des données et de S&E

appropriés contrarie la prolifération des EI. La société civile, les ONG et les partenaires au développement ont considérablement contribué à faciliter la collecte de données d’EI en demandant des améliorations dans les systèmes statistiques, l’accès à des données des systèmes de S & E de meilleure qualité. Les sociétés civiles et démocratiques fortes peuvent exercer plus de pression sur les gouvernements et les bailleurs bilatéraux et multilatéraux pour un partage d’information en temps opportun sur l’utilisation des fonds publics et donc, pour mieux remplir leur mandat.

Remarques finalesL’EI doit être considérée comme activité principale des agences de développement dont le succès serait mesuré en fonction de leur impact sur le long terme (en plus du fait que les résultats directs peuvent ainsi être mieux contrôlés) et de l’apprentissage qui découle de leurs programmes et projets, avec le partage du savoir comme tremplin pour un développement durable.

Ce domaine a gagné en importance en incluant questions litigieuses aux débats actuels et en reconnaissant la nécessité d’une amélioration continue. Il n’y a ni solutions universelles, ni solutions rapides fixes (Banque asiatique de développement, 2011). L’apprentissage constant et une bonne planification nous aideront tous à améliorer nos EI.

BibliographieAcevedo, Gladys Lopez and Hong Tan, Editors

(2011). “Impact Evaluation of Small and Medium Enterprise Programs in Latin America and the Caribbean,” Washington, D.C., World Bank.

African Development Bank (forthcoming),“The Bank Group’s Knowledge Management Strategy, 2015-2020”, Côte d’Ivoire, Af DB.

Asian Development Bank (2011), “A Review of Recent Developments in Impact Evaluation”, The Philippines, ADB.


35Court, David (2015). “Getting Big Impact from Big Dat a”, McKinsey Quarterly, Ja nu a r y.

Deaton, Angus (1997). The Analysis of Household Surveys: a Microeconometric Approach to Development Policy, Washington, D.C., The World Bank.

Independent Evaluation (2012). “Knowledge Products and Services: Building a Stronger

Knowledge Institution, Special Evaluation Study”, Asian Development Bank, Philippines.

Independent Evaluation Group (2012). Wo rl d Bank Group Impact Evaluations: Relevance and Efectiveness, Washington, D.C., World Bank.

Jones, Nicola, Jones, H., Steer, L., and A. Datta, (2009). “Improving Impact Evaluation Production and Use”, Working Paper 300, March, Overseas Development Institute, London.

Legovini, Arianna, Di Maro, V., C. Piza (2015). “Impact Evaluation Helps Deliver Development Projects”, Policy Research Working Paper 7157, World Bank Group, January.

Levine, Ruth (2006). “Multilateral Development Banks: Promoting Efectiveness and Fighting Corruption, Testimony to the Senate Committee on Foreign Relations”, Center for Global Development, March 28.

Manai, Mohamed, Sarmento, E. M., and K. S. Hussein (2014). “Evaluation of SME Assistance in Africa: Insights, Challenges and the Way Forward ”, presented to the European Evaluation Society Conference, Dublin.

Oduor, J., Sarmento, E. M., L. Lannes (2015). “Impact Evaluation in Development Institutions: a Look at the Af DB”, Evaluation Matters, African Development Bank.

Parker, R. (2010). “Evaluation in Family Support Services”, AFRC Issues Paper 6, Melbourne, Australian Institute of Family Studies.

Reimsbach-Kounatze, C. (2015). “The Proliferation of ‘Big Data’ and Implications for Ofcial Statistics and Statistical Agencies: A Preliminary Analysis”, OECD Digital Economy Papers, No. 245, Paris, OECD.


Elsa de Morais Sarmento est spécialiste de l’économie appliquée et évaluatrice. Elle a été professeur d’économie et d’économétrie pendant plus d’une décennie à l’université d’Aveiro au Portugal, chercheur à la Nova School of Business and Economics (NOVAFRICA), au CEP (LSE/UK) et au Parlement européen, puis évaluatrice pour la Banque africaine de développement, la Banque mondiale, des agences des Nations Unies, l’Organisation des Etats des Caraibes orientales et la Commission européenne. Elle a également été conseillère politique auprès de la Chambre des communes du Royaume Uni, plusieurs gouvernements en Afrique et des institutions supranationales en Europe, et a occupé plusieurs postes de directeur au Bureau de recherches du ministère portugais de l Economie.

Christian Kingombe est Chargé des infrastructures et de l’intégration régionale en chef à la Division du NEPAD et de l’intégration régionale de la Banque africaine de développement. Il a été auparavant chargé en chef du commerce et de l’intégration régionale au sein de la Division du commerce de la BAD. Avant d’entrer au service de la BAD, il a été à partir de 2010 chercheur principal du Groupe de développement économique international à l’Institut pour le développement outre-mer (ODI. De juin 2011 à août 2012 il a été simultanément chargé de recherche invité à l’Institut des hautes études internationales et du développement (IHEID). Il est titulaire d’un doctorat en économie appliquée de l’Imperial College London & University of London en 2011. Il a également été professeur invité au Centre pour l’étude des économies africaines (CSAE) et au département d’économie de l’université d’Oxford, au Royaume-Uni.

eVALUatiOn Matters

36

37

Laura Camfield, Maren Duvendack and Richard Palmer-Jones, University of East Anglia

Le biais en matière d’évaluation


eVALUatiOn Matters

38 Entendu comme une distorsion systématique de résultats par rapport à ce qu’ils devraient être, le biais devient de plus en plus important maintenant que l’élaboration de politiques fondée sur des faits probants et la gestion axée sur les résultats sont d’actualité. Le gros des preuves d’efficacité utilisées par les décideurs vient des évaluations (Savedoff et al., 2006) mais beaucoup d’évaluations sont défaillantes (Pritchett 2002). La présente note examine la nature du biais en matière d’évaluation ainsi que ses causes possibles, et recommande des moyens de les atténuer.

La plupart des évaluations s’appuient sur des preuves quantitatives et qualitatives provenant de données d’observation à la fois formatives et sommatives. Les deux types de données sont vulnérables aux biais bien connus. Au cours des dernières années, des préoccupations ont été exprimées au sujet des tests comparatifs randomisés, en vogue, qui sont censés éliminer le biais (Duflo et al 2007). Toutefois, ces essais sont également vulnérables à beaucoup des biais abordés dans la présente note et ne valent que pour les types d’intervention pour lesquels ils sont pertinents (Deaton, 2010; Shaffer, 2011; Barret et Carter, 2010). Compte tenu du crédit élevé accordé généralement aux évaluations quantitatives, nous commençons en attirant l’attention sur la fragilité des méthodes statistiques, notamment celles qui sont utilisées pour atténuer le biais. Nous identifions ensuite bon nombre de biais qui peuvent entacher les évaluations sur la base de ces méthodes. Nous examinons la vulnérabilité aux biais des tests comparatifs randomisés et donnons un aperçu de la façon dont les biais surviennent et se perpétuent. Nous concluons avec certaines suggestions pour atténuer ces problèmes.

Le biais dans l’analyse statistique La plupart des évaluations sont présentées comme des tests d’hypothèses, notamment, qu’une intervention a eu un effet bénéfique mesurable. Dans la pratique statistique courante, une hypothèse nulle signifiera que l’intervention n’a pas eu d’effet, et une hypothèse autre signifiera que l’intervention a eu un effet suffisamment bénéfique qui l’emporte sur les coûts et les effets défavorables. Comme c’est bien connu, cela peut donner lieu à deux types d’erreurs, soit une erreur de type 1 lorsque l’hypothèse nulle est vraie mais est rejetée, et une erreur de type 2 lorsque l’autre hypothèse est vraie mais l’hypothèse nulle n’est pas rejetée (c’est-à-dire que l’hypothèse autre est rejetée). Le premier cas peut donner lieu à des erreurs par action – entreprendre des interventions qui ne seront probablement pas efficaces – et le second cas donne lieu à des erreurs par omission – défaut d’entreprendre des interventions qui sont en fait bénéfiques mais qui ont été rejetées. Par convention, la science a cherché à réduire les risques d’erreurs de type 1, alors que la science de l’élaboration des politiques (et les politiques) comporte un biais en faveur de l’action, qui introduit un biais en faveur de résultats positifs. Mais il est souvent plus important de trouver un résultat positif ou un effet intense (même s’il n’est pas particulièrement statistiquement significatif) que d’examiner adéquatement les limites et les incertitudes qui caractérisent le travail de recherche.

Comme l’ont fait savoir récemment plusieurs auteurs, la pratique statistique moderne donne lieu à des probabilités étonnamment élevées de faux positifs – rejet des hypothèses nulles en faveur des autres hypothèses (Wacholder et al, 2004; Ioannidis, 2005; Christley, 2010; Camfield et al., 2014). À l’aide de pratiques statistiques conventionnelles, une probabilité d’erreur de type de 0,05 avec une puissance de 80 %, environ 30 % des constatations d’un résultat statistiquement significatif seront faux (Colquhoun, 2014); la situation sera bien pire si la façon dont la recherche a été conçue a prévu une puissance plus faible ou comporte des biais, tels que les biais découlant du p-hacking, notamment les tests multiples, l’exploration de données et le polissage de modèles (avec des variables explicatives différentes,


39des sous-échantillons, des séries de données, des formes fonctionnelles et des méthodes d’estimation) et ainsi de suite (Maniadies et al., 2014; Camfield et al., 2014).

Les analyses statistiques jouent également des rôles déterminants en matière d’évaluation compte tenu de la présence de biais généralisés de sélection et de localisation. Il y a un biais de sélection parce que ceux qui participent/sont traités peuvent être différents qui ne participent pas/ne sont pas traités. Il y a biais de localisation parce que les interventions ont lieu à des endroits particuliers de sorte que les résultats ne peuvent pas être élargis à d’autres endroits (Pitt et al, 1993). Toutefois, les méthodes utilisées pour atténuer les biais de sélection et de localisation telles que les variables instrumentales, l’analyse des données de panel (estimation du panel et écart dans les différences), l ’appariement, la discontinuité de la régression, les expériences naturelles, etc. sont vulnérables aux limites courantes de l’analyse statistique (polissage de modèle, etc.) et à leurs propres problèmes. Ainsi, l ’EI est vulnérable aux difficultés qu’il y a à trouver les instruments qui conviennent ; le panel ne peut pas traiter des variables parasites variant selon le temps non observées (et les données de panel ayant les caractéristiques d’échantillonnage appropriées ainsi qu’une attrition sans biais faible, sont difficiles et onéreuses à produire ; les conceptions de la RD ne sont pas courantes et comportent rarement des discontinuités marquées ; l’appariement ne peut pas atténuer le biais caché compte tenu des caractéristiques non observées des échantillons corrélées à la fois à la sélection pour le traitement et aux effets des traitements, et ainsi de suite (Deaton, 2010).

L’économie politique des évaluationsC’est dans ce contexte que les tests comparatifs randomisés semblent s’apparenter à une balle magique. Toutefois, comme l’ont montré les auteurs déjà mentionnés, et à la suite des examens

critiques de l’enthousiasme avec lequel étaient considérée la recherche sur les interventions dans le secteur social à l’aide des tests randomisés (par exemple Torrance, 2013, pour l’utilisation des TCR dans le secteur de l’éducation), les TCR ne sont ni nouveaux ni à l’abri des biais qui entachent la science des politiques sociales, que nous abordons ci-dessous. Il est important de comprendre que le contexte dans lequel les évaluations sont menées est propice aux biais. Comme l’a fait remarquer Pritchett (2002) et comme la documentation sur la politique de l’évaluation donne à penser, ceux qui commandent des évaluations ont généralement quelque chose en tête, et le comportement des évaluateurs ref lète leurs intérêts, qui englobent la réalisation d’objectifs privés, la production de publications susceptibles d’améliorer leur profil de carrière, l ’obtention de fonds pour des évaluations futures, l’établissement d’une réputation de leader d’opinion, etc. Les évaluations sont produites de sorte que les organisations de financement et d’exécution puissent se présenter d’une certaine façon (ce que DiMaggio et Powell, 1983 appellent « isomorphisme organisationnel ») même si cela ne correspond pas à la réalité. Les conversations privées et confidentielles et les observations quotidiennes au cours ou à la suite des évaluations regorgent de preuves de pratiques d’évaluation compromises. Les évaluateurs concilient la dissonance cognitive qu’ils connaissent dans leur travail avec des conceptions de recherche et des données qui ne permettent pas le recours aux pratiques modèles, en laissant de côté les problèmes rencontrés et en produisant des évaluations convaincantes en dépit des compromissions qui vont avec. Ils élaborent des représentations de faits qui leur permettent de justifier leur comportement (« si je ne l’avais pas fait, quelqu’un d’autre l’aurait fait ; les problèmes ne sont pas si graves que ça ; les réalisations de l’organisation soumises à l’évaluation ne sont pas importantes, mais notre évaluation l’aidera à les améliorer »). Ce raisonnement explique les origines et la persistance des évaluations biaisées et appuie en même temps l’appel en faveur de l’évaluation.

eVALUatiOn Matters

40

Tableau 1 Quelques types de biais

Source : Auteur

Biais empirique Type de biais cognitif tel que la sensibilité aux formes, l’erreur d’attribution, l’auto-importance, l’effet de halo, biais de sélection, biais de localisation et biais statistique.

Subjectivité du chercheur Allégeance au chercheur ou à celui qui expérimente, biais conservateur, point de vue ou positionnement, biais de personne apparentée.

Biais méthodologique Biais de disponibilité, biais diplomatique, biais de courtoisie, biais d’exposition, biais provoqué par des médiations multiples et biais d’éloignement du site de la production de données.

Biais contextuel Biais d’amitié, biais en faveur du projet.

Le biais dans les évaluations quantitatives et qualitativesLes évaluations quantitatives et qualitatives (y compris les TCR) comportent plusieurs biais d’ordre cognitif et comportemental. Elles sont vulnérables aux pressions politiques, sociales et économiques, qui ressortent particulièrement dans les évaluations qualitatives qui sont généralement associées à l’apprentissage et visent à être explicatives et formatives (par exemple l’évaluation évolutive, Patton, 2010). Les chercheurs en évaluation ne travaillent pas sur une feuille vierge – ils ont (et seront perçus comme ayant) leurs positionnements qui déterminent ce qu’ils « voient », ce qui est possible pour eux de voir et ce qu’ils cherchent à étayer par les pratiques statistiques. Nous examinons ci-dessous les différentes formes de biais (Tableau 1), à savoir le biais empirique, le biais de recherche, le biais méthodologique et le biais contextuel.

Biais empiriques La façon dont les évaluateurs manipulent les données et l’information est déterminée par des biais cognitifs courants ou des tendances à penser d’une certaine façon qui peuvent amener les gens à faire constamment preuve de mauvais jugement. Un de ces biais courants est la tendance à voir un modèle là où il n’y en a pas, par exemple l’« illusion du joueur » (Tversky et Kahneman, 1971) qui pousse les gens à surinterpréter des effets réduits mais significatifs. Le biais de disponibilité cognitive pousse les gens à surestimer la probabilité de phénomènes associés à

des occurrences mémorables ou vivaces telles qu’un succès financier soudain. D’autres biais entachent l’aptitude à évaluer les relations causales, par exemple le biais d’attribution, qui pousse les gens à voir les causes dans les caractéristiques internes plutôt que dans des circonstances externes. La probabilité que les gens attribuent le changement à des phénomènes ou à des acteurs spécifiques plutôt qu’à des processus qui se manifestent lentement au fil du temps en est un exemple. Les biais d’auto-complaisance ou d’auto-importance peuvent pousser les gens à surestimer leur propre contribution au changement social par rapport par exemple aux processus politiques intérieurs, ce qui est vrai autant pour les organisations que pour les particuliers (Babcock et Loewenstein, 1997). Pour des raisons similaires, les réponses données par les personnes interrogées ne peuvent pas être traitées comme une vérité littérale dans la mesure où elles représentent des points de vue particuliers sur des phénomènes et des processus et sont déterminées davantage par la façon dont elles ont été obtenues.

Subjectivité du chercheurLes chercheurs peuvent avoir des biais d’allégeance en ce sens que leur attachement à une théorie particulière les amène à écarter (ou à ignorer) d’autres explications plausibles pour des phénomènes similaires (il s’agit du biais plus généralement appelé « biais de l’expérimentateur » (Rosenthal 1966). Savage (2005) a réanalysé des données qualitatives archivées tirées de l’étude de Goldthorpe et Lockwood


41sur les travailleurs des chaînes de montage d’automobiles à l’usine Vauxhall à Luton (1962-63). Ces auteurs ont testé l’hypothèse du travailleur nanti en prenant les travailleurs bien payés comme un cas critique pour déterminer si tout le monde accédait à la classe moyenne. Ils sont arrivés à la conclusion que ce n’était pas le cas, et Savage (2005:39) laisse entendre que cela s’explique par le fait que les auteurs avaient fait entrer leurs données dans une typologie particulière qui ne permettait pas d’autres interprétations. Les évaluateurs peuvent également avoir un biais conservateur qui se manifestent par la lenteur avec laquelle ils révisent leurs croyances parce qu’ils donnent plus de poids aux résultats passés par rapport à la nouvelle information.

Les chercheurs reconnaissent pour la plupart l’importance de ce qu’on appelle souvent point de vue, attitude (Harding 1987) ou positionnement, illustré par l’exemple tiré de Savage. La plupart des analyses qualitatives comportent des passages de confession légèrement maladroits (voir Thody, 2006:28) qui situent les chercheurs par rapport aux caractéristiques propres à leurs travaux au plan par exemple de la race ou de la classe sociale. Toutefois, leurs positionnements propres et ceux des répondants peuvent ne pas être entièrement pris en considération, ce qui a pour effet de négliger les biais dans les réponses données. Il y a également le biais de la personne apparentée, qui est la situation où le chercheur trouve des réponses provenant de personnes jugées apparentées, charismatiques et plus persuasives (effet de halo), ainsi que le biais de contact personnel (exposition). Comme ces biais sont innés, il est possible qu’ils ne soient pas identifiés même dans les arguments de la recherche.

Biais méthodologiqueUn problème majeur qui se pose dans la recherche sur l’évaluation est le biais de courtoisie, qui représente la situation où les répondants tendent à dire aux chercheurs ce qu’ils veulent (sont perçus comme voulant) entendre (ou ce que les chercheurs aimeraient qu’ils communiquent) (Bavinck, 2008, par rapport à l’Inde après le tsunami). Bakewell

(2007:230) montre comment « une évaluation menée par une ONG active dans le secteur de l’eau identifiera très probablement des problèmes liés à l’eau qu’il faut traiter. Les répondants comprendront rapidement où se situe l’intérêt de l’ONG et la conversation s’orientera vers les questions liées à l’eau… cela signifie que les données collectées refléteront une image particulière que les répondants veulent montrer dans ce contexte particulier ». Ce problème peut être aggravé par un biais diplomatique, soit la situation où, parce que le chercheur est poli ou timide, il hésite à fouiller en profondeur ou à mettre en cause les anomalies (Chambers, 1983 dans White et Phillips, 2012:24).

Il existe également des processus spécifiques à la recherche qualitative qui peuvent accroître la possibilité de biais, par exemple la médiation additionnelle des données créées par les interprètes, les transcripteurs et les traducteurs (Temple et al, 2006), la qualité variable de la prise de notes et la difficulté de saisir les connaissances personnifiées (c’est-à-dire les connaissances acquises par la présence à l’interview). Un autre problème qui se pose est qu’une bonne partie de l’analyse qualitative est essentiellement tertiaire plutôt que secondaire, c’est-à-dire qu’elle est menée par des personnes qui n’ont ni exécuté ni planifié le travail sur le terrain.

Biais contextuelLes pressions sociales et politiques sont mentionnées par Boaz et Ashby (2003:5), qui relèvent des « accusations de biais conscient et inconscient dans l’examen par les pairs de propositions de recherche, les examinateurs favorisant amis, protégés et ceux qui leur sont intellectuellement proches, tout en émettant des opinions défavorables sur les travaux de rivaux ou de ceux dont ils ne sont pas intellectuellement proches ». Ce biais se manifeste dans le fonctionnement de comités de pilotage et de groupes consultatifs au cours du processus de recherche, ce qui « peut tenir moins à la qualité de la méthodologie qu’à la volonté de cadrer le projet avec les exigences du promoteur » (ibid.). Ce biais peut tenir en partie aux rapports qui se

eVALUatiOn Matters

42 développent entre les évaluateurs et le personnel affecté au projet, que White et Phillips (2012) désignent par biais d’amitié (ou, plus cyniquement, biais de renouvellement de contrat), ce qui affecte ensuite leur indépendance. Cela peut également arriver à un niveau subconscient si le personnel du projet devient le » groupe in » de l’évaluateur dans la mesure qu’il existe un biais cognitif connu qui amène à voir des influences positives de la part de personnes appartenant à un groupe in plutôt qu’à un groupe (Fosterling, 2001 dans White et Phillips, 2012). Copestake (2013) prétendent que l’accent mis dans les évaluations d’impact sur les sources conventionnelles de biais telles que l’échantillonnage et la sélection statistiques plutôt que sur des sources moins quantifiables comme le biais pro-projet peut constituer un biais cognitif en faveur de choses connues au détriment de choses inconnues (biais conservateur).

Stratégies d’atténuation du biais dans les évaluationsPour éviter de finir sur une note sombre, la dernière section de la présente note aborde certains des mécanismes que nous pouvons utiliser pour atténuer les biais non reconnus en matière d’évaluation d’impact. Il s’agit en premier lieu de renforcer la reconnaissance qu’il puisse y avoir un biais, de plus déclarer les intérêts dans un sens large, et de faire face aux pressions systémiques qui favorisent le biais (Pashler et Wagenmakers, 2012:529). Toutefois, nous soutenons que le problème du biais dans les évaluations est systémique, incorporé et largement inconscient, tenant au contexte de la socialisation et de l’éducation et aggravé par (mais pas limité à) l’environnement du néo-libéralisme. Beaucoup de solutions ont été avancées (voir Nosek et al., 2012), et nous ne faisons que reprendre ici certaines actions qui portent sur les activités personnelles plutôt que sur les caractéristiques structurelles qui réduisent le biais reconnu en matière d’évaluation. Les principes sous-jacents de l’atténuation du biais au niveau de l’évaluation individuelle sont appliqués de façon systématique, transparente et réflexive. Par systématique, nous entendons la préparation

(et la publication1) d’un plan de recherche précisant la nature et les sources de données ainsi que la conception des instruments et des protocoles pour le travail sur le terrain et l’analyse. Cela réduit la probabilité que les chercheurs « aillent à la pêche » (est maintenant possible également avec les données qualitatives à l’aide de logiciels d’analyse de données qualitatives). La nature plus inductive de la recherche qualitative complique la spécification d’hypothèses à l’avance, mais les préoccupations que cela suscite peuvent être atténuées grâce à la transparence, soit la présentation complète de la méthodologie englobant la description de l’analyse et l’archivage de données pour permettre potentiellement que ces analyses soient reproduites (voir Irwin, 2013, pour la réutilisation des données secondaires de recherche qualitative).

La réflexivité est importante compte tenu de la façon dont l’évaluateur conduit son propre travail sur le terrain : les interviews dont il planifie et supervise le déroulement sur le terrain, les enquêtes effectués par des tiers, la façon dont il analyse les données selon des méthodes qui traduisent l’authenticité et la confiance. Patton (2002:2) soutient que la « qualité des données qualitatives est fonction dans une grande mesure des aptitudes méthodologiques, de la sensibilité et de l’intégrité de l’évaluateur », ce qui peut être contredit par la simplicité apparente des méthodes (il nous rappelle que l’« observation systématique et rigoureuse englobe beaucoup plus que la simple présence active ». Pour cette raison, la « production de résultats qualitatifs utiles et crédibles à travers l’observation, les interviews et l’analyse du contenu, nécessite de la discipline, des connaissances, de la formation, de la pratique, de la créativité et de l’ardeur au travail ». Des arguments similaires sont utilisés pour justifier les enquêtes en dépit de les lacunes avérées qui entachent la conduite de celles-ci ainsi que des contradictions ou des incohérences au plan des données (par exemple, Chambers, 1983). Toutefois, la réflexivité doit être démontrée et non

1 Comme il est maintenant demandé s’agissant des procédures expérimentales applicables aux TCR et aux examens systématiques en vue d’éviter à la fois les « problèmes du tiroir classeur » (Rosenthal, 1979) et les pratiques de recherche discutables (John et al., 2012).


43prétendue, par exemple en reconnaissant les intérêts, notamment en ce qui concerne le matériel sur le terrain, et en communiquant les expériences, les pensées et les sentiments, notamment la façon dont les observations peuvent avoir affecté les choses observées et dont les évaluateurs ont été affectés par ce qu’ils ont observé.

Il existe d’autres mécanismes formels permettant de garantir la qualité de la recherche englobent l’examen par les pairs et les codes de déontologie. L’examen par les pairs peut certes identifier des cas bruts de biais, mais les examinateurs voient rarement les données et peuvent eux-mêmes être biaisés (Wilson et al., 1993). Il n’existe guère de revues qui exigent des auteurs, encore moins des examinateurs, qu’ils déclarent leurs intérêts, et ni les revues médicales ni les revues scientifiques ne définissent les intérêts dans un sens plus large (par exemple les intérêts concernant des méthodes particulières, les méthodes conceptuelles ou les relations causales, les interventions, etc.). La documentation et les documents de travail parallèles peuvent ne pas être soumis au même niveau d’examen, mais ils sont toutefois influents ; par exemple, Davis (2013) qui reprend le document de travail de 1997 de Sachs et Warner sur la croissance économique en Afrique. Les nouvelles études ou les nouvelles visites de sites d’études antérieures permettent également d’identifier des cas bruts de biais, ou plus probablement des moments où le positionnement du chercheur et la façon dont ce positionnement a interagi avec celui des participants ont orienté la recherche sur une voie improbable (par exemple le débat entre Freeman et Mead au sujet de la sexualité des adolescents à Samoa). Toutefois, les économistes semblent continuer de vivre dans le déni (Cohen 2001) en ce qui concerne la valeur de la réplication dans leur discipline (Duvendack et Palmer-Jones 2013), même si une certaine évolution semble se dessiner à cet égard (Brown et al. 2014; Ioannidis et Doucouliagos 2013). Dans d’autres travaux, nous avons affirmé que l’éthique en matière de recherche va « au-delà du sujet » (Camfield et Palmer-Jones 2013b) pour s’appliquer à l’obligation de mener des recherches difficiles et bénéfiques ; au maintien et au partage de méthodes de recherche

qui affectent les conclusions qui peuvent être tirées des données ; et à l’obligation de faire comprendre aux organismes de financement que la recherche n’a pas un champ limité et que les chercheurs ont des responsabilités additionnelles à l’égard de la société, des homologues et des participants. Ces obligations s’appliquent de la même façon à l’évaluation.

BibliographieBabcock, L. et G. Loewenstein. (1997) “Explaining

Bargaining Impasse: The Role of Self-Serving Biases,” Advances in Behavioral Economics, p. 326.

Bakewell, O. (2007) “Breaching the Borders between Research and Practice: Development NGOs and Qualitative Data”, in M. Smith (ed.), Negotiating Boundaries and Borders (Studies in Qualitative Methodology, Volume 8), Emerald Group Publishing Limited, p.217-238

Barrett, C. et M.R. Carter (2010). “The Power and Pitfalls of Experiments in Development Economics: Some Non-random Reflections,” Applied Economic Perspectives and Policy 32:515-548.

Bavinck, M. (2008) “Collective Strategies and Windfall Catches: Fisher Responses to Tsunami Relief Efforts in South India”, Transforming Cultures eJournal, 3 (2): 76-92.

Boaz, A., & D. Ashby. (2003). Fit for purpose? Assessing research quality for evidence based policy and practice. London: ESRC UK Centre for Evidence Based Policy and Practice.

Brown, A.N., D.B. Cameron, et B.D.K. Wood. B.D.K. (2014). “Quality Evidence for Policymaking I’ll Believe It When I See the Replication”, International Initiative for Impact Evaluation, Replication Paper No 1. Washington, DC: International Initiative for Impact Evaluation (3ie).

Camfield, L. et R.W. Palmer-Jones. (2013a). “Improving the Quality of Development Research: What Could Archiving Qualitative

eVALUatiOn Matters

44 Data for Reanalysis and Revisiting Research Sites Contribute?”, Progress in Development Studies 13(4):323-38.

Camfield, L. et R.W. Palmer-Jones. (2013b). “Editorial: As Well as the Subject: Additional Dimensions in Development Research Ethics,” Progress in Development Studies 13(4):255-65.

Chambers, R. (1983). Rural Development—Putting The Last First. Essex, England: Longmans Scientific and Technical Publishers.

Christley, R.M. (2010). “Power and Error: Increased Risk of False Positive Results in Underpowered Studies.’ Open Epidemiology Journal 3: 16-19.

Cohen, Stanley (2001). States of Denial: Knowing About Atrocities and Suffering. Cambridge: Polity Press

Colquhoun, D. (2014). An investigation of the false discovery rate and the misinterpretation of p-values. Royal Society Open Science, 1(3), p.140216.

Copestake, J. (2013). “Credible Impact Evaluation in Complex Contexts: Confirmatory and Exploratory Approaches”. Working Paper Draft, Centre for Development Studies, University of Bath. Available from the author.

Davis, Graham A. (2013). ‘Replicating Sachs and Warner’s Working Papers on the Resource Curse.’ The Journal of Development Studies 49, no. 12:1615-30.

Deaton, A., 2010. Instruments, Randomization and Learning about Development. Journal of Economic Literature, 48, pp.424-55.

Duf lo, E.; Glennerster, R. and Kremer, M. (2007). ‘Using Randomization in Development Economics Research: A Toolkit’, Centre for Economic Policy Research, Discussion Paper No. 6059.

Duvendack, M. et Palmer-Jones, R. (2013). ‘Replicat ion of Quantitat ive Work in Development Studies: Experiences and Suggestions’, Progress in Development Studies, 13(4):307-322.

Harding, S. (1987). ‘Introduction: Is there a Feminist Method?’ in S. Harding (ed.), Feminism and Methodology (pp. 1-14). Bloomington: University of Indiana Press.

Ioannidis, J.P.A. (2005) ‘Why Most Published Research Findings Are False’, PLoS Med 2, no. 8: e124. doi:10.1371/journal.pmed.0020124.

Ioannidis, J.P.A et C. Doucouliagos. (2013). ‘What’s to Know About the Credibility of Empirical Economics? Scientific Credibility of Economics’, Journal of Economic Surveys, n/a–n/a. doi:10.1111/joes.12032

Irwin, S. (2013). “Qualitative Secondary Data Analysis: Ethics, Epistemology and Context”, Progress in Development Studies 13, 4:295-306.

Maniadis, Z.; Tufano, F. et J.A. List. (2014). “One Swallow Doesn’t Make a Summer: New Evidence on Anchoring Effects,” American Economic Review 104(1):277-290.

Moonesinghe, Ramal, Muin J. Khoury, and Cecile J.W. Janssens, (2007), “Most Published Research Findings Are False-But a Little Replication Goes a Long Way”, PLoS Medicine 4 (2):218-21.

Nosek, Brian A.; Spies, Jeffrey R. and Motyl, Matt (2012). ‘Scientific Utopia II. Restructuring Incentives and Practices to Promote Truth Over Publishability’, Perspectives on Psychological Science 7, 6:615-31.

Pashler, Harold et Wagenmakers, Eric-Jan (2012)’ “Editors’ Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence?”, Perspectives on Psychological Science 7, no. 6: 528-30.


45Patton, M. Q. (2002). Qualitative Research and Evaluation Methods, London: Sage.

Patton, Michael Quinn. (2010). Developmental Evaluation: Applying Complexity Concepts to Enhance Innovation and Use, 1. New York: The Guilford Press.

Pitt, M.M., Rosenzweig, M.R. & Gibbons, D.M. (1993). “The Determinants and Consequences of the Placement of Government Programs in Indonesia,” World Bank Economic Review, 7(3), pp.319-348.

Pritchett, Lant. (2002). “It Pays to Be Ignorant: A Simple Political Economy of Rigorous Program Evaluation”, The Journal of Policy Reform 5, 4:251-69.

Rosenthal, R. (1979). “The ‘File Drawer’ Problem and Tolerance for Null Results”, Psychological Bulletin, 86, pp.638-641.

Rosenthal, R. (1966). Experimenter Effects in Behavioral Research 13. East Norwalk, CT, US: Appleton-Century-Crofts.

Savage, Mike. (2005). ‘Revisiting Classic Qualitative Studies’, Forum Qualitative Sozialforschung / Forum: Qualitative Social Research 6, no. 1 www.qualitative-research.net/index.php/fqs/article/view/502

Savedoff, William, Ruth Levine, et Nancy Birdsall. (2006). When Will We Ever Learn? Improving Lives Through Impact Evaluation. Washington, DC: Center for Global Development.

Shaffer, P. (2011). “Against Excessive Rhetoric in Impact Assessment: Overstating the Case for

Randomised Controlled Experiments,” Journal of Development Studies, 47(11), pp.1619–1635.

Temple, B., R. Edwards, and C. Alexander. (2006). “Grasping at Context: Cross Language Qualitative Research as Secondary Qualitative Data Analysis”, FQS, 7(4) art. 10

Thody, Angela. (2006). Principles for Selecting Appropriate Writing and Presentation Styles, in Writing and Presenting Research, London: Sage, 18-33.

Torrance, H. (2013). “Building Evidence into Education - why not look at the evidence?” Research Intelligence, the British Educational Research Association, 121, pp.26–28.

Tversky, Amos and Daniel Kahneman. (1971). ‘Belief in the Law of Small Numbers’, Psychological Bulletin 76, no. 2: 105–10

Wacholder, Sholom, Stephen Chanock, Montserrat Garcia-Closas, Laure El Ghormli, and Nathaniel Rothman. (2004). “Assessing the Probability That a Positive Report Is False: An Approach for Molecular Epidemiology Studies”, Journal of the National Cancer Institute 96, no. 6: 434–42

Wilson, Timothy D., Bella M DePaulo,. Douglas G. Mook, and Kristen J. Klaaren. (1993). “Scientists’ Evaluations of Research: The Biasing Effects of the Importance of the Topic”, Psychological Science 4, no. 5:322-25

White, Howard and Daniel Phillips. (2012). Addressing Attribution of Cause and Effect in Small N Impact Evaluations: Towards an Integrated Framework, New Delhi : International Initiative for Impact Evaluation.

eVALUatiOn Matters

46


Laura Camfield est anthropologue, mais elle travaille actuellement en collaboration, utilisant des méthodes qualitatives et quantitatives et formant d’autres sur l’utilisation de ces méthodes, tout dernièrement dans le cadre de l’étude longitudinale Young Lives financée par le DFID. Sa recherche en cours, financée par ESRC, porte sur l’amélioration de la qualité de méthodologies transnationales utilisées pour produire des données sur la pauvreté et la vulnérabilité tout au long du cours de la vie. À l’UEA, elle dirige la recherche en troisième cycle au sein du DEV, organise le principal module de recherche pour les étudiants en master et enseigne l’évaluation d’impact et l’ethnographie. Elle a publié plusieurs ouvrages sur la méthodologie, essentiellement l’utilisation de méthodes mixtes pour l’amélioration de la qualité des enquêtes et des mesures.

Maren Duvendack est maître de conférences à l’École de développement international de l’Université d’East Anglia, où elle enseigne principalement l’évaluation d’impact en Master « Développement international ». Auparavant, elle a travaillé à l’Institut international de recherche sur les politiques alimentaires à Washington DC en tant que stagiaire postdoctoral avant de rejoindre l’Overseas Development Institute de Londres comme chercheur en évaluation et analyse d’impact. Elle a beaucoup travaillé sur les évaluations d’impact de microfnance en Inde et au Bangladesh, ainsi que sur des évaluations pour le Programme alimentaire mondial et la Fondation Gates. Elle évalue actuellement l’impact des programmes de travaux publics financés par AusAid en Ethiopie et au Kenya. Maren détient un doctorat en économie du développement de l’Université d’East Anglia (UEA), au Royaume-Uni.

Richard Palmer Jones est un économiste spécialisé dans la pauvreté, l’agriculture, les ressources naturelles (l’eau en particulier) et de l’environnement, le développement rural et l’économie politique. Au cours des dernières années, il s’est concentré sur l’Asie du Sud, le Bangladesh en particulier, notamment sur la croissance agricole, les tendances de la pauvreté, le développement des eaux souterraines et le coût des services d’irrigation. Auparavant, il a travaillé au Malawi et le Nigeria. Sur le terrain, travaille aussi bien dans le formel que dans l’informel, l’analyse quantitative, statistique et économétrique, ainsi que l’analyse discursive ; il s’intéresse aux systèmes d’information géographique.

47

Randomisation sous les Tropiques : À la recherche d’un mirage

Jean-Louis Arcand


eVALUatiOn Matters

48 Introduction La science économique, et l’économie du développement ne fait pas exception, est une discipline aussi portée sur la mode qu’une semaine de présentation des collections à Milan. Karl Lagerfeld se sentirait tout à fait à l’aise dans notre communauté s’il maîtrisait le principe du maximum de Pontryagin et la procédure de ré-échantillonnage par blocs.

Actuellement dans le domaine de la microéconomie appliquée au développement, la mode est à la randomisation. Souvent appelé TCR (test comparatif randomisé), cette technique d’évaluation de l’impact de divers programmes sociaux allant des transferts conditionnels d’espèces (par exemple le cas de la Bolsa Escola au Brésil) aux tests de VIH/SIDA, a atteint un degré d’inf luence remarquable.

La grande prêtresse du TCR est actuellement Esther Duflo, bien sûr, mais elle est entourée d’une foule de convertis. La randomisation est un phénomène relativement nouveau en science économique, du moins en termes de sa position dominante comme technique empirique, même si les professionnels semblent largement ignorer le fait que leurs ancêtres pratiquaient déjà la randomisation, par exemple sous la forme de diverses expérimentations négatives concernant l’impôt sur le revenu dans plusieurs États américains, qui ont lieu à la fin des années 1960. Pour dire les choses crûment, mais toutefois de façon exacte, même en science économique, cela n’a rien de nouveau. En science politique, sans mentionner les sciences naturelles, les débats qui ont actuellement cours dans la sphère de la science économique sont tout simplement passés de mode.

Je m’empresse de dire que je ne suis pas contre les TCR en soi. Comme on entend souvent, certains de mes amis en effectuent, et j’en mène même deux moi-même à ce moment. Mais pour ceux d’entre nous qui ont travaillé pendant plusieurs années sur le terrain, s’agissant de convaincre les décideurs dans les pays en développement d’évaluer véritablement l’efficacité de leurs programmes, les TCR n’ont guère porté leurs fruits. Pire encore, j’estime actuellement que cette technique devient rapidement contre-productive. Je fais encore partie d’une minorité à cet égard, mais le groupe de sceptiques s’agrandit, avec par exemple Angus Deaton, qui a tenu des propos similaires aux miens lors de sa conférence Keynes devant l’Académie britannique (Deaton 2009)1. Il y a trois raisons principales qui justifient ma position, du moins sous l’angle de l’économiste du développement que je suis et qui s’intéresse aux tenants et aboutissants des politiques.

Les trois péchés capitaux des randomistes

Évaluation ou randomisation ?En premier lieu, les randomistes – cette fameuse désignation est l’œuvre de Martin Ravallion – à cause de la pureté présumée de leur foi, ont beaucoup de difficulté à interagir véritablement avec les initiateurs de programmes du monde réel. Une fois encore, qu’on me comprenne bien : beaucoup de TCR importants et intéressants sont en cours dans le monde (voir juste ce que des personnalités comme Dean Karlan de Yale sont en train de faire). Mais dans beaucoup de cas, il s’agit de tests bidon étant donné que les ONG (pour ne citer qu’un seul exemple) créées pour exécuter le programme sous-évaluation sont sous le contrôle total des évaluateurs eux-mêmes. Ensuite, ceux d’entre nous qui sommes

1 Deaton (2009) a été plus tard reproduit dans le Journal of Economic Literature (Deaton 2010) avec un titre moins provocateur. Je préfère la version originale (“Randomization in the Tropics”), que j’ai empruntée pour la première partie du titre de la présente note. La deuxième partie du titre renvoie à une étude très ancienne de Gustav Papanek (1977), l’un des grands hommes de l’économie du développement.


49intéressés par l’évaluation de vrais programmes du monde réel passent énormément de temps dans des bureaux humides de ministères de pays en développement pour exposer aux décideurs les raisons pour lesquelles ils devraient évaluer leurs politiques et souvent (sans succès, hélas !) les raisons pour lesquelles le TCR pourrait être un outil particulièrement indiqué à cet égard.

L’élément fondamental est que beaucoup de randomistes vendent les TCR et non l’évaluation en soi. Et c’est l’évaluation proprement dite, et non la méthodologie choisie, qui favorise la poursuite de la mise en œuvre des programmes dans les pays en développement et tout particulièrement en Afrique.

Le monde à l’envers En second lieu, les TCR représentent le triomphe d’une technique sur des idées réelles. Évidemment, cela est lié à la première question. Un des arguments légitimes de vente d’un TCR est qu’il permet de laisser de côté des procédures économétriques et des hypothèses statistiques complexes qui sont souvent soit intenables soit invérifiables, en faveur d’une procédure qui fait du déploiement du programme lui-même une technique d’évaluation. Même les politiciens peuvent comprendre les résultats. On traduit une approche essentiellement épidémiologique en un cadre de science sociale, ce qui est magnifique. De fait, on peut dire que les économistes ont besoin d’une dose de lex parsimoniae. De plus, contrairement aux idées reçues, un TCR constitue souvent la manière la plus juste de déployer un programme. Si tout le monde ne peut pas recevoir de traitement, par exemple pour des raisons d’ordre budgétaire, que souhaiteriez-vous ? Que seuls les villages qui ont accès au palais présidentiel reçoivent les ressources du programme ou que tous les villages soient traités sur le même pied d’égalité ?

Reçu cinq sur cinq.

Mais mon argument fondamental est que les randomistes, dogmatiques comme ils sont, s’adonnent souvent à des pratiques qui ont des effets négatifs sur l ’évaluation proprement dite. J’ai déjà assisté à un brillant exposé par

un randomiste renommé sur la méthodologie devant un groupe de responsables de programmes provenant de pays en développement. Après l ’exposé, un des responsables de programme (provenant de Conakry) a voulu savoir quel autre type d’évaluation le présentateur pouvait recommander étant donné qu’un TCR n’était pas possible dans le contexte de la question de recherche à laquelle le programme était censé répondre. La réponse du présentateur ? Changer la question de la recherche. C’est le monde à l’envers, c’est comme chercher la clé de contact sous le lampadaire non parce que c’est là qu’elle a été perdue, mais parce c’est là qu’il y a de la lumière. Peut-être causer plus de tort en plaidant auprès des décideurs des pays en développement qu’ils s’appuient sur des faits observés ? Je n’en dirai pas plus.

Un « étalon-or » ?Troisièmement, les randomistes désignent souvent ce qu’ils font comme étant l’étalon or de l’évaluation. Hormis le défaut méthodologique f lagrant de cette désignation, en termes de ce qui devrait être considéré comme des faits observés « valides », pensez-y un peu. Selon Peter Temin (1989) ou Barry Eichengreen (1992), l’étalon or a été une des principales causes de la Grande dépression. J’estime pour ma part que l’allusion à l’étalon or n’est pas vraiment un argument de vente.

Exploration de données Une autre question fondamentale est que, malgré leur conversion publique à une nouvelle religion, presque tous les randomistes restent des économistes professionnels et, comme tels, n’acceptent pas sans broncher un résultat statistiquement non significatif. En dépit du discours selon lequel les TCR constituent un processus d’apprentissage qui laisse clairement ressortir ce qui marche et ce qui ne marche pas (plutôt que, comme l’a fait remarquer Deaton, de poser la question essentielle de savoir pourquoi une chose marche ou ne marche pas), ceux qui effectuent des TCR s’adonnent aux artifices

eVALUatiOn Matters

50 standards de l’économétrie, par exemple l’ajout de covariables de façon à réduire la variance résiduelle (et d’accroître ainsi la probabilité que leur effet de traitement deviendra statistiquement significatif) ou l’interaction des variables nominales avec tous les covariables possibles, dans l’espoir qu’un tel terme d’interaction se manifestera avec une faible valeur p rassurante. Il n’y a rien de particulier à cela dans un cadre quasi-expérimental ordinaire. De fait, c’est une pratique courante dans la profession, mais les TCR reposent sur l ’idée de pureté méthodologique. Mais nous revenons plutôt à une variété courante de l’économétrie de la Commission Cowles, sans l’avantage d’un modèle théorique sous-jacent, qu’elle se traduise en une estimation structurelle ou non.

Essayer d’ajuster la moyenne conditionnelle dans un TCR par le biais de covariables et de termes d’interaction, c’est entrer dans le domaine de l’inférence statistique : Deaton (2009) fait remarquer à juste titre que les écarts types dans le cadre des TCR seront corrects si le traitement n’a pas d’effet sur la variance. J’ai un point de vue encore plus fondamental. Dans combien de tests d’équilibre faisant appel à des données de base (avant le traitement) observe-t-on autre chose qu’un test pour l’égalité des moyennes ? Pratiquement dans aucun. Si de tels tests d’équilibre étaient effectués comme il se doit, on observerait un test pour l’égalité des variances et, de fait, des tests de Kolmogorov-Smirnov pour l’égalité des distributions. S’agissant des TCR, les moyennes sont, dans une grande mesure, le seul centre d’intérêt. Et c’est dommage, parce que beaucoup de questions économiques importantes et intéressantes nécessitent qu’on s’intéresse aux distributions et non uniquement aux moyennes.

Mieux vaut TARD que rienLa question des distributions mène à un argument important qui a été avancé par des chercheurs éminents comme James Heckman (Heckman et Vytlacil, 2005) ou Guido Imbens (2010) : les TCR produisent l’effet de traitement moyen (ETM), et encore. De fait, ils produisent habituellement

une estimation de « l’intention de traiter » - qui s’apparente à la substitution de la forme réduite de première phase dans l’équation structurelle dans un cadre de variables instrumentales, étant donné que l’état de traitement véritable peut (même si la randomisation est effectuée correctement) peut différer de l’état de traitement effectif. Un argument avancé par Heckman dans un article publié au milieu des années 1990 (Heckman 1996) est de fait qu’un TCR, effectué de façon conventionnelle, n’identifie pas le paramètre structurel approprié qui nous intéresserait. De plus, du point de vue de la politique appliquée, l’ETM peut ne pas être particulièrement intéressant. Par exemple : supposons que la population est composée de deux types de personnes, et que le type dépend de caractéristiques idiosyncratiques (non observables). Supposons que pour les personnes de type A, qui représentent la moitié de la population, l’effet de traitement est égal à 1, et qu’il correspond également à 1 pour les personnes de type B. L’ETM sera égal à zéro, et ne correspondra à aucune population donnée. À remarquer que ce genre d’hétérogénéité ne peut pas être identifié en faisant interagir la variable fictive du traitement avec les caractéristiques observables : c’est ce que Heckman et Vytlacil (1999) ont appelé l’hétérogénéité essentielle, ce qui signifie que toute stratégie d’estimation utilisée couramment, de l’EI classique au TCR, n’identifie pas nécessairement un paramètre qui présente un certain intérêt.

La solution qu’ils proposent, soit la variable instrumentale locale (VIL, une version continue du concept très similaire de l’effet de traitement moyen local proposée par Angrist et Imbens (1994), est fondée sur le boson de Higgs de l’évaluation d’impact, soit l’effet marginal de traitement (EMT). L’EMT est l’impact du traitement sur une personne qui a des variables non observables de sorte que le traitement ou le non-traitement n’a pas d’effet sur elle. Toutes les techniques conventionnelles ignorant ce problème par hypothèse en laissant croire que l’EMT est le même pour tout le monde. En vertu de cette hypothèse, l’ETM est effectivement identique à l’EMT.


51Mais supposons que cela ne soit pas le cas, et que différentes personnes réagissent différemment au traitement, ce qui semble être, du moins de mon point de vue, l ’hypothèse de travail naturelle. Dans cette situation, d’autres effets de traitement se manifestent, par exemple l’effet de traitement sur les personnes traitées ou l’effet de traitement sur les personnes non traitées. À titre d’exemple, supposons que le coefficient de prospérité de l’ETM est une fonction décroissante et supposons que l’EMT est approximativement égal à zéro. Il est alors tout à fait possible que l’effet de traitement sur les personnes traitées soit positif et statistiquement significatif, et que l’effet sur les personnes non traitées soit négatif et statistiquement significatif. Dans ce cas, le programme sera perçu comme ayant réussi pour les personnes qui auront été traitées, mais qu’il ne serait pas judicieux de l ’étendre au reste de la population non traitée. Un programme de lutte contre la pauvreté bien ciblé serait un bon exemple de cette situation. En revanche, supposons que le coefficient de propension de l’ETM suit une trajectoire ascendante : dans ce cas, la situation est inversée – le programme peut être considéré comme ayant échoué au plan de la participation, mais l’étendre aux personnes qui n’auraient pas été traitées permettrait de réaliser des gains sociaux réels. Sous l’angle social et celui des politiques, l’estimation de l’effet moyen en posant comme hypothèse que l’ETM est le même pour toute la population est une procédure plutôt insatisfaisante.

Malheureusement je ne suis pas au courant d’une étude quelconque sur les TCR qui vise à établir une distinction entre ces divers effets de traitement, ce qui semble être lié aux travaux de Heckman et de ses divers collaborateurs dans un cadre d’EI classique : c’est vraiment dommage !

Impact sur les politiques Un casse-tête récurrent pour beaucoup de chercheurs et certains décideurs est la question de savoir pourquoi les évaluations d’impact, qui sont devenues

en quelque sorte une activité domestique dans le domaine du développement, ont si peu d’impact sur l’élaboration de politiques. Dans un article récent (Arcand 2014), j’ai examiné l’impact des évaluations d’impact. J’ai montré, dans un simple cadre bayésien intégré dans un modèle fonctionnel de concurrence chez les décideurs réfractaires à l’évaluation, les décideurs bayésiens et les évaluateurs fréquentistes, que la probabilité qu’un programme soit annulé est une fonction décroissante à la fois de l’impact estimé par l’évaluation et les a priori sur lesquels le programme avait été approuvé au départ.

Par ailleurs, la probabilité d’annulation est une fonction décroissante de l’efficacité de la pression exercée par les évaluateurs fréquentistes. Comme l’efficacité de leurs pressions en faveur de leurs résultats dans le monde réel est probablement proche de zéro, la probabilité de l’annulation d’un programme déjà approuvé, en dépit d’une évaluation très négative, est extrêmement faible. Le modèle fournit ainsi un élément qui donne une raison possible du faible impact que les évaluations d’impact ont sur la prise de décisions et de leur faible contribution à l’élaboration de politiques sur la foi de faits observés.

C’est peut-être là un point de vue cynique, mais (malheureusement) ce n’est pas très loin de la vérité. Les TCR ont-ils réellement fait progresser la prise en compte des évaluations d’impact dans la sphère de l’élaboration de politiques ? J’estime que la réponse est probablement non et que le moment est peut-être venu de renvoyer la charge de la preuve ailleurs. Pour le dire très simplement, nous savons que les moustiquaires imprégnées sont efficaces. Avons-nous vraiment besoin d’un TCR pour confirmer cela ? Ne devrions-nous pas (nous et la BAD) affecter les ressources limitées pour la recherche vers une activité qui nous aidera à comprendre pourquoi certaines politiques sont efficaces et pourquoi certaines ne le sont pas ?

Les TCR devraient certainement avoir un rôle à jouer, mais nous ne devrions pas laisser le carcan méthodologique qui les accompagne entraver la

eVALUatiOn Matters

52 poursuite du but collectif qui est l’amélioration l’élaboration de politiques grâce à la recherche.

BibliographieAngrist, J. D., et G. W. Imbens (1994): “Identi…

cation and Estimation of Local Average Treatment Effects,” Econometrica, 62(2), 467–475.

Arcand, J.-L. (2014): “The (Lack of) Impact of Impact: Why Impact Evaluations Seldom Lead to Evidence-Based Policymaking,” Revue d’Economie du Développement, 289-311.

Deaton, A. (2009): “Instruments of Development: Randomization in the Tropics, and the Search for the Elusive Keys to Economic Development,” NBER Working Paper No. 14690.

(2010): “Instruments, Randomization, and Learning about Development,”Jour-nal of Economic Literature, 48, 424–455.

5Eichengreen, B. (1992): Golden Fetters: The Gold Standard and the Great Depression, 1919-1939. Oxford University Press, Oxford, UK.

Heckman, J. J. (1996): “Randomization as an Instrumental Variable,” Review of Eco-nomics and Statistics, 78(2), 336–341.

Heckman, J. J. et E. J. Vytlacil (1999): “Local Instrumental Variables and Latent Variable Models for Identifying and Bounding Treatment Effects,” Proceedings of the National Academy of Sciences, 96(8), 4730–4734. (2005): “Structural Equations, Treatment Effects and Econometric Policy Evaluation,” Econometrica, 73(3), 669–738.

Imbens, G. W. (2010): “Better LATE Than Nothing: Some Comments on Deaton (2009) and Heckman and Urzua (2009),” Journal of Economic Literature, 48(2), 399–423.

Papanek, G. (1977): “Economic Development Theory: The Earnest Search for a Mirage,” in Essays on Economic Development and Cultural Change, ed. by M. Nash, pp. 270–287, Chicago, IL. University of Chicago Press.

Temin, P. (1989): Lessons from the Great Depression. MIT Press, Cambridge, MA.


Jean-Louis Arcand est Directeur du Centre pour la finance et le développement et professeur d’économie international au Graduate Institute of International and Development Studies de Genève. De 2009 à 2012, il était titulaire de chaire en études du développement. Il est membre fondateur du Réseau de Développement de l’Union Européenne et chercheur principal à la Fondation pour les études et recherches en développement international (FERDI). Il a été assistant puis Professeur associé à l’Université de Montréal, et Professeur au Centre d’Etudes et de Recherches en Développement International (CERDI). Jean Louis Arcand est Docteur es Economie du Massachusetts Institute of Technology (MIT), Cambridge, MA, USA. Ses domaines de recherche touchent la micro-économie du développement, en particulier en Afrique de l’Ouest et dans les pays du Maghreb, avec un intérêt récurrent pour l’analyse d’impact des programmes sociaux. Il a été consultant à la Banque Mondiale, le FAO, le PNUD, la Fondation Gates et plusieurs gouvernements. Il dirige actuellement des évaluations d’impact pluriannuelles en Angola, au Burkina Faso, Burundi, Cameroun, en Gambie, au Mali, Maroc et Sénégal. Son intervention dans ces évaluations vont du mentorat à la lutte contre le VIH-sida et au renforcement des capacités des organisations rurales de producteurs en vue de promouvoir la sécurité alimentaire.

53

Dr Jyotsna Puri 1

Le choix de la complexité : Les systèmes d’évaluation d’impact prêts à l’emploi – Quelques expériences

1 Tiré d’une note préparée à l’invitation d’Oxfam en 2012. Les renvois à Oxfam servent à illustrer certains de mes arguments.


eVALUatiOn Matters

54

Tableau 1 Nombre d’évaluations d’impact dans des secteurs de développement, 3ie

Source : Diverses cartes de déficits de données probantes 3ie et revues exploratoires

Secteur Nombre

Innovation agricole 112

Aide humanitaire 40

Mortalité maternelle et mortalité néonatale au niveau de la communauté 27

Immunisation suivant des approches de participation communautaire 72

Eau, assainissement et hygiène 139

Filets de sécurité productifs 248 Enseignement primaire et secondaire 21

IntroductionLes évaluations d’impact et d’autres études qui mesurent la causalité du changement dans les résultats ou l’impact grâce à des programmes et des politiques reçoivent une reconnaissance croissante en tant que méthode pour générer des preuves solides sur efficacité des programmes de développement et obtenir la valeur des décisions financières (voir DFID 2011). En effet, l’Initiative internationale pour l’évaluation d’impact (3ie) a été mise en place pour soutenir la production de ces données probantes et aider les organisations à les utiliser.

Néanmoins, la mise en œuvre et l’utilisation des données générées par ces évaluations d’impact peut être difficile. Les facteurs qui peuvent avoir un effet dissuasif dans l’engagement et la planification des évaluations d’impact peuvent être classés en deux grandes catégories : la première se rapporte aux défis rencontrés dans la mise en œuvre et la réalisation d’évaluations d’impact, et la seconde a trait à l’utilisation des données de EI. Dans le présent article, j’examine brièvement ces obstacles tout en réf léchissant sur l’expérience acquise par 3ie sur le terrain des cinq dernières années2.

Les défis de la conduite d’évaluations d’impactEn premier, le défi majeur est la prise de conscience au sujet du pouvoir potentiel et de l’utilisation des évaluations d’impact. L’analyse révèle que même dans des secteurs qui ont bénéficié de millions de dollars d’investissement pour le développement, l’agriculture, l’aide humanitaire et la santé par exemple, le nombre d’évaluations d’impact qui y ont été menées est dramatiquement bas (voir le Tableau 1).

Ensuite se pose le défi d’avoir suffisamment de données pour alimenter les évaluations d’impact. La plupart des institutions qui pensent aux évaluations d’impact le font après que le programme ait été préparé et après l’établissement de plans de fonctionnement. Cela signifie que qu’il y a très peu de marge de manœuvre pour préparer les méthodologies d’évaluations d’impact qui peuvent faire partie du plan opérationnel du programme. On peut faire appel à des méthodologies quasi-expérimentales, mais il faut pour cela une très forte dose de planification et de vision. Dans certains cas, les choses peuvent aller très mal si ces méthodologies ne sont pas appliquées avec le plus grand soin (voir par exemple Gracias-Houndolo et Puri, 2013 ; voir également Pronyk, 2011). La contrainte que représente l’insuffisance de données ne caractérise pas seulement les résultats et l’impact des variables ; elle touche également

2 Tiré d’une note préparée à l’invitation d’Oxfam en 2012. Les renvois à Oxfam servent à illustrer certains de mes arguments.


55

3 Avec toute notre reconnaissance à Michael Balmberger qui nous a présenté les évaluations du monde réel.

4 http://www.3ieimpact.org/en/evidence/impact-evaluations/ details/2500/?search_path=/evidence/&q=breakthrough&p

ublished_to=&author=&published_from=&title=&result_ number=0&total_results=2 and Dufo et al. 2013 respectively.

5 Les programmes de santé publique ont été une exception remarquable.

le suivi, dont les données devraient aider pour une mise en œuvre appropriée du programme. Dernier point, mais pas le moindre, le manque de données de bonne qualité sur les secteurs non liés au programme est également une contrainte, par rapport aux types de méthodes qui peuvent être utilisés pour établir et mesurer la causalité.

Troisièmement, on observe clairement très peu d’implication de la part des décideurs. Dans un examen des capacités nationales en évaluation portant sur 115 pays, Rosenstein (2013) a montré que seulement 20 disposaient d’une politique d’évaluation par écrit. 23 autres pays étaient en cours de préparation d’une telle politique. Dans un autre examen de plus de 89 évaluations d’impact, nous avons constaté qu’environ 5 % des demandes satisfaites venaient des administrations publiques et des ministères (voir le Graphique 1). S’agissant des notes attribuées à la qualité technique, les propositions venant de pays en développement obtenaient une note inférieure de près d’un point entier, par rapport aux propositions venant d’institutions de pays développés, et les responsables de recherche venant de pays en développement jouaient un rôle de second plan (Puri et al., 2015). Les notes relatives aux politiques ne différaient que légèrement Par contre, les notes relatives aux politiques ne différaient que légèrement.

Tendances actuelles dans la conduite d’évaluations d’impactLes évaluations d’impact offrent clairement de nombreuses possibilités pour la conception de politiques efficaces, efficientes et durables, susceptibles d’améliorer la vie des populations. Des évaluations d’impact bien conçues et de bonne qualité comprennent idéalement de solides théories du changement, des méthodes d’identification crédibles, utilisent des méthodes mixtes, sont suffisamment alimentées en variables primaires dont elles mesurent l’impact, comportent des processus d’évaluation et sont planifiées longtemps à l’avance (voir le tableau 2). De nouvelles tendances en matière d’évaluation d’impact offrent d’excellentes possibilités aux responsables des programmes et

aux décideurs soucieux non seulement d’intégrer les évaluations d’impact dans leur planification et mode de fonctionnement, mais aussi de les utiliser pour de meilleures conceptions et mises en œuvre. Je vous en présente quelques-unes plus loin.

Expériences de terrain et évaluations d’impact dans le monde réel3

Au cours de la dernière décennie, nous avons connu des évaluations d’impact planifiées et exécutées par des chercheurs. Ces expériences de terrain (ou expériences conçues dans le but principal de faire de la recherche) ont été les bien accueillies (voir Levitt et List, 2009). Elles ont créé tout un ensemble de travail servant de vitrine pour montrer comment les évaluations de programmes de développement conduites par des chercheurs peuvent produire de bonnes données probantes sur l’efficacité du programme.

Transformer ces modèles et expériences de terrain en plans d’évaluation des programmes de développement du monde réel, destinés à des organismes de développement dirigés par et situés dans les pays en développement a cependant été plus difficile. Dans certains cas, cela s’est passé de façon opportuniste dans la mesure où les chercheurs ont réussi à convaincre des organisations de s’engager avec eux dès le début ou même planifier leurs programmes en fonction de modèles d’évaluation d’impact (voir par exemple certaines études en cours qui 3IE appuie sur la compréhension, si les campagnes médiatiques peuvent changer les attitudes concernant le mariage précoce et un autre qui a récemment conclu sur la compréhension de la façon dont les vérificateurs de l’environnement peut être incité à dire des vérités4)5.

eVALUatiOn Matters

56 Bien qu’encore à ses balbutiements, la demande d’évaluation de l’impact de leur programmes est de plus en plus grande parmi les principaux organismes de développement. Ces évaluations d’impact du monde réel, de même que les programmes de développement du monde réel informent également les chercheurs sur la mise en œuvre et nous enseignent des leçons importantes sur ne pas seulement mettre en œuvre des programmes de développement, mais aussi concevoir des évaluations d’impact qui soient pertinentes pour administrateurs de programme et intègrent leurs questions, mais prennent aussi en en considération leurs réalités pour atteindre les objectifs et les résultats sur des périodes de temps définies. Ils nous enseignent comment intégrer des plans pour les évaluations d’impact dans les programmes de développement.

Il est clair que cela représente de nombreux défis pour les spécialistes de l’évaluation d’impact ainsi que pour les administrateurs de programme (voir, par exemple, Puri, 2013). Une conséquence en est que nous devons tous penser à des modèles d’évaluation d’impact rapides, faciles à mettre en œuvre et rentables, qui apportent des solutions et des réponses aux questions que les professionnels du développement se posent, plutôt qu’à celles que posent les chercheurs (et auxquelles il est plus facile de répondre), qui utilisent les populations ou échantillons beaucoup plus prêts à se prêter au jeu, et donc victimes du « biais de randomisation » ou de la partialité qui s’immisce lorsque l’on doit choisir entre la mise en œuvre ou la randomization des échantillons permettant d’expérimenter, donc

susceptibles de ne pas avoir les mêmes intérêts que la population (voir par exemple Kramer et Shapiro, 1984).

Nous observons ces derniers temps une hausse (bien que minime) de la demande d’évaluations d’impact dans de secteurs qui ne reconnaissent traditionnellement pas les évaluations d’impact comme pertinentes ou utiles (par exemple l’humanitaire ou la transparence et responsabilité dans la gestion des fonds). Encore une fois, la personnalisation des modèles et méthodologies d’évaluation d’impact en fonction des exigences de ces nouveaux domaines et secteurs est cruciale (Rathinam et Puri, 2015; Puri et al., 2014).

Une autre caractéristique des évaluations d’impact est que celles-ci ont commencé à faire appel à des sources de données variées. À cet égard, elles semblent en avance par rapport à la pratique courante dans le domaine de l’évaluation. Les évaluations d’impact nécessitent de grandes quantités de données et, comme le montre le Tableau 2 (en particulier la foresterie), ces données sont utilisées à des fins importantes dans les évaluations d’impact.

Il est également clair que peu d’évaluations d’impact englobent des analyses coût-efficacité ou coût-avantages. Une des utilisations les plus puissantes des évaluations d’impact est l’aptitude de comparer et de comprendre le rapport qualité/prix. Moins de 10 % des évaluations d’impact appuyées par 3ie ont pris ce genre de mesures de rentabilité.

Tableau 2 Sources de données, avec avantages et inconvénients, secteur forestier

No. Type Helps to inform Other notes

1. Images satellitaires

Couvert forestier, modification du couvert forestier, densité des forêts, cultures plantées, utilisation des terres, couvert végétal.

Images Landsat haute résolution.Besoin d’interprétation et de vérification sur le terrain.

2. Photographies aériennes

Couvert forestier, surveillance, cartographie.

Faciles à combiner avec les données GPS.Imperceptibles et dépendantes de la résolution, facilement utilisables dans le SIG.


57No. Type Helps to inform Other notes

3 Autres images de télédétection

Feux de forêt, déforestation, utilisation des terres, conversion, conservation, altitudes, élévations, cartes topographiques

Permet d’assembler des données sur des objets inaccessibles ou dangereux. Remplace des équipements onéreux sur le terrain et prévient la perturbation des zones concernées.

4. Autres cartes Sols, routes, accès, utilisation, limites des propriétés, notamment des villages et des États et d’autres unités administratives, altitude, densité de la population, climat, ethnicité, mouvements migratoires, etc. Les cartes montrant des indices tels que l’indice de pauvreté désagrégé sont devenues courantes.

Cartes topographiques, cartes des sols. Nécessite habituellement d’autres méthodes pour la construction comme la télédétection mais également la collecte de avec soin données de recensement (par exemple pour les droits de propriétés et les délimitations).

5. Enquêtes sociales et auprès des ménages

Moyens de subsistance, motifs de comportement, schémas de comportement, admissibilité aux programmes, perceptions, indicateurs socioéconomiques, accès physique/économique/social, utilisation, revenu, avoirs et impacts sur le bien-être

Nécessite une analyse qualitative soignée en amont et en aval aux fins d’interprétation. Nécessite également une formation intensive for les personnes charges de la collecte des données, une mise à l’essai avec soin des instruments pour s’assurer que les questions traduisent bien ce qu’on veut dire. Nécessite également une saisie de données rigoureuse et des vérifications des algorithmes qui peuvent, si on utilise des téléphones mobiles ou des PDA, porter sur l’enquête elle-même. Peut en outre nécessiter le nettoyage de données. Les séries chronologiques transversales et répétitives ou les données de panel ont des caractéristiques qui sont spécifiquement utiles pour la compréhension des changements qui surviennent au fil du temps. Il est important de comprendre l’attrition et ses motifs à cet égard.

6. Données administratives

Admissibilité, processus socioéconomiques, processus administratifs, processus de gestion des forêts, lois et évolution de la législation.

Il s’agit généralement des données générales qui peuvent être utilisées pour des sous-populations. Met en relief les grands changements ou les caractéristiques sans donner les motifs ou le changement de comportement des populations.

7. Interviews individuelles, structurées ou mi-structurées

Aident à expliquer les perceptions, croyances, les coutumes, les motifs du changement de comportement, les facteurs qui déterminent l’action, le statut social, les processus et l’échange. Aident également à expliquer le biais de sélection non observable, ainsi que la participation et la non-participation.

Habituellement nécessaires avant, pendant et après la plupart des activités de collecte de données qualitatives de sorte que les données quantitatives soient ancrées, assemblées et interprétées clairement. Également nécessaire pour l’élaboration de questionnaires et l’échantillonnage.

8. Étude de cas Compréhension qualitative de la dynam-ique et des facteurs locaux, notamment les processus.

Particulièrement importantes pour comprendre les processus et les comportements et explorer à fond la substance des données quantitatives.

9. Données GPS Peuvent aider à la localisation des villes, des marchés, des hôpitaux, des écoles ainsi que des limites de propriétés et de zones.

Peuvent être combinées à un SIG avec d’autres données et aident à combiner les données aériennes avec les données terrestres. Les données GPS peuvent fournir des coordonnées spatiales qui peuvent être associées à des mosaïques d’images satellitaires ainsi qu’à d’autres types de données.

10. Systèmes d’information de gestion

Ces données permettent de suivre l’exécution des projets, la fidélité de la mise en œuvre et la mesure dans laquelle les cibles ont été atteintes.

Habituellement utilisées avec les données relatives aux processus pour comprendre la fidélité de la mise en œuvre.

eVALUatiOn Matters

58 Tableau 3 Quelques éléments constitutifs d’un système de suivi et d’évaluation qui permettent également la prise en compte d’évaluations d’impact

No Élément d’un système de SE

Besoins Faisable ?

1. Théories du changement ou cadres logiques ou relations causales pour les programmes

Autant que possible, les élaborer au début.

La plupart des organisations en ont.

2. Systèmes de suivi et d’information

Suivre les processus et les indicateurs de résultats d’une façon simple, économique et fréquente.

• La plupart des organisations en ont, mais nécessité de communiquer avec les équipes de terrain au sujet de l’utilisation et de la pertinence.

• Nécessitent habituellement des protocoles et des guides pratiques pour la collecte et la définition des données qui manquent fréquemment ou ne sont pas utilisées.

• Ces guides pratiques doivent avoir des procédures standard pour le recueil de l’information telle que la fréquence de la collecte de données, les sources de données, les modes de vérification, ainsi que des formules de calcul des indicateurs. Les guides pratiques doivent avoir été testés sur le terrain.

• Ne devraient évaluer que les variables susceptibles de changer à court terme.

• Le MIS devrait avoir des algorithmes d’assurance qualité intégrés au système autant que possible.

• Les responsables et les organisateurs de données devraient avoir reçu une formation avant le début de leurs activités.

3. Recherche sur la mise en œuvre

Étabir un protocole à cet égard.

Devrait utiliser de façon créative les méthodes de recherche qualitative, les enquêtes de perception participatives, l’examen d’observation, recherche au plan des processus, groupes témoin.

Devrait être menée fréquemment et à peu de frais.

Le protocole devrait répondre aux questions telles que

1) les questions auxquelles il faut répondre ;

2) les questions de l’interview ou dans une autre méthodologie participative/qualitative utilisée pour éclairer ces questions ;

3) cartographie des méthodes et des questions ; et

4) plan de l’analyse de l’information qualitative.

4. Mesure du changement attribuable (ou évaluations d’impact)

Connaître le résultat ou l’impact qu’on veut évaluer

Élaborer un protocole au début du projet

• L’évaluation du changement attribuable importe-t-elle pour l’organisation ?

• Quelles méthodes peut-on utiliser pour évaluer le changement attribuable ? (les méthodes contrefactuelles ? la randomisation ?)

• Assembler des données relatives aux résultats et aux impacts dans les sites de comparaison aussi.

• Enregistrer les protocoles et les plans de pré-analyse (Cite HSW).

• Organiser des enquêtes initiales, à mi-parcours et finales qui permettent de collecter des données sur les résultats et les impacts (susceptibles de changer à plus long terme). Enquêtes pilotes.

• Élaborer des protocoles et des guides pratiques pour la collecte de ces données, qui devraient contenir des vérifications d’étendue et logiques, encourager la double saisie (en cas de saisie manuelle).

• Essayer de mettre en place une équipe professionnellement formée pour cette activité.

5. Évaluation des coûts et du rapport coût-avantages.

Pourquoi l’évaluation des coûts est-elle importante ? (une question de choix programmatique se pose-t-elle ? le programme sera-t-il élargie ? sera-t-il reproduits ailleurs ?)

• Quels sont les éléments tarifés et non tarifés qui entrent dans le programme ?

• Comment les éléments tarifés sont-ils évalués ? (Budgets, analyse de la chaîne d’approvisionnement ?)

• Comment les éléments non tarifés sont-ils évalués ? (Imputation des coûts ? Les hypothèses sont-elles énoncées clairement ?)


59Toutefois, les évaluations d’impact comptent plus qu’auparavant. Elles ont été utilisées à plusieurs fins :

• Elles ont été utilisées pour élargir des pro-grammes jugés efficaces. Par exemple le programme de développement de la petite enfance au Mozambique (Gaarder et White, 2009) ; un programme visant à fournir des subventions pour les coûts salariaux en faveur de l’emploi des jeunes en Afrique du Sud (Levinsohn et al., 2014); une initiative visant à amener des tiers à financer les audits environnementaux en Inde (Bannerjee et al., 2014); et des programmes d’alphabétisation des mères en Inde (Bannerjee et al., 2014).

• Elles ont été utilisées pour enrichir des pro-grammes qui n’ont pas porté leurs fruits. Par exemple les programmes de développement communautaire en Sierra Leone (Casey et al., 2012) ; un programme de grande envergure visant à fournir des fourneaux efficaces au Ghana (Burwen et Levine, 2014) et un pro-gramme de dépistage et d’essai par intermit-tence pour le paludisme au Kenya (Brooker et Halliday, 2015).

• Elles ont été utilisées pour modifier la con-ception des politiques. Par exemple, elles ont été utilisées pour déterminer le mont-ant des transferts de fonds à effectuer dans le cadre du programme relatif aux moyens de subsistance (LEAP) au Ghana (Handa et al. 2014); et pour déterminer s’il faut tarifer l’eau souterraine au Bengale occidental, en Inde, et comment le faire (Meenakshi et al. 2013).

• Elles ont également servi à déterminer la façon la plus efficiente de cibler les bénéficiaires en Indonésie (Atlas et al., 2014).

• Les évaluations d’impact ont enrichi plusieurs conceptions et plusieurs débats. Le gouvernement mexicain a conçu son programme de pension selon les résultats

d’évaluations d’impact (Salinas-Rodriguez et al., 2014). Les effets des transferts de fonds au Malawi – les transferts conditionnels sont-ils mieux que les transferts inconditionnels en vue de garantir l’inscription des enfants à l’école, pourquoi et sur quelle période ? – ont été déterminés par une évaluation d’impact (Baird et al., 2015). Une autre évaluation d’impact a permis de déterminer si l’information au sujet de la performance passée des représentants élus avait un effet sur les choix des électeurs aux élections en Inde (Bannerjee et al., 2013), et une autre a révélé les facteurs qui entravent l’adoption de la pratique de la circoncision volontaire chez les hommes adultes au Malawi (Thornton et al., 2014).

De quoi avons-nous besoin ?La justification de ce qui est attendu des évaluations d’impact est bien établie maintenant (voir par exemple White, 2009), mais certains points essentiels ne sont pas si évidents :

Expérimentez et menez une recherche formative : Dans le cadre d’une évaluation d’impact portant sur l’utilisation de fourneaux de cuisson améliorés en vue de réduire la pollution de l’air à l’intérieur des maisons, les chercheurs ont découvert que les fourneaux n’étaient pas utilisés de la façon prévue. Il n’était donc pas nécessaire d’élargir le programme et, de fait, il n’était pas nécessaire de procéder à une évaluation d’impact.

Cela fait penser à un élément plus grand et plus important. La plupart des institutions et des organisations continuent de considérer les évaluations d’impact comme une activité ponctuelle. De fait, il importe d’intégrer les évaluations d’impact non seulement dans la programmation, mais également les systèmes traditionnels de suivi et d’évaluation. Le Tableau 2 présente brièvement les éléments d’un système de suivi et d’évaluation qui peuvent favoriser la prise en compte des évaluations d’impact.

eVALUatiOn Matters

60 Conclusion – Opportunités dans le meilleur des mondesIl est clair que les évaluations d’impact ont fortement augmenté ces dernières années (Cameron et al., 2015). Toutefois, pour faire en sorte que ce type d’évaluation continue d’augmenter et d’enrichir les programmes et les politiques, il faut régler les effets limitatifs majeurs que sont les ressources humaines et financières, la capacité technique et la maîtrise de l’utilisation de ces évaluations. Il est également clair que les utilisateurs potentiels des évaluations d’impact ne sont pas les seuls qui doivent connaître les utilisations de ces évaluations. Nous devons également collaborer davantage avec des chercheurs qui alimentent et entreprennent depuis toujours des évaluations d’impact. Cela est vrai pour les secteurs qui sont nouveaux comme l’aide humanitaire, la gouvernance, la gestion et la responsabilité financière. L’opportunité de faire appel à des sources nouvelles de données signifie également qu’on peut faire davantage, non seulement enrichir les résultats finaux et les impacts des programmes de développement, mais aussi la façon dont ces programmes sont mis en œuvre et déployés.

BibliographieAtlas, V, Banerjee, A, Hanna, R, Olken, B, Wai-poi,

M et Purnamasari, R, 2014. Targeting the poor: evidence from a field experiment in Indonesia, 3ie Impact Evaluation Report 12. New Delhi: International Initiative for Impact Evaluation (3ie).

Baird, S, Chirwa, E, McIntosh, C et Ozler, B, 2015. What happens once the intervention ends? The medium-term impacts of a cash transfer programme in Malawi, 3ie Grantee Final Report. New Delhi: International Initiative for Impact Evaluation (3ie)

Banerjee A, Duflo E, Imbert C, Pande R, Walton M, Mahapatra B, 2014. An impact evaluation of information disclosure on elected representatives’ performance: evidence from rural and urban India, 3ie Impact Evaluation Report 11, August

2014. New Delhi: International Initiative for Impact Evaluation (3ie)

Banerji, R, Berry, J et Shortland, M, 2014. The impact of mother literacy and participation programmes on child learning: evidence from a randomized evaluation in India, 3ie Impact Evaluation Report 16. New Delhi: International Initiative for Impact Evaluation (3ie)

Brooker, S and Halliday, K, 2015. Impact of malaria control and enhanced literacy instruction on educational outcomes among school children in Kenya: a multi-sectoral, prospective, randomised evaluation, 3ie Impact Evaluation Report 18. New Delhi: International Initiative for Impact Evaluation (3ie)

Burwen, J. et Levine, D. I., 2012. A rapid assessment randomised-controlled trial of improved cookstoves in rural Ghana, Impact Evaluation Report 2. New Delhi: International Initiative for Impact Evaluation

Drew Cameron, Anjini Mishra et Annette Brown, 2015. The growth of impact evaluation for international development: How much have we learned? Journal of Development Effectiveness, en préparation.

Casey, K., Glennerster, R. et Miguel, E., 2012. The GoBifo project evaluation report: Assessing the impacts of community-driven development in Sierra Leone. 3ie Impact Evaluation Report 3. New Delhi: International Initiative for Impact Evaluation (3ie)

Duflo, E, Berry, J, Mukerji, S et Shortland, M, 2015. A Wide Angle View of Learning: evaluation of the CCE and LEP Programs in Haryana, India, 3ie Impact Evaluation Report 22. New Delhi: International Initiative for Impact Evaluation (3ie)

Duflo, E., Greenstone, M., Pande, R. and Ryan, N., 2013. Truth-telling by third-party audits and the response of polluting firms: Experimental


61evidence from India, 3ie Impact Evaluation Report 10. New Delhi: International Initiative for Impact Evaluation (3ie).

Dupas, P, Keats, A etRobinson, J, 2014, Challenges in banking the rural poor: Evidence from Kenya’s Western Province, 3ie Grantee Final Report. New Delhi: International Initiative for Impact Evaluation (3ie)

Gaarder, M., White, H., 2009. Learning and Growing in the Shadow of HIV/AIDS: A Prospective Randomized Evaluation of the Effects of Escolinhas on Young Children in Mozambique. New Delhi: International Initiative for Impact Evaluation (3ie).

Handa, S, Park, M, Darko, RO, Akoto-Osei, I, Davis, B et Daidone, S, 2014. Livelihood empowerment against poverty program impact evaluation, 3ie Grantee Final Report. New Delhi: International Initiative for Impact Evaluation (3ie).

Gracias-Houndolo, Deo et Jyotsna Puri. 2013. Do implementation challenges run impact evaluations into the ground? Blog, New Delhi: International initiative for impact evaluation (3ie) http://www.3ieimpact.org/en/announcements/2013/05/30/do-implementation-challenges-run-impact-evaluations-ground/

Levinsohn, J, Rankin, N, Roberts, G and Schöer, V, 2014. A youth wage subsidy experiment for South Africa, 3ie Impact Evaluation Report 15. New Delhi: International Initiative for Impact Evaluation (3ie).

Levitt, Steven D. & List, John A., 2009. “Field experiments in economics: The past, the present, and the future”, European Economic Review, Elsevier, vol. 53(1), pages 1-18

Mbiti, I., McCasland, J. & Lehrer, K. Ongoing, Training for success: targeting and incentives in apprenticeship training in Ghana, New Delhi: International Initiative for Impact Evaluation (3ie)

Meenakshi, J.V., Banerji, A., Mukherji, A. et Gupta, A, 2013. Does marginal cost pricing of electricity affect groundwater pumping behaviour of farmers? Evidence from India, 3ie Impact Evaluation Report 4. New Delhi: International Initiative for Impact Evaluation (3ie)

Pronyk, P. “Errors in a paper on the Millennium Villages project”, The Lancet, vol. 379, no. 9830, pp. 1946.

Puri, J, Aladysheva, A, Iversen, V, Ghorpade, Y et Brück, T, 2014. What methods may be used in impact evaluations of humanitarian assistance?, 3ie Working Paper 22. New Delhi: International Initiative for Impact Evaluation (3ie)

Puri, J., A. Khosla, M. Oldenbueving et H. White. 2015. Grants for impact evaluations: A statistical overview and a process analysis of 3ie Open Window Grants. 3ie Working paper. New Delhi: International Initiative for Impact Evaluation (3ie)

Rathinam, F. et J. Puri. 2015. Reversing the resource curse through impact evaluations. 3ie blog. New Delhi. http://blogs.3ieimpact.org/reversing-the-resource-curse-through-impact-evaluations/

Rosenstein, B. 2013, “Mapping the Status of National Evaluation Policies”, Parliamentarians Forum on Development Evaluation in South Asia and EvalPartners.

Salinas-Rodríguez, A, Manrique-Espinoza, B, Moreno-Tamayo, K, TorresPereda, P, De la Cruz-Góngora, V, Ángeles-Tagliaferro, G et Téllez-Rojo Solís, MM, 2014. Impact Evaluation of the Non-Contributory Social Pension Program 70 y más in Mexico, 3ie Impact Evaluation Report 5. New Delhi: International Initiative for Impact Evaluation (3ie).

Thornton, R, Godlonton, S, Chinkhumba, J, et Pierotti, R, 2014. Scaling up male circumcision

eVALUatiOn Matters

62 service provision: results from a randomised evaluation in Malawi, 3ie Impact Evaluation Report 13. New Delhi: International Initiative for Impact Evaluation (3ie).

White, Howard. 2009. Theory-based Impact Evaluation: Principles and Practice. Working Paper 3. New Delhi: International Initiative for Impact Evaluation (3ie).


Jo (Jyotsna) Puri est titulaire d’un Ph.D et travaille à International Initiative for Impact Evaluation (3ie). Professeur-adjoint de la collecte de fonds. Justifiant de plus de quinze ans d’expérience en évaluation et élaboration de politiques axées sur les faits observés, elle a été auparavant en poste à la Banque mondiale et aux Nations Unies. Elle a également été chercheur associé à l’université Columbia et professeur adjoint à l’École des affaires internationales et publiques. Mme Puri a surtout travaillé dans le domaine de la pauvreté, de l’agriculture, de l’environnement, des infrastructures, de la santé et de l’énergie. Elle a travaillé et collaboré avec les pouvoirs publics en Asie, en Afrique, en Amérique latine et dans les Caraïbes et dirigé bon nombre d’évaluations menées conjointement avec plusieurs organisations. Elle a conseillé diverses organisations et élaboré des systèmes d’évaluation pour elles, notamment la Fondation Mac Arthur, l’UNICEF, le projet Millennium Villages (université Columbia), le PNUD et le FEM.


Institutionnel

63

eVALUatiOn Matters

64

Une approche innovante à trois paliers pour l’institutionnalisation de l’évaluation d’impact dans les organisations multilatérales

Cameron Breslin, Alexandra Orsola-Vidal, Temina Madon


65Nous vivons dans un monde où les pouvoirs publics, les organisations multilatérales et les organisations non gouvernementales souhaitent de plus en plus intégrer l’évaluation d’impact dans les programmes de développement. La demande de faits probants n’a jamais été aussi forte dans le secteur du développement. Toutes les parties prenantes—des bailleurs de fonds aux bénéficiaires dans les pays concernés—veulent savoir si les programmes et les politiques atteignent les objectifs visés. Elles veulent obtenir des preuves empiriques que les organisations investissent les ressources limitées de la manière la plus efficiente et la plus efficace possible. En l’absence d’une évaluation rigoureuse, les décideurs risquent de prendre de mauvaises décisions quant au financement et à l’annulation de programmes.

En dépit du besoin et de la demande de preuves rigoureuses, l’évaluation d’impact n’est toujours pas pleinement institutionnalisée au sein des organisations multilatérales de développement1. Cela étant, le Center for Effective Global Action (CEGA), logé à l’université Berkeley, en Californie, a créé un programme unique en son genre visant à renforcer les capacités et à promouvoir la prise en compte de l’évaluation d’impact au sein des organisations multilatérales. Le CEGA, un réseau de recherche qui élabore et teste des solutions pour la réduction de la pauvreté à l’aide de techniques d’évaluation rigoureuses, d’expériences comportementales et d’outils de la science informatique, comprend 60 chercheurs dans 9 universités américaines qui travaillent en partenariat avec des chercheurs de plus de 20 pays en développement.

Le programme, conçu et testé par le CEGA, vise à institutionnaliser l’évaluation d’impact au sein des organisations et des agences gouvernementales. Il suscite une adhésion de la part des parties prenantes tout en renforçant leurs capacités. Il permet également aux organisations et aux agences gouvernementales d’accéder à un réseau d’universitaires de renom qui peuvent fournir des services de conseil et d’encadrement. Il a été mis à l’essai à la Banque interaméricaine de développement (BID) et a montré qu’il pouvait être élargi à d’autres organisations multilatérales plus grandes.

Conception d’une intervention pour les organisations multilatéralesEn 2012, le CEGA a mis en place l’initiative Berkeley-IDB Impact Evaluation Collaborative (BIC) après un an de processus collaborative de conception auquel ont participé des professeurs de Berkeley et le personnel de la BID. La conception s’est alimentée à l’expérience de l’économiste de Berkeley Paul Gertler, ancien économiste en chef pour le développement humain à la Banque mondiale, ainsi que de l’économiste de la BID Sebastian Martinez, lui aussi un ancien de la Banque mondiale.

Au cours de leur service à la Banque mondiale, Gertler et Martinez ont eu à faire face aux nombreux problèmes que comporte la conduite d’évaluations d’impact au sein d’une organisation multilatérale. Parmi ces problèmes, le plus ardu était la nécessité de coordonner et de synchroniser les calendriers, les priorités et les avoirs des diverses parties prenantes. En fin de compte, l’intégration d’une évaluation rigoureuse dans des opérations de base a nécessité une approche pluridimensionnelle. Gertler et Martinez ont identifié au moins trois composantes essentielles : 1) créer des mécanismes durables pour lier le savoir-faire des universitaires avec celui des professionnels des opérations et des administrations publiques ; 2) susciter l’adhésion des acteurs principaux à l’égard de l’évaluation d’impact ; et 3) renforcer les capacités des représentants des organisations et des administrations publiques pour diriger les évaluations et y participer directement.

1 http://www.cgdev.org/publication/when-will-we-ever-learn-improving-lives-through-impact-evaluation

eVALUatiOn Matters

66 Sur cette base, l’initiative BIC a été conçue pour englober plusieurs activités :

• Formation des cadres sur les projets : BIC s’articule autour d’un programme de formation de deux semaines, organisé une fois par an à l’intention du personnel de la BID et des fonctionnaires ; la formation est tenue en personne mais à l’extérieur, pour réduire les risques de distraction. Les participants sont acceptés en tant qu’équipes et viennent au cours prêts à travailler sur l’évaluation d’un projet donné finance par la BID. Les projets sont examinés de près à l’interne par la BID, sur la base de la faisabilité d’une évaluation rigoureuse. Chaque équipe de projet comprend plusieurs membres en vue de renforcer l’adhésion et de créer une dynamique, de prendre en compte divers points de vue et priorités et de maximiser la probabilité d’une évaluation à l’avenir. Dans ce cours de deux semaines, les participants sont initiés aux méthodes d’évaluation d’impact à travers des exposés magistraux, des travaux en groupe et des études de cas avec l’aide des meilleurs experts du domaine. Le programme de formation porte sur la conception des études, les méthodes statistiques, la gestion des enquêtes et la communication des résultats aux décideurs. À plusieurs périodes au cours de la formation, les participants travaillent directement sur les projets financés par la BID, dont chacun est susceptible de se traduire en une évaluation de programme pluriannuel avec un impact à long terme. Les séances de formation sont dirigées par des experts et permettent l’application immédiate des méthodes expliquées aux projets réels. Ainsi, les équipes acquièrent de nouvelles aptitudes et élaborent également un plan d’action pour l’évaluation en collaboration avec les principales parties prenantes.

• Formation continue en ligne : Après le programme de formation des cadres de deux semaines, les participants peuvent choisir de poursuivre leur apprentissage pour une année entière en suivant un cours à distance élaboré par le CEGA et parrainé par le partenariat edX. Ce cours est beaucoup plus technique que l’atelier sur le terrain.

Il porte sur l’analyse des données de l’évaluation d’impact à l’aide du logiciel Stata et d’autres logiciels spécialisés. Chaque module en ligne s’appuie sur les exposés sur la méthodologie et les études de cas examinés au cours de l’atelier de deux semaines et également sur des vidéos et des ensembles de problèmes qui contribuent à l’acquisition d’une expérience pratique en modélisation statistique, calculs de puissance, gestion des données et analyse. Le programme en ligne englobe également des sujets non abordés au cours de l’atelier de deux semaines tels que la gestion des enquêtes, la transparence en matière de recherche et la protection des humains. Chaque module englobe l’analyse ou l’examen de données provenant d’évaluations réelles, ce qui permet ainsi aux participants de mener des évaluations de leurs propres programmes.

• Tutorat continu fourni par des chercheurs de renom : Au terme de l’atelier de formation de deux semaines, toute équipe ayant un projet viable est admissible à un encadrement, pendant un an, fourni par des professeurs d’université faisant partie du réseau du CEGA. Les tuteurs offrent un appui à la fois à distance et en personne tout au long de la phase de conception de l’évaluation. Les professeurs peuvent consacrer leur temps à solidifier les compétences de l’équipe, à élargir ou à réviser la conception de l’évaluation ; à identifier les sources du financement de la collecte de données et à développer des partenariats à plus long terme. En fin d’année, les représentants de chaque équipe de projet sont invités à Berkeley pour présenter et affiner leurs modèles d’évaluation tout en recevant une formation sur la diffusion des résultats de recherche, notamment les stratégies pour influencer la prise de décisions à un niveau élevé et à susciter l’adhésion du public à l’égard de programmes axés sur des faits probants.

Mise en œuvre du programmeLe projet BIC a déjà deux ans. La première séance de formation des cadres a commencé en juillet 2013, et la deuxième en juillet 2014. En tout 115


67

personnes ont participé au cours intensif de deux semaines. Le programme visait un nombre égal d’employés de la BID et de fonctionnaires. 45 % des participants viennent de la branche de l’administration publique chargée de la mise en œuvre et/ou de l’évaluation du programme de développement de l’équipe. Au cours des deux années, les participants ont représenté 36 projets financés par la BID dans 13 pays en Amérique latine et dans les Caraïbes.

Au cours de la première année, le projet s’est surtout intéressé aux infrastructures, notamment les projets infrastructurels liés à l’agriculture et aux changements climatiques, à l ’eau et à l’assainissement, à l’énergie, au logement et au transport. Ainsi, les professeurs qui donnaient des cours magistraux et assuraient le tutorat avaient des connaissances spécialisées dans diverses disciplines, notamment l ’économie de l’agriculture et des ressources, l ’économie de l’énergie, le génie et les affaires. Hormis la formation dispensée au cours du programme de deux semaines, les professeurs ont appuyé les équipes de projet à distance au cours de l’année qui a suivi le premier atelier de formation. Au cours de la deuxième année, le projet BIC s’est penché sur le développement de la petite enfance, la santé

et l’éducation. Pour ces secteurs, les professeurs retenus étaient des spécialistes en éducation, des économistes et des politologues. Comme cela a été le cas au cours de la première année, ces experts ont dispensé des cours en personne et fourni un appui à distance aux participants.

L’atelier lui-même est conçu pour combiner la formation des cadres (généralement dispensée à travers des cours magistraux et des études de cas) avec apprentissage par la pratique. À cette fin, quatre types de session différents sont intégrés au programme homogène de deux semaines :

1. Les cours magistraux et les tables rondes présentent les différents outils et méthodes de l ’évaluation d’impact, notamment les méthodologies expérimentales et quasi-expérimentales. Ces sessions comprennent un volet technique et un volet politiques (voir ci-dessous).

2. Les sessions sur les méthodes de terrain familiarisent les participants avec les étapes nécessaires de la mise en œuvre d’une évaluation d’impact, notamment la budgétisation, la conception des enquêtes, les calculs de puissance et l’assurance qualité.

Paul Gertler, Li Ka Shing, professeur d’économie à la Haas School of Business et au School of Public Health de l’université de Californie à Berkeley, donne un cours magistral aux participants du BIC au cours de la deuxième année du programme de formation (juillet 2014).

eVALUatiOn Matters

68 3. Les séances en petits groupes sur des secteurs spécifiques sont des exposés de style séminaire que des professeurs de renom utilisent pour initier les participants aux faits probants les plus récents et à la recherche en matière d’évaluation dans chaque secteur ou domaine d’intérêt.

4. Les sessions de travail de groupe encadrées donnent l’occasion aux équipes de projet de la BID de collaborer directement avec des professeurs à la conception d’évaluations d’impact concernant des projets actifs de l’institution.

La première semaine de l’atelier passe en revue les méthodes statistiques fondamentales, la théorie et les méthodes d’évaluation et les méthodes avancées de l’évaluation d’impact. Les concepts essentiels sont enseignés principalement à travers les études de cas, les cours magistraux et les sessions de groupe. La deuxième semaine s’attache au processus de conduite d’évaluations rigoureuses, avec discussions et exercices en groupe entrecoupés de cours magistraux et de travaux en groupe, et elle vise à cimenter l’apprentissage par la pratique. Les deux semaines prévoient des « séminaires sectoriels » animés par des universitaires spécialisés dans diverses disciplines qui font des exposés sur les recherches de pointe dans les grands secteurs. Il s’agit des progrès au plan de l’ingénierie ainsi que des nouveaux outils pour l’évaluation des réalisations au plan du développement (par exemple les capteurs, les appareils mobiles et les méthodes tirées de la science informatique).

Tout au long de la formation, six sessions sont réservées au travail en équipe sous l’encadrement de professeurs et de chercheurs doctorants. C’est le moment pour les participants d’appliquer les méthodes d’évaluation à leurs projets financés par la BID. Le travail en équipe est quotidiennement directement lié aux techniques enseignées au cours des sessions plénières du matin. Le travail va d’étape en étape, en partant de la description de la théorie du changement d’un programme à la définition des hypothèses et à l’identification de données contrefactuelles. En guise de produit final,

chaque équipe fait un exposé décrivant son projet de conception d’évaluation, les ressources nécessaires et le calendrier de mise en œuvre. Le dernier jour du cours de deux semaines, chaque équipe soumet son projet à un examen collégial et reçoit le point de vue des examinateurs. Les instructeurs et le personnel du BIC examinent la viabilité des propositions selon quatre critères, à savoir :

1. Pertinence : L’étude contribue-t-elle de façon significative à renforcer les connaissances de la BID en matière de développement international en Amérique latine et dans les Caraïbes ?

2. Innovation : L’étude répond-elle à des questions nouvelles, introduit-elle des méthodes, des mesures ou des interventions novatrices ?

3. Viabilité : La conception de l’étude est-elle appropriée et bien articulée ? L’étude pourra-t-elle répondre aux questions proposées ? Les indicateurs et les estimations de la taille des échantillons sont-ils appropriés, compte tenu des réalisations à évaluer ? La proposition traite-t-elle des obstacles d’ordre logistique ou politique qui pourraient entraver l’achèvement de l’étude ?

4. Traduction : Le programme est-il pertinent pour la BID et les projets exécutés dans d’autres ses pays membres ? Peut-il être appliqué à des programmes ou initiatives en cours dans la région ?

Les projets sont choisis aux fins de suivi en fonction de la demande exprimée par l’équipe de projet et de l’évaluation de la viabilité faite par les professeurs de Berkeley. Jusqu’alors, 12 projets ont été sélectionnés sur deux ans aux fins d’appui de la part de ces professeurs.

Résultats et apprentissage L’engagement à l’égard de l’évaluation continue et de la reconfiguration des évaluations en fonction des données est un élément important de l’initiative BIC. Plusieurs instruments sont utilisés pour assembler les données concernant le programme,


69notamment les demandes de participation, les examens antérieurs et postérieurs aux cours, de brèves enquêtes quotidiennes sur les participants et les notes conceptuelles des évaluations. Par ailleurs, les données administratives sont assemblées tout au long de la mise en œuvre des programmes, notamment les termes de référence pour les propositions de dons à l’appui des services de tutorat fournis par les professeurs pour des évaluations spécifiques et les rapports ordinaires. L’analyse de ces données a entraîné des modifications importantes à certains programmes.

Par exemple, au cours de la première année de l’atelier, on s’est aperçu que les participants n’avaient pas les mêmes connaissances et aptitudes techniques en matière d’évaluation d’impact (Graphique 1). Pour mieux répondre à leurs besoins, deux filières ont été créées au cours de la deuxième année de formation, soit une filière « technique » et une filière « politiques ». Ce système à deux filières a pour effet que les participants sont formés selon le niveau approprié de leurs connaissances tout en continuant d’apprendre en vue d’obtenir les mêmes connaissances en évaluation vers la fin de la période de formation.

La filière « Technique », en anglais, a été conçue pour répondre aux besoins des participants justifiant d’une expérience en évaluation d’impact conjuguée à une formation universitaire en économétrie ou en statistique. Les participants à cette filière appliquent probablement déjà les techniques d’évaluation dans leurs activités journalières ou envisagent de le faire. Ils devraient connaître à la fois les méthodes expérimentales et quasi-expérimentales sur le terrain. La formation est dispensée à travers des cours magistraux en économétrie appliquée faisant appel à plusieurs méthodes avancées et à des modèles statistiques. La filière aborde également de nouvelles techniques pour l’application de méthodes sur le terrain, notamment les approches qui réduisent les risques potentiels auxquels s’expose la conception des évaluations.

La filière « Politiques », en espagnol, s’adresse aux professionnels du développement qui ne sont pas familiarisés à l’évaluation d’impact. Les participants peuvent souhaiter comprendre la façon dont l’évaluation est utilisée pour renforcer la qualité des programmes ou la façon dont les résultats d’évaluations peuvent influencer la prise de décisions. Cette filière n’exige pas de connaissances préalables en statistique ou en

Graphique 1 Niveau des connaissances antérieures des participants

Note: La ventilation des notes pour les connaissances des participants en année 1 montre une distribution bimodale, ce qui indique une démar-cation entre les débutants et les participants plus avancés. Les données proviennent d’un examen que tous les participants ont passé avant de commencer la formation.

10

9

8

7

6

5

4

3

2

1

0

0 2 4 6 8 10 12 14

DÉBUTANT

AVANCÉ

NO

MB

RE

DE

PAR

TICI

PAN

TS

eVALUatiOn Matters

70 économétrie, et les sessions sont menées selon une approche intuitive avec peu de recours aux équations ou aux modèles statistiques. Les participants apprennent la valeur des méthodes d’évaluation d’impact ; ils cherchent également à comprendre comment et pourquoi différentes méthodes sont utilisées pour répondre aux besoins de différents programmes. Ils apprennent à identifier les évaluations qui montrent de façon crédible l’impact occasionnel d’un programme. La filière donne un aperçu des méthodologies expérimentales et non expérimentales d’évaluation d’impact et examine les intuitions, les forces et les faiblesses qui sous-tendent chacune des méthodes.

Comme le montre le Graphique 2, les participants qui suivent les deux filières ont acquis un surcroît de connaissances à la fin de l’atelier de deux semaines. Les notes des participants à la filière « Politiques » -ont augmenté de 31 % en moyenne entre le début et la fin de la formation. Celles des participants à la filière « Technique » ont augmenté de 23 % en moyenne.

Les variations des notes sont statistiquement significatives pour les filières (p<0.01). Des outils d’évaluation différents ont été utilisés pour les deux filières. Les notes médianes sont faibles dans les deux groups (l’examen d’évaluation a été difficile), mais il a été prouvé que le programme a contribué à augmenter les connaissances des participants en matière d’évaluation d’impact.

Ce qui est important, c’est que les participants ont déclaré avoir été très satisfaits du programme, auquel ils ont attribué la note de 6 sur 7. Ils ont estimé que l’atelier était de nature à inf luer fortement sur leur productivité et sur la qualité de leur travail. 70 % d’entre eux ont indiqué que les aptitudes et les concepts appris pouvaient être immédiatement appliqués à leur travail. Cela donne à penser que le programme a également contribué à susciter l’adhésion à l’égard de l’évaluation d’impact, ce qui constitue une étape essentielle sur la voie de l’institutionnalisation de cette approche.

Graphique 2 Notes avant et après l’atelier de formation

RÉPARTITION DES NOTES FILIÈRE “POLITIQUES”

RÉPARTITION DES NOTES FILIÈRE “TECHNIQUES”

RÉPARTITION DES NOTES FILIÈRE “POLITIQUES”

RÉPARTITION DES NOTES FILIÈRE

Notes avant la formation Notes après la formation

Notes avant la formation Notes après la formation


71Le BIC a également porté ses fruits au plan de la mise en œuvre des évaluations d’impact. Grâce à leur participation au programme, les équipes d’évaluation ont mobilisé plus de 1,5 million de dollars EU pour le financement d’évaluations d’impact maintenant en cours. Au moins 7 équipes de projet continuent de tirer parti des connaissances des professeurs à travers une collaboration active sur les évaluations, ce qui laisse croire que l’initiative BIC a réussi à établir des relations durables entre le monde universitaire et les organisations d’exécution de projets. Ces études évaluent les programmes de réduction de la pauvreté par le biais de transferts conditionnels de fonds, des interventions dans les secteurs de la santé et de la nutrition, le renforcement de l’enseignement maternel et primaire, la création d’emplois et la prévention de la violence faite aux femmes.

Une voie à suivre bien baliséeS’appuyant sur l ’expérience acquise au sein de la Banque mondiale, le CEGA et la BID ont mis au point une nouvelle approche en matière de renforcement des capacités et d’institutionnalisation de l’évaluation d’impact dans les organisations multi latérales. Le Groupe indépendant d’évaluation de la Banque mondiale2 a indiqué que les progrès sur la voie de l ’institutionnalisation de l ’évaluation se réaliseront à travers :

1. Initiatives menées par les pays : Les évaluations sont dirigées par les pays et gérées par une administration centrale ou un important organisme sectoriel.

2. Forte adhésion de la part des parties prenantes : Forte adhésion de la part des organismes visés par les évaluations, du Parlement, des décideurs, des responsables

2 Se voir “Institutionalizing Impact Evaluation within the Framework of a Monitoring and Evaluation System” http://econ.worldbank.org/external/default/main?pagePK=64165259&theSitePK=469372&piPK=64165421&menuPK=64166093&entityID=000333037_20091217225639

de la planification budgétaire et du public – et solide appui d’une branche puissante de l’administration centrale (habituellement les finances ou la planification) qui gère la mise en œuvre du programme d’évaluation. Le système a besoin de « champions », en particulier à ses débuts, mais il doit nécessairement été dépolitisé de sorte qu’il ne soit pas gravement touché par l ’issue d’élections nationales ou des changements apportés dans l’appareil de l’État.

3. Renforcement des capacités en évaluation : Les capacités de préparation, de conception, de conduite, de gestion et d’utilisation d’EI doivent être renforcées. La demande d’évaluations est forte, et l’offre de savoir-faire technique ainsi que la capacité organisationnelle de mener des évaluations et d’analyser des données sont adéquates. La collecte et l ’analyse de données ont également été renforcées dans les organismes de planification de sorte que les séries de données -comme le revenu et les dépenses des ménages ou les enquêtes démographiques et sur la santé- sont disponibles et peuvent servir de données de référence ou pour la sélection de groupes de contrôle/comparaison dans le cadre de nouvelles études.

Erin Murphy-Graham (professeur à la faculté d’éducation de l’UC à Barkeley) et Michelle Perez (BID) encadrent une équipe de la BID en cours d’évaluation de l’efficacité d’un programme de nutrition pour la petite enfance au cours de la deuxième année du programme (juillet 2014).

eVALUatiOn Matters

Le modèle de formation testé par l’entremise du BIC vise ces trois cibles. Les équipes de projet sont intentionnellement constituées de représentants des pouvoirs publics et des organisations multilatérales en vue de renforcer le rôle des pays dans la conduite des évaluations. Ces équipes sont également très bien

accueillies par les principales parties prenantes. Le programme vise à renforcer les capacités de toutes les parties prenantes concernées et est adapté au niveau des connaissances de chacune d’elles, suivant les filières « Technique » et « Politiques ». Cela a pour effet d’accroître les compétences de tous et de favoriser la même compréhension de l’évaluation d’impact. Il a également été prouvé que le programme accroît les connaissances et les aptitudes techniques des participants en matière d’évaluation d’impact, et a donné lieu à la mise en œuvre de nombreuses évaluations d’impact en cours.

L’approche pluridimensionnelle du CEGA à l’égard de l’institutionnalisation de l’évaluation d’impact dans les organisations multilatérales n’a été mise en œuvre qu’avec la BID jusqu’alors, mais elle a le potentiel de porter ses fruits au sein d’autres organisations. Toutefois, la promotion de l’évaluation d’impact dans de nouveaux contextes nécessite d’adapter le programme d’évaluation aux cultures, normes et structures d’intéressement pertinentes.

Alexandra Orsola-Vidal (CEGA) encadre une équipe de la BID en cours d’évaluation de l’efficacité d’un programme visant à améliorer la sécurité routière en Colombie pendant la première année du Programme BIC (juillet 2013).

72


Cameron Breslin appuie les initiatives de formation et de renforcement des capacités du CEGA à titre de chargé de programme et gère l’initiative conjointe Berkeley – BID sur l’évaluation d’impact. Il justifie d’une vaste expérience en formation et renforcement des capacités, en particulier pour l’évaluation d’impact, et a été auparavant responsable du renforcement des capacités du personnel à Innovations for Poverty Action. Il a mené des études de terrain sur les effets des produits de microfinance au Bangladesh et les programmes de formation en gestion financière en Ouganda. Il détient un B.A. en littérature comparée de Hamilton College.

Alexandra Orsola-Vidal est la directrice de Global Networks au CEGA. Elle est responsable de toutes les initiatives de formation et de renforcement des capacités et pilote les efforts faits par le CEGA pour créer un réseau d’universités, d’agences de développement et d’instituts nationaux de recherche qui font la promotion d’une évaluation rigoureuse. Depuis 2006, elle est consultante pour la Banque mondiale où elle conçoit et met en œuvre des tests comparatifs randomisés pour des programmes de grande envergure dans le monde. Elle jouit d’une vaste expérience en matière de conduite d’ateliers sur l’évaluation d’impact pour les professionnels locaux et les organisations bilatérales. Elle a travaillé au sein d’ONG locales et internationales telles que BRAC et Ingénieurs sans frontières. Elle détient une maîtrise en études du développement de la London School of Economics et une Licence en économie de l’Universitat Autonoma de Barcelone.

Temina Madon est la directrice générale de CEGA et responsable du développement scientifique, des partenariats et de la sensibilisation. Elle a été auparavant conseillère scientifique pour les instituts nationaux du Health Fogarty International, où elle son activité consistait essentiellement à renforcer les capacités de recherche dans les pays en développement. Elle a également chargée de recherche en politique scientifique et technologique pour le comité sénatorial américain sur la santé, l’éducation, le marché du travail et les pensions responsable d’un important portefeuille de questions de santé au plan mondial. Elle détient un Ph.D. de Berkeley et un S.B. de la MIT.

73

Jacob Oduor, Elsa de Morais Sarmento, Laurence Lannes

L’évaluation d’impact dans les institutions de développement : l’exemple de la Banque africaine de développement


eVALUatiOn Matters

74 Les remises en cause récentes de l’efficacité de l’aide ont intensifié les appels au renforcement de l’obligation de rendre compte et à l’évaluation de l’impact de cette aide. La Déclaration de Paris sur l’efficacité de l’aide (2005) a recommandé une gestion de l’aide au développement axée sur les résultats et les faits probants. Le programme de développement après 2015 vise également à renforcer la responsabilité et à faire en sorte que le nouveau cadre de développement porte ses fruits.

Compte tenu du surcroît d’accent mis sur l’obligation de rendre compte, l’évaluation d’impact (EI) est devenue un outil inf luent de mesure de l’efficacité des interventions au niveau micro. À un niveau plus macro, l’EI a eu des apports plus grands en termes de comptabilité de la dépense publique et a fourni les bases d’une prise de décisions axées sur les faits observes. L’EI permet d’établir ce qui marche et ce qui ne marche pas ainsi que les causes fondamentales et les écarts, tout en permettant simultanément de quantifier les effets. Elle fournit également une base solide pour la production d’enseignements concernant les facteurs de réussite des projets/programmes et des aspects de gouvernance, qui peuvent être appliqués à la conception de projets futurs. L’EI est ainsi un outil essentiel dans les efforts faits au plan mondial pour améliorer l’efficacité de l’aide et la dépense publique tout en renforçant l’obligation de rendre compte.

La nouvelle approche en matière de développement fondée sur des opérations stratégiques et la gestion axée sur les résultats a établi qu’il faut de plus en plus de services opérationnels pour démontrer l’impact, dans le but d’obtenir des financements et de rendre compte aux bailleurs de fonds et aux bénéficiaires. Un accent de plus en plus grand est mis, au sein de la plupart des institutions multilatérales et bilatérales de développement, sur la mesure de l’impact des interventions. La signification double du terme « impact » dans le langage du développement, à savoir les effets à long terme ou strictement les effets attribuables, continue d’entretenir l’ambiguïté et les malentendus. Mais le débat entourant l’attribution de réalisations aux interventions lorsque la gestion axée sur les résultats est en place devient important pour une institution comme la Banque africaine de développement qui est souvent partie à des partenariats et à des cofinancements, et également parce que les réalisations peuvent être attribuables à plus d’une intervention indépendante mise en œuvre par des institutions différentes.

La situation de l’EI en AfriqueOn a observé au cours des dix dernières années une prolifération des EI dans le monde, portant sur une vaste gamme d’interventions de développement, de la santé aux transferts de fonds, et de l’augmentation de l’autonomie des femmes aux initiatives touchant à l’infrastructure. Dans plusieurs cas, les constations des évaluations ont fortement contribué à façonner les projets futurs ainsi que l’élaboration de politiques et la programmation.

Ces dernières années, l’EI a été menée de façon rigoureuse par les experts africains les plus réputés, qui n’ont pas craint d’aborder les questions essentielles qui se posent à l’Afrique. On estime que jusqu’à 250 évaluations d’impact achevées ou en cours ont déjà été menées en Afrique subsaharienne1. La demande pour une évaluation rigoureuse des politiques s’intensifie lentement, mais sûrement. Toutefois, le nombre de tests comparatifs randomisés de grande envergure visant les politiques publiques en Afrique reste limité, même s’il est en hausse.

1 Africa Impact Evaluation Network (http://www.ifpri.org/book-744/node/8242)


75L’augmentation de la sensibilisation aux activités d’EI en Afrique peut avoir pour effet de renforcer le rythme et la qualité du développement et de doper la mobilisation des ressources à travers l’amélioration de la transparence et de la responsabilité. Toutefois, le gros du travail expérimental en matière de conduite d’EI rigoureuses en Afrique a été fait dans peu d’endroits et dans peu de secteurs. Les institutions multilatérales jouent donc un rôle déterminant au plan de l’appui à ces initiatives, notamment l’intégration de l’EI dans les projets qu’elles financent et le déploiement de ressources pour consolider ces efforts.

Evaluation de l’efficacité du développement à la BADA la BAD, le champ de l’EI reste réduit. Certains types de produits de financement ou de projets, comme l’alimentation en eau et l’assainissement en milieu rural ou les infrastructures, ont accaparé des ressources très importantes, mais la Banque n’a commencé que récemment à mener une recherche sérieuse pour savoir ce qui marche effectivement et ce qui peut être attribué à ses propres interventions. Les projets et programmes comportent toujours une composante suivi et

évaluation (SE) comme l’indique l ’encadré 1 ci-dessous.

Toutefois, les choses commencent à bouger. Dans sa Stratégie décennale 2013-2022, la Banque a réaffirmé son engagement à améliorer la gouvernance et la responsabilité concernant ses opérations et à renforcer la priorité donnée aux résultats, à travers entre autres « plus d’évaluations d’impact au niveau national […] pour mieux prendre en compte les résultats et les enseignements tirés des programmes et des projets ». Il s’agit donc de faire en sorte que l’aide soit axée sur les résultats et les impacts sur le front du développement. Dans le même ordre d’idées, le Conseil d’administration de la BAD, au cours des discussions entourant la Treizième reconstitution générale des ressources du Fonds africain de développement (FAD-XIII), s’est engagé à accroître le recours aux faits probants provenant des EI pour la conception de projets. La Section 3.24 du rapport final indique que « dans le cadre de ses efforts visant à améliorer la qualité de la conception et la mise en œuvre, la Direction redoublera d’efforts pour développer et appuyer une culture axée sur l’apprentissage à la Banque, notamment en mettant un accent

Encadré 1 Le suivi et l’évaluation à la BAD

Les projets financés par la BAD comprennent en général une composante SE qui évalue la réalisation de cibles spécifiques (par exemple, les indicateurs de performance énoncés dans le cadre logique axé sur les résultats). Les responsables de projets concentrent donc leur attention sur la conception et la mise en œuvre des projets au début du cycle et remettent à la phase finale les décisions finales concernant la préparation du terrain pour le SE. Il y a jusqu’ici très peu d’incitatifs à compenser le coût et le temps d’élaboration réservés à la conception d’un système approprié dédié aux projets, qui permette la conduite d’évaluations d’impact. La gestion axée sur les résultats au plan du développement doit donc être mieux intégrée et utilisée plus systématiquement tout au long du cycle de projet.

Les évaluations effectuées dans le passé ont en outre produit peu d’information au sujet des effets intermédiaires ou à long terme des projets/programmes et des changements nets au plan des réalisations susceptibles d’être directement attribuables aux projets, à cause surtout de l’absence de données de référence et d’une collecte systématique de données tout au long du cycle qui permette l’évaluation des réalisations finales, ainsi que l’absence de systèmes d’information adéquats. Le projet achevé, le Département de l’évaluation indépendante pour le développement (IDEV) de la BAD mène des évaluations indépendantes de la performance de quelques projets (notes d’examen de rapports d’achèvement de projet et rapports de supervision élargis pour les projets du secteur privé). Ce département mène également des évaluations de la performance des projets portant sur des projets autonomes ou des groupes thématiques, des évaluations au niveau des pays et des évaluations de haut niveau pour des secteurs ou des thèmes spécifiques. IDEV conduit actuellement une évaluation étendue des résultats au plan du développement des opérations de la BAD mises en œuvre en Afrique au cours de la dernière décennie. C’est dans ce cadre qu’entrent ses deux premières EI, qui concernent le secteur de l’eau et de l’assainissement en Éthiopie et en Tanzanie.

eVALUatiOn Matters

76 plus grand sur l’évaluabilité et le recours à l’auto-évaluation… ». Le Groupe de la BAD effectue les EI de façon sélective dans des secteurs où elle est en mesure de produire les résultats les plus valables. La Direction s’est également engagée à intégrer un nombre limité d’EI dans les projets de façon à établir des références solides et à incorporer la méthodologie dans la conception des projets et à mener d’autres EI pour contribuer à l’apprentissage dans les secteurs qui nécessitent des connaissances. La Banque s’est également engagée à mettre clairement l’accent sur la production du savoir en complément de son activité de financement. La priorité est maintenant donnée, à tous les niveaux d’activité, sur le renforcement de l’efficacité avérée de l’aide au développement et sur la production du savoir.

Initiatives prises récemment pour le développement des évaluations d’impact à la BADDepuis 2014, deux départements des opérations, soit le Département du développement humain (OSHD) et le Département de l’eau et de l’assainissement

(OWAS), avec l ’appui du Département de la recherché (EDRE), ont lancé en collaboration deux EI, une au Sénégal et l’autre en Zambie/Malawi, pour mesurer l’impact des interventions WASH sur la santé et d’autres questions sociales. OSHD a en outre intégré des composantes EI dans un certain nombre de nouveaux projets au Congo Brazzaville, au Kenya, en Ouganda et au Malawi pour évaluer l’impact que plusieurs opérations dans le secteur de l’éducation ont sur l’accès, la qualité et la pertinence de l’enseignement supérieur dans ces pays.

Parallèlement à ces initiatives sectorielles visant à établir l’impact et à amener d’autres départements à comprendre l’importance de l’EI, un groupe de référence pour les évaluations d’impact (IERG) a été mis en place à la Banque en 2012 et prépare actuellement une stratégie relative aux EI au sein de l’institution. L’IERG vise à faire connaître l’évaluation d’impact à la Banque (Encadré 2).

Pour le moment, la structure de gouvernance pour la prise en compte de l’EI à la Banque comprend trois entités. Mises ensemble, elles peuvent créer des synergies et fournissent des ressources permettant

Encadré 2 Le groupe de référence pour les évaluations d’impact de la BAD (IERG)

Le projet de stratégie pour les évaluations d’impact donne à l’IERG la mission de fournir l’orientation stratégique à toutes les étapes du processus d’EI et d’appuyer la conduite d’évaluations d’impact rigoureuses et crédibles. L’IERG fournira également l’orientation opérationnelle à la direction de l’EI et fera valoir son point de vue sur la conduite des EI à la Banque. Ses principales attributions sont, entre autres :

• Préparation des documents fondamentaux appropriés, notamment le plan stratégique de la Banque relatif aux évaluations d’impact ;

• Coordination des sessions de formation et d’apprentissage sur l’EI ;

• Elaboration de directives relatives à la sélection de projets aux fins d’EI ;

• Contribution à la hiérarchisation et à la détermination de l’orientation stratégique de l’EI à la Banque ;

• Identification de sujets/thèmes pertinents à soumettre à l’EI et examen des propositions provenant des départements des opérations aux fins d’EI ;

• Contribution à l’identification et à la sélection des sources de financement, de fonds spéciaux et d’autres sources ;

• Supervision de la mise en œuvre des directives relatives à l’EI provenant des départements des opérations ;

• Approbation de la stratégie de diffusion de la stratégie d’évaluation et fourniture de conseils concernant l’utilisation des constatations des évaluations ;

• Contribution à la préparation d’un rapport annuel sur l’EI à la Banque ;

• Élaboration et promotion de nouvelles approches à l’égard de l’EI dans les principaux domaines d’intervention de la Banque qui stimulent l’élaboration de politiques axées sur les faits probants, comme les examens systématiques et les évaluations d’impact dans un contexte réel.


77de mettre ces initiatives en œuvre. Il s’agit de l’équipe technique des évaluations d’impact, qui relève d’EDRE et qui est chargée de la recherche et de l’appui technique, et de l’IERG, coordonnée par EDRE et comprenant le département IDEV et 3 départements des opérations (OHSD, OWAS, ONRI), chargé de la coordination et des aspects opérationnels des EI. De plus, d’autres points focaux dans les autres départements des opérations pourraient faire partie de cette structure prochainement.

Dans ces activités de sensibilisation sur l’EI, l’IERG a invité le 9 décembre 2013 le professeur Paul Gertler, expert de renommée mondiale en évaluation d‘impact de l’université Berkeley, à faire un exposé au cours de la séance de communication tenue à la Banque sur la mesure des résultats et l ’évaluation de l’impact des opérations de développement. Plus de 75 % des employés de la Banque ont participé à cette manifestation spéciale qui leur a permis de comprendre la problématique de l’EI, de les familiariser avec les stratégies d’identification du moment opportun et de la façon de mener des EI, de faire la distinction entre l’EI et l’analyse coûts/avantages et d’apprendre comment comparer les résulter aux variables contrefactuelles. La séance de communication a été suivie par un atelier de formation technique de quatre semaines animé par le Centre régional d’apprentissage sur l’évaluation et les résultats de l’université de Witwatersrand, en Afrique du Sud, à l’intention d’un groupe de 25 chefs de projet provenant d’IDEV et d’EDRE.

Que réserve l’avenir ?La Stratégie décennale 2013-22 de la Banque prévoit une augmentation des EI à la Banque. Le programme des EI de la BAD sera exécuté selon un ordre de priorité favorisant les interventions susceptibles de montrer les initiatives qui portent leurs fruits et celles qui sont insatisfaisantes en vue d’augmenter l’efficacité et la responsabilité de la Banque tout en renforçant sa structure de gouvernance et en intensifiant l’impact de ses interventions dans le but ultime de solidifier

sa contribution à la réduction de la pauvreté et à la réduction des inégalités. Les domaines d’intervention proposés cadrent avec la Stratégie décennale, dont les principaux axes sont l’infrastructure, l’intégration régionale, le développement du secteur privé, les compétences et la technologie, la gouvernance et l’obligation de rendre compte.

Combler l’écart et tenir le capLa gestion axée sur les résultats a suscité beaucoup d’enthousiasme dans la mesure où elle établit un lien solide entre les interventions et les réalisations sur le front du développement. Dans ce contexte, l’EI a été mise sous les feux de la rampe. Le besoin de déterminer si les réalisations au plan du développement sont attribuables à des interventions en particulier, leur rentabilité et la façon dont les impacts sont produits, demeure et s’est accru au cours des dernières années. Jusqu’ici, le peu d’intérêt pour l’EI à la BAD n’a pas permis d’établir si les résultats de l’aide ont créé des conditions favorables à la réduction de la pauvreté ou sont allés plus loin en exerçant un impact additionnel réel dans la lutte contre la pauvreté.

L’adoption de plus en plus généralisée d’approches en matière d’aide axées sur les résultats et l ’évaluation de l ’aide ont des répercussions importantes, en particulier sur les financements. Il est possible que les ressources et les budgets soient encore limités pour mener des EI à grande échelle. Aussi, est-il impérieux de hiérarchiser les opérations à évaluer tout en maintenant une approche hautement stratégique.

institutions auxquelles elle se compare, la BAD doit adopter les pratiques modèles pour rattraper le peloton de tête de l’EI tout en restant au fait de l’évolution au plan des méthodologies. Le rythme de cette évolution s’est accéléré, à la mesure de l’apparition et de la mise à l’essai de nouveaux cadres qualitatifs et quantitatifs. On admet maintenant qu’il n’existe pas d’approche conceptuelle et méthodologique polyvalente ni de panacée. Combler l’écart et adopter les normes les

eVALUatiOn Matters

78 plus élevées, c’est abandonner l’analyse du type « avant et après » pour élaborer et mettre en œuvre un portefeuille diversifié de conceptions d’évaluation expérimentales et quasi-expérimentales qui règlent la question de l’attribution de l’impact tout en restant alignées sur les meilleures pratiques

appliquées au plan international. La BAD continue de viser ces objectifs et s’attèle à diversifier ses approches méthodologiques et ses produits du savoir dans le domaine de l’EI, notamment à travers des opérations pilotes et des partenariats spécialisés.


Jacob Oduor a rejoint la Banque africaine de développement en 2012 comme économiste principal chargé de la recherche au Département de la recherches pour le développement. Il est titulaire d’un doctorat en économie de l’Université de Bielefeld en Allemagne, avec spécialisation en économétrie et macroéconomie. Avant de rejoindre la Banque, il était directeur de la recherche au Centre de recherche sur les marchés et la politique financière de l’Association des banquiers du Kenya (KBA). Avant cela, Jacob était analyste de recherche principal à l’Institut kényan de la recherche publique et analyse des politiques (KIPPRA) au Kenya, où il travaillait depuis 2002. Il a également été Chargé de cours au Département d’économétrie et statistique de l’Université Kenyatta, où il a enseigné pendant sept ans.

Elsa Morais Sarmento est spécialiste de l’économie appliquée et évaluatrice. Elle a été professeur d’économie et d’économétrie pendant plus d’une décennie à l’Université d’Aveiro (Portugal), chercheur à NOVAFRICA (Nova School of Business and Economics), au CEP (LSE / Royaume-Uni) et au Parlement européen, puis évaluatrice pour la Banque africaine de développement, la Banque mondiale, des agences des Nations Unies, l’Organisation des États des Caraïbes orientales et la Commission européenne. Elle s’est également engagée comme conseillère politique à la Chambre des communes (Royaume-Uni), par plusieurs gouvernements en Afrique et les institutions supra-nationales en Europe, et occupé plusieurs postes de directeur au Bureau de recherches du ministère portugais de l’Economie.

Laurence Lannes est une économiste de la sante de nationalité française. Elle a travaillé en France dans le domaine du développement et passé quatre ans à la région Afrique de la Banque mondiale, puis un an en Asie du sud-est. Ses domaines de compétence sont l’évaluation d’impact, la sante électronique, le secteur pharmaceutique et le financement des services de santé. Elle vient d’achever sa thèse de PhD à la London school of economics sur la performance de la prestation des services de santé au Rwanda en utilisant des données tirées d’une évaluation d’impact.


79

Peter Huisman, Rik Linssen, Anne Oudes

Améliorer l’apprentissage en impliquant les parties prenantes dans les études d’impact d’Oxfam

eVALUatiOn Matters

80 Le Comité des Citoyens du Monde (CCM) a été développé par Oxfam comme nouvelle approche de mesure d’impact. Les principales caractéristiques de cette approche sont une combinaison des recherches quantitative et qualitative, l’implication de toutes les parties prenantes tout au long du processus, l’accent étant mis sur un apprentissage commun. À ce jour, Oxfam a mis cette approche en œuvre dans six pays d’Asie et d’Afrique et se prépare à l’étendre à huit autres pays. Le présent article explique l’approche et présente certains des résultats des études d’impact effectuées récemment en Ouganda et au Nigeria.

« Voir de mes propres yeux un tel impact dans la vie des gens, cela a amélioré ma façon de travailler » ; C’est ce que disait Adrine lors de la dernière réunion du Comité des citoyens du monde en Ouganda. « Je suis devenue plus motivée et déterminée à œuvrer pour de plus grands changements dans la vie des gens. Je sais que de nos formations peuvent faire évoluer les choses, je veux faire de mon mieux pour aider à atteindre cet impact. » Adrine a participé à toutes les étapes du processus de mesure d’impact du Comité des citoyens du monde en Ouganda : l’identification d’indicateurs d’impact, les questions de l’enquête, la collecte de données - des deux questionnaires et des entretiens approfondis - et l’interprétation des résultats. Sa participation lui a fait voir l’impact de son travail d’une manière nouvelle. Elle est l’un des nombreux acteurs qui ont été impliqués dans la mise en œuvre du CCM.

L’approche Comité des citoyens du monde Les Comités des citoyens du monde ont été conçus par Oxfam pour mesurer l’impact de ses programmes sur les personnes vivant dans la pauvreté et l’injustice. Le CCM vise à mesurer d’une manière simple et fiable les changements dans la vie des gens à qui Oxfam et ses partenaires ont apporté une aide. C’est une approche f lexible qui peut être adaptée à différents besoins et contextes. Notre objectif est procéder de cette manière dans tous les pays où travaille Oxfam, de créer un «comité des citoyens du monde» composé de personnes qui inf luent sur les stratégies et les activités d’Oxfam. L’approche est basée sur les caractéristiques présentées ci-dessous.

Les citoyens au centreNous encourageons les participants à nos projets à parler des changements qu’ils ont vécus, ainsi que leurs perceptions de l’évolution de leur pays. C’est pourquoi nous les interrogeons directement sur les changements survenus dans leurs vies. Nous ne voulons pas seulement qu’ils prennent la parole, mais aussi qu’ils d’inf luencent nos activités. Sur la base de leurs expériences et leurs réf lexions, nous reconsidérons notre travail et de l’impact atteint, afin d’être plus efficaces.

Focus sur l’apprentissageL’objectif principal du CCM est de permettre aux organisations et partenaires du programme d’apprendre et de prendre des décisions fondées sur des données probantes. Nous impliquons notre personnel et le personnel de nos partenaires dans la conception de la recherche (élaboration d’indicateurs), la collecte de données et l’interprétation. Les gens apprennent mieux quand ils sont impliqués dans le processus de recherche et l’interprétation des résultats, comme la citation d’Adrine le montre. Ils apprennent aussi comment mesurer l’impact ainsi que la façon dont ils peuvent augmenter leur impact en rendant leurs stratégies plus efficaces. Le CCM organise plusieurs forums pour discuter du processus et des résultats avec toutes les parties prenantes, afin de s’assurer que l’apprentissage a lieu et que les enseignements aident dans l’adaptation des stratégies actuelles et permet d’en élaborer de nouvelles.


81Combinaison des recherches quantitative et qualitativePour mesurer l’efficacité de notre travail, une enquête est réalisée auprès d’un échantillon aléatoire de notre groupe cible (les participants au projet) et d’un groupe de comparaison (non participants), qui sont interrogés sur les changements qu’ils ont perçus dans leur vie. L’objectif est d’évaluer la mesure dans laquelle Oxfam et ses partenaires locaux ont contribué à ces changements. Les enquêtes utilisent un logiciel de sondage en ligne qui permet la collecte de données hors ligne en utilisant une application sur smartphone ou tablette. Les statistiques descriptives sont disponibles en ligne immédiatement après la fin de la collecte des données. D’autres analyses statistiques sont effectuées par l’équipe de recherche de CCM pour déterminer l’impact des activités du projet.

Les enquêtes sont complétées par la recherche qualitative comme suit : des personnes sont invitées à raconter leur «histoire de changement», en racontant ce qui a été le principal changement dans leur vie / leur communauté au cours des dernières années et comment on en est arrivé à ce changement. La recherche qualitative complète le sondage quantitatif de plusieurs façons : l’enquête donne un point de vue -le quoi-, l’éclairage apporté sur l’histoire par les détails sur la façon dont le changement est arrivé -le

comment-. L’approche histoires du changement laisse largement la possibilité révéler des changements inattendus. Les résultats pouvant ensuite être quantifiés dans une prochaine série d’enquêtes.

Décisions basées sur des informations fiablesLes éléments clés de cette approche sont : un échantillonnage aléatoire pour l’enquête, la sélection rigoureuse d’un groupe de comparaison, la formation et l’encadrement adéquats du personnel de terrain concernant la conduite d’entretiens, des analyses statistiques et qualitatives solides. Des données recueillies par un agent en contact régulier avec le répondant et ayant établi un rapport de confiance augmente la fiabilité des données, si l’entretien est mené correctement. Des enquêteurs externes peuvent être plus neutres, mais aussi moins en mesure de poser des questions sensibles ou d’encourager la personne interrogée à être aussi franche et ouverte que possible. La formation et l’encadrement sont nécessaires si l’on veut éviter des réponses socialement souhaitables (lorsque les répondants veulent plaire aux enquêteurs et signalent plus d’impact que ce qui est effectivement réalisé). Sur ces questions méthodologiques, nous voulons également baser les décisions sur des données probantes. Voilà pourquoi notre équipe de chercheurs étudie l’influence des enquêteurs de l’organisation elle-même par rapport aux enquêteurs recrutés à l’extérieur.

eVALUatiOn Matters

82 Renforcer les capacités locales Les organisations de la société civile jouent un rôle important dans la lutte contre la pauvreté et l’injustice. Elles exercent un contre-pouvoir important face aux structures de l’Etat et aux institutions commerciales du marché. Oxfam travaille donc avec de nombreuses organisations de la société civile dans différents pays. Dans tous nos programmes, projets et campagnes, nous visons à renforcer la capacité de la société civile. Cela fait partie de ce qui pour nous constitue la qualité du programme. Nous pensons qu’il est impossible de lutter contre la pauvreté et l’injustice d’une manière durable sans le renforcement de la capacité des citoyens à trouver des solutions à leurs besoins et d’influencer les décisions qui affectent leurs vies. Soutenir le développement des capacités des partenaires dans les domaines de la planification, du suivi, de l’évaluation et de l’apprentissage est l’une des composantes importantes de notre travail de renforcement des capacités avec des partenaires. Le Comité des citoyens du monde commence donc par un atelier pour expliquer notre méthodologie de mesure de l’impact, offre ensuite une formation et des conseils au moment de la collecte de données, de l’analyse et de la réflexion.

Réduire les coûts au minimumLes études d’impact nécessitent généralement des investissements considérables (en temps et argent) pour réunir l’expertise appropriée, mettre en place des méthodes et systèmes de collecte de données, et une analyse fiables. Oxfam reconnaît qu’une collecte de données et des analyses de haute qualité dans le cadre d’une étude d’impact sont importants pour une prise de décision stratégique. Par ailleurs, les ressources sont limitées et en même temps, il y a une tension entre allouer des ressources aux activités directement liées aux projets en vue de changer la vie des gens qui vivent dans la pauvreté et l’injustice, et mesurer l’impact desdites activités. Par conséquent, le Comité des citoyens du monde a développé une approche à la fois rentable et fiable pour la collecte de données, en travaillant avec le personnel local, pratiquant la collecte de données mobile, et s’en remettant dans une large mesure aux systèmes automatisés.

Mise en œuvre du Comité des Citoyens du MondeL’approche CCM se met progressivement en œuvre dans les programmes de différents pays. Après un projet pilote en Ouganda, des études d’impact ont été menées en Somalie, au Nigeria, au Mali, au Pakistan et au Cambodge. L’exemple d’une étude récente au Nigeria est présenté ci-dessous.

L’approche Comité des Citoyens du Monde a été mise en place récemment au Nigeria. Dans un atelier de démarrage, nous avons défini des indicateurs d’impact pertinents avec les organisations partenaires d’Oxfam sur la base de leur théorie du changement. Avec l’élaboration de ces indicateurs de programme spécifiques, nous voulons trouver un équilibre entre l’applicabilité des indicateurs du pays concerné et son contexte programmatique, et la comparabilité avec d’autres indicateurs existants. La comparaison des résultats du CCM avec des enquêtes nationales représentatives (par exemple, enquêtes démographiques et sanitaires) peut servir de base pour la triangulation.

Les représentants des organisations partenaires ont été formés à la mise en œuvre de l’enquête au sein de leurs propres organisations. Les ateliers de formation ont couvert des aspects techniques tels que la façon de sélectionner des groupes de comparaison, l’échantillonnage et la manière de former les enquêteurs. Les organisations partenaires ont ensuite soumis des plans pour la conduite d’enquêtes couvrant des formalités techniques, la logistique, et les budgets de leur travail sur le terrain. Le personnel du CCM LES a guidées ce processus. Les organisations partenaires d’Oxfam ont mené des enquêtes sur 1880 participants à leurs projets et un groupe de comparaison de 1427 répondants, qui ne participaient pas à ces projets. Les domaines d’intervention des programmes au Nigeria et le questionnaire allaient de la justice économique et les moyens de subsistance, à la bonne gouvernance, le leadership féminin et de la justice entre les genres.


83

Figure 2 Pourcentage de répondants qui se sentent capables de se prononcer contre les violences faites aux femmes et aux filles dans leur communauté

Source : CCM Nigeria, 2014, partners in gender program n = 1341 *p<0.05 **p<0.01

Groupe cible Groupe témoin

Fem

mes

0% 25% 50% 75%

Impact1

5*

14*

100%

Hom

mes

1 L’estimation de l’impact est basé sur l’appariement des coefficients de propension, une technique statistique aux fins d’une comparaison “équitable” entre le groupe cible et le groupe témoin. La technique consiste à apparier des individus de groupe cible à ceux du groupe témoin ayant des caractéristiques comparables (par exemple l’âge, l’éducation, la taille du ménage, etc.). L’appariement est basé sur un ensemble de caractéristiques de référence pertinents (voir le rapport complet). L’estimation de l’impact représente ici la différence entre le groupe cible et un groupe témoin ; dans la terminologie de l’appariement des coefficients de propension, cela s’appelle l’effet de traitement moyen du traité ( ATT) sur l’indicateur pertinent.

La violence contre les femmes et les fillesL’approche basée sur les droits d’Oxfam place la diminution de la violence sexiste comme objectif important dans le contexte de l’équité des genres. Oxfam a identifié le manque place pour les femmes au Nigeria, aussi bien dans les domaines sociaux qu’économiques et politiques, ce qui est un obstacle majeur au développement durable. Le pouvoir inégal entre les hommes et les femmes se remarque à travers la persistance de violences contre les femmes et les filles dans le pays. En sensibilisant sur l’importance de cette question, les femmes et les filles sont encouragées à s’exprimer publiquement et réclamer de la place dans les sphères sociale, économique et politique.

Après la collecte des données, les résultats de l’enquête ont été présentés lors d’un atelier de réf lexion au cours duquel des organisations partenaires et le personnel d’Oxfam ont eu des discussions constructives et critiques sur l’impact

de leur travail. L’atelier de réflexion a mis en évidence des découvertes surprenantes et défini des domaines dans lesquels une recherche en profondeur devait être menée grâce aux histoires de changement. Il est apparu au cours de l’atelier de réflexion que selon l’étude d’impact, une part importante des gens perçoit une diminution de la violence à caractère sexiste au cours des cinq dernières années (figure 1).

Cependant, il semble y avoir disparité entre les répondants vu 27 %des répondants soutiennent que la violence sexiste a plutôt augmenté au Nigeria. Il y a une sensibilisation accrue autour des violences sexistes, à la fois dans le groupe cible et dans le groupe de comparaison si on en croit divers autres indicateurs dans le questionnaire. Au-delà de la sensibilisation, les hommes et les femmes affirment qu’ils sont capables de parler publiquement des violences sexistes dans leurs communautés (figure 2), bien qu’un peu moins dans le groupe de comparaison.

Figure 1 Perception du changement en matière de violence sexiste au cours des 5 dernières années au Nigéria

Source : CCM Nigeria, 2014, n 0 3090

Par rapport à il y a 5 ans, diriez-vous qu’il y a eu un changement en matière de violences sexites au Nigéria ?

27 %

20 %

53 %

Il ya plus de violence sexiste

Rien n’a changer

Moins de violence sexiste

eVALUatiOn Matters

84

Figure 3 Mesures prises suite à des violences sexistes

Source : CCM Nigeria, 2014, selection of partners in gender program n = 742

En a parlé confidentiellement En a parlé ouvertement

A cherché du secours à lextérieur Pas de 2e, 3e ou 4e mesure

A contacté les autorités

0 %

25 %

50 %

75 %

100 %

14 %

11 %

3 %

73 %

78 %

6 %

8 %

7 %1 %

75 %

11 %

9 %

4 %1 %

91 %

4 %3 %3 %

1e mesure 2e mesure 3e mesure 4e mesure

L’enquête a également demandé dans quelle mesure les femmes avaient pris des mesures après avoir été victimes de violence sexiste et a demandé aux femmes de classer l’ordre des mesures prises. Ceci est illustré par la figure 3. Nous constatons que, malgré le fait que les répondants prétendent être en mesure de parler publiquement de violences sexistes, très peu de femmes prennent des mesures qui vont au-delà de la sphère privée suite à la violence sexiste. Certaines femmes le font, mais la plupart ne le font pas.

C’est là que commencent la partie qualitative, avec les histoires des processus de changement. Quel mécanisme peut expliquer le résultat surprenant de l’enquête ? Quels facteurs peuvent expliquer le décalage entre ces attitudes et le fait de prendre effectivement des mesures suite à une expérience de violence sexiste ? Qu’y a-t-il derrière les femmes qui ont réussi à prendre des mesures ? Quels ont été les facteurs de blocage pour les femmes qui n’ont pas été au-delà de la sphère privée ? Que pouvons-nous retenir de ces histoires pour améliorer nos théories du changement ?

Ces histoires sont ensuite analysées et combinés avec les résultats de l’enquête, de sorte que le personnel du projet puisse réfléchir sur les résultats de l’étude d’impact d’une manière globale et décider quels ajustements seront nécessaires pour la stratégie et la mise en œuvre du projet.

Les processus de renforcement des capacités et d’apprentissage ont été évalués par le personnel et les partenaires d’Oxfam au Nigeria. Ceux-ci ont indiqué que la capacité de mesurer l’impact avait été un élément clé pour leur engagement dans le CCM. Les réflexions et l’apprentissage les ont amenés à prendre des décisions cruciales fondées sur ce que les participants au projet considèrent véritablement comme changement dans leur vie. L’implication des partenaires dans le CCM leur a permis de voir, d’une manière relativement facile et (dans de nombreux cas) pour la première fois, à quoi ressemble l’impact de leur travail. Alors que la méthodologie adoptée pour les histoires du changement est enthousiasmante en raison de sa valeur pour la compréhension des processus de changement et la découverte de résultats inattendus, certains partenaires


85ont souligné que leur nouvelle capacité à comprendre le changement les aide également à parler du travail difficile qu’ils effectuent contre l’injustice et la pauvreté et renforce leurs efforts de collecte de fonds.

Pour plus d’informations sur l’approche et les résultats des études d’impact réalisées jusqu’à présent, veuillez vous rendre à l’adresse suivante : www.worldcitizenspanel.com


Peter Huisman dirige le projet des Comité des citoyens du monde. Il travaillé à Oxfam Novib depuis presque 20 ans, à différentes postes. Avant de rejoindre OXFAM, il a travaillé pour la FAO en Ethiopie et au Togo entre autres. Peter est géographe de formation et montre un vif intérêt pour l’innovation en matière de suivi, évaluation et apprentissage. Il a lancé le Comité des citoyens du monde en 2012 avec pour but d’améliorer la capacité d’Oxfam Novib à mesurer l’impact des programmes au niveau des participants, et de renforcer les capacités des organisations partenaires d’Oxfam Novib en suivi et l’évaluation.

Rik Linssen est un chercheur quantitatif spécialisé en recherche-sondage, économétrie techniques statistiques. À Oxfam Novib, Rik travaille sur la mesure quantitative d’impact dans plusieurs pays d’Afrique et d’Asie. Avant de rejoindre Oxfam Novib en 2014, Rik a travaillé comme statisticien-chercheur à Statistics Netherlands. Il est titulaire d’un Master en sciences sociales et culturelles de l’Université Radboud de Nimègue et termine actuellement une thèse de doctorat sur les tendances et les facteurs déterminant de la participation politique, dans une perspective comparative transnationale, à l’université de Maastricht.

Anne Oudes est chercheur qualitatif spécialisée dans la surveillance et l’évaluation et les histoires de changement (plus signifcant Change). Elle a obtenu une maîtrise de recherche en sciences sociales (cum laude) à l’Université d’Amsterdam. À Oxfam Novib, Anne est responsable de la recherche qualitative dans le Comité des citoyens du monde. Elle a travaillé auparavant au ministère des Affaires étrangères et chez Simavi ; elle a également passé trois ans au Rwanda comme expert en suivi et évaluation pour Broederlijk Delen, une ONG belge.

86

eVALUatiOn Matters

Développementrural

87


Les évaluations d’impact dans les projets de développement rural : Opportunités et défis. L’expérience naissante du Bureau indépendant d’évaluation du FIDA

Fabrizio Felloni, Simona Somma1

1 Respectivement chargé en chef et chargée d’évaluation, Bureau indépendant d’évaluation du Fonds international pour le développement de l’agriculture à Rome (BIE). Nous remercions Oscar Garcia, directeur, et Ashwani Muthoo, sous-directeur, du BIE, pour leurs observations. Les opinions exprimées dans le présent article sont celles des auteurs seulement et n’engagent d’aucune façon l’organisation à laquelle ils appartiennent.

eVALUatiOn Matters

88 L’engagement du Bureau indépendant d’évaluation (BIE) dans les évaluations d’impact : hier, aujourd’hui et demain Le contexte en évolution de la coopération internationale et du FIDA. L’intérêt et la demande croissants dans le monde pour une meilleure évaluation des résultats au plan du développement poussent de plus en plus les organisations internationales de développement à mesurer et à déclarer leurs résultats et l’impact de leurs interventions de façon plus précise, en particulier depuis la publication en 2006 d’un manifeste par le Centre pour le développement mondial intitulé When Will We Ever Learn ?

Ce document plaide pour une évaluation plus quantitative des résultats de programmes de réduction de la pauvreté, en particulier à travers des méthodes d’évaluation plus rigoureuses, notamment les contrôles comparatifs randomisés. Les évaluations d’impact (EI) des projets sont devenues un instrument d’appui à la responsabilité et à l’apprentissage.

Parallèlement, au cours des dernières années, le FIDA a reçu de plus en plus de demandes de la part de ses pays membres dans le sens d’une évaluation plus précise des résultats et de l’impact des interventions sur la réduction de la pauvreté en milieu rural. En réponse à ces demandes et conformément à la décision prise par le Conseil d’administration, le BIE du FIDA a introduit en 2013 l’EI des projets achevés financés par le FIDA comme nouvel instrument d’évaluation.

Depuis lors et compte tenu de la disponibilité des ressources, le BIE a mené une évaluation d’impact par an. Ces EI visent à mesurer la réduction de la pauvreté en milieu rural d’une manière plus quantitative et plus rigoureuse, et à promouvoir la responsabilité et l’apprentissage à partir de l’expérience tirée de projets spécifiques, dans le but de renforcer l’efficacité des interventions sur le terrain.1

1

Evaluation d’impact au Sri Lanka


89La conduite des EI donne au BIE l’occasion d’apprendre et d’acquérir une expérience pratique en matière d’application de méthodes d’évaluation quantitatives rigoureuses à des programmes de développement rural pluricomposantes complexes. Les EI représentent l’un des produits essentiels du BIE, et la deuxième édition du Manuel d’évaluation du FIDA, en préparation, (FIDA 2015), comprend un chapitre réservé aux EI82.

Il est important de souligner que le BIE mène des évaluations d’impact ex post, en particulier à l’achèvement des projets ou quelques années après. Il a décidé en connaissance de cause de ne pas conduire d’évaluations d’impact ex ante, lesquelles sont intégrées dans la conception des projets et nécessitent la collecte de données à divers intervalles au cours de la mise en œuvre. La conduite d’évaluations d’impact ex ante aurait pour effet de compromettre l’indépendance de la fonction d’évaluation du FIDA et serait contraire aux dispositions de la politique d’évaluation du Fonds (2011).

La conduite d’EI ex post comporte son lot de difficultés. Par exemple, ces EI doivent s’appuyer sur des données de référence déjà prêtes ou adopter des méthodes qui ne nécessitent pas strictement des données de référence. Ce problème est rendu encore plus grave parce que, plus souvent qu’autrement, les données de base n’existent pas ou sont de piètre qualité.

De plus, avec les EI ex post, on ne peut effectuer de tests comparatifs randomisés (TRC), qui sont souvent appelés méthodes expérimentales pour la conduite d’évaluations d’impact. Les TCR sont considérés comme des expérimentations, entre autres parce qu’ils englobent l’assignation aléatoire de personnes qui partagent globalement les mêmes caractéristiques à des groupes de traitement et des groupes témoins avant le départ du programme, ainsi que la collecte de données liés à des indicateurs

2 Le FIDA définit l’impact comme « les changements qui ont eu lieu – tel que cela est perçu au moment de l’évaluation – dans les vies des populations rurales (positifs ou négatifs, directs ou indirects, visés ou non) attribuables aux interventions appuyées par le FIDA ».

essentiels pour les deux groupes à divers intervalles au cours de la mise en œuvre. Ainsi, étant donné que les évaluations d’impact du BIE sont menées ex post, elles ne peuvent pas appliquer des méthodes expérimentales et doivent faire appel à des approches quasi-expérimentales3.

Attribution. La plupart des évaluations se fondent sur l’analyse des contributions, mais les évaluations d’impact, quant à elles, permettent au BIE de mener une analyse en profondeur portant sur l’attribution d’un impact à une intervention donnée à travers l’identification des variables contrefactuelles (c’est-à-dire le scenario qui serait observé en l’absence de l’intervention). L’évaluation d’une situation contrefactuelle est très difficile, comme il a déjà été mentionné, étant donné que la plupart des projets du FIDA ne comportent pas de données de référence ni d’observations contrefactuelles. Pour surmonter ces difficultés, le BIE utilise une approche mixte qui allie les méthodes économétriques et les données qualitatives.

Critères d’évaluation. La priorité principale d’une évaluation d’impact est de mesurer les changements survenus dans les vies des populations rurales, mais les évaluations d’impact menées par le BIE couvrent tous les critères d’évaluation adoptés dans le Manuel d’évaluation du FIDA4. Le BIE considère qu’il est important de couvrir l’ensemble des critères pour parvenir à une évaluation plus exhaustive et équilibrée de la performance et des résultats d’un projet. L’application de tous les critères a toutefois des conséquences au plan des options méthodologiques. Certains critères (par

3 Dans le cadre de méthodologies expérimentales, la population étudiée est assignée (habituellement par un système de loterie) à un groupe de traitement ou à un groupe témoin. Dans les méthodologies quasi-expérimentales, l’assignation ne se fait pas de façon aléatoire et il n’y a pas de garantie que les deux sous-populations auront en commun les mêmes caractéristiques essentielles.4 Ces critères sont la pertinence, l’efficacité, l’efficience, l’impact, la durabilité, l’innovation et le passage à l’échelle supérieure, l’égalité hommes-femmes et le renforcement de l’autonomie des femmes, la performance des partenaires au projet. De plus, l’évaluation d’impact cible cinq domaines distincts, soit (i) le revenu et les avoirs des ménages ; (ii) le capital humain et social ; (iii) la productivité agricole et la sécurité alimentaire ; (iv) les ressources naturelles et les changements climatiques ; et (v) les institutions et les politiques.

eVALUatiOn Matters

90

Evaluation d’impact au Sri Lanka

exemple la pertinence, l’innovation et le passage à l’échelle supérieure et l’égalité hommes-femmes) nécessitent le traitement et l’analyse de données qualitatives (non seulement quantitatives) et d’information. Pour cela et pour d’autres raisons, comme il est expliqué plus en détail plus bas, les évaluations d’impact menées par le BIE font appel à des méthodes mixtes qui permettent la triangulation d’au moins deux sources de données et d’information ou plus, notamment les données primaires assemblées à travers des enquêtes et des sondages qualitatifs de grande envergure.

Le BIE a élaboré un cadre de sélectivité pour renforcer la transparence au plan de la hiérarchisation et de la sélection des projets à soumettre à l’évaluation d’impact. À l’aide de ce cadre, le BIE effectue des évaluations d’impact : (i) dans les cas où une évaluation d’un programme pays est prévue à court terme ; (ii) pour les projets dotes de caractéristiques novatrices et d’un potentiel d’élargissement qui méritent une analyse plus poussée ; et (iii) pour

des projets relativement importants en termes de montant du prêt et de populations bénéficiaires, et qui méritent donc particulièrement d’être évalués aux fins de promotion de la responsabilité et de l’apprentissage. La disponibilité de compétences nationales en matière de conduite d’enquêtes est un autre facteur prise en considération dans le choix de projets à soumettre à l’évaluation d’impact.

Les deux premières évaluations d’impactEn 2013, le BIE a effectué une évaluation d’impact du Dry Zone Livelihood Support and Partnership Programme au Sri Lanka et, en 2014, celle du Jharkhand-Chhattisgarh Tribal Development Programme en Inde. Le programme du Sri Lanka a été approuvé en septembre 2004 et achevé en mars 2013. Il a coûté 27,2 millions de dollars EU et a touché directement et indirectement 120 000 ménages. Il englobait cinq composantes, à savoir (i) le développement des hautes terres d’agriculture pluviale, à travers des fermes-écoles ;


91(ii) le développement du marketing et des entreprises ; (iii) la réhabilitation des systèmes d’irrigation ; (iv) la microfinance et les activités de production de revenu ; et (v) le développement des infrastructures communautaires prioritaires.

Le programme en Inde a été approuvé en avril 1999 et a été mené à terme à Chhattisgarh en 2010 et à Jharkhand en 2012, à un coût total de 41,7 millions de dollars EU. À la conception, i l visait 87 000 ménages directement et indirectement. Il avait pour objectif de mettre en œuvre un modèle reproductible en vue de garantir la sécurité alimentaire des ménages et d’améliorer les moyens de subsistance des groupes tribaux les plus pauvres. À cette fin, deux grandes composantes avaient été prévues, soit (i) renforcement de l’autonomie et renforcement des capacités des bénéficiaires, en particulier les associations tribales communautaires et les groupes d’utilisateurs ; et (ii) l’amélioration des systèmes de subsistance, avec un accent particulier sur la gestion des terres et de la ressource en eau en milieu rural, la microfinance dans les zones rurales, les services de santé et de nutrition. Le programme est actuellement en cours d’élargissement à Jharkhand, et les constatations de l’évaluation d’impact alimenteront l’évaluation du programme de 2015 pour l’Inde.

Théorie du changement. Les deux évaluations visaient à déterminer non seulement « si », mais également « comment » et « pourquoi » le programme avait contribué ou n’avait pas contribué à provoquer des changements dans la vie des ménages et des communautés dans la zone du programme. À cette fin, les deux évaluations ont testé la théorie du programme à travers les liens de la chaîne causale5. Elles ont analysé et, le cas échéant, critiqué et réexaminé la logique

5 Par théorie de programme, on entend généralement « une détermination de ce qui doit être fait pour réaliser les buts souhaités, des autres impacts importants qu’on peut anticiper, et de la façon dont ces buts et ces impacts pourraient être produits » Chen, (1991) Theory Driven Evaluation.

d’origine énoncée dans le cadre logique et mis au point au moment de la conception.

S’agissant de l’évaluation du programme du Sri Lanka, une carte a été préparée montrant les principaux domaines d’impact potentiel et le mécanisme par lequel le projet peut avoir contribué à ces impacts. Dans le cas du programme de l’Inde, la théorie de changement a été reconstruite ex post en collaboration avec les parties prenantes, en vue de recevoir leurs points de vue et d’arriver à un consensus sur la logique de l’intervention et les liens de causalité dans la chaîne des résultats, notamment les hypothèses relatives à la réalisation des impacts. Par ailleurs, une matrice des indicateurs d’impact a été élaborée pour décrire les effets du programme immédiatement, à long terme et au plan des impacts, et a alimenté la conception de l’enquête sur les impacts aux fins de collecte de données quantitatives et qualitatives primaires.

Ces évaluations d’impact ont rencontré un certain nombre de défis, tous liés aux caractéristiques de la conception et de la mise œuvre :

i Séries de données absentes ou inutilisables. Au Sri Lanka, une enquête de base comprenant à la fois des échantillons du projet et des échantil lons de comparaison avait été menée au démarrage du projet, mais la base électronique des données avait été perdue. En Inde, une enquête de base avait été menée cinq ans après le démarrage du projet, et la taille de l’échantillon du groupe de traitement et du groupe témoin était trop réduite et non représentative de la population.

ii Biais de sélection d’ échantillon. Les deux projets visaient des activités en faveur de groupes, de communautés et de ménages défavorisés. On ne pouvait donc pas s’attendre à ce que la population de la zone du projet ait les mêmes caractéristiques que les populations des zones et des communautés voisines, lesquelles sont susceptibles d’être plus favorisées que celle de la zone du projet.

eVALUatiOn Matters

92 iii Effets d’entraînement probables. Propagation probable des avantages des groupes ciblés aux groupes non ciblés. Il est manifestement très difficile de contenir l’impact d’interventions tel les que la vulgarisation agricole et l ’ introduction de nouvelles variétés de cultures dans un espace spécifié. Cela est particulièrement vrai pour des interventions qui durent plusieurs années. Cette période de temps est suffisamment longue pour que d’autres agriculteurs qui n’étaient pas visées par le projet soient mis au courant des activités de celui-ci et adoptent des variétés de cultures et des pratiques de gestion similaires.

iv Durée d’ incubation des résultats. Cela était plus manifeste dans le cas du Sri Lanka. La mise en œuvre de ce projet avait commencé en 2006, mais la plupart des interventions ont eu lieu entre 2010 et 2013, ce qui revient à dire que certains des résultats avaient commencé à se faire sentir au moment de l’évaluation (2013). En revanche, comme il a déjà été mentionné, le projet en Inde s’est achevé en 2009 à Chhattisgarh et en 2012 à Jharkhand, et l’évaluation d’impact a eu lieu en 2015, soit quelques années après l’achèvement du projet. Il n’a donc pas été facile de susciter l’intérêt des parties prenantes pour la conduite de l’évaluation et l’identification des séries de données et des principaux informateurs.

v Carences au plan de la qualité des données de suivi et d’évaluation tenant au roulement du personnel des projets, aux ressources et aux capacités limitées réservées au suivi-évaluation pendant la mise en œuvre. Par ailleurs, les systèmes de suivi-évaluation ont eu tendance à assembler les données au niveau des réalisations plutôt que des produits et des impacts.

Pour faire face aux défis majeurs dans les deux évaluations d’impact, la composante qualitative de l’enquête a adopté les caractéristiques suivantes :

i Une tentative de reconstituer une partie des informations de référence (notamment les caractéristiques communautaires, certains actifs des ménages) à l’aide de méthodes de rappel6 ;

ii Une méthode quasi-expérimentale pour corriger le biais de sélection d’échantillon. Les évaluations ont adopté, en particulier,

6 Les méthodes de rappel consistent à poser des questions sur le passé, par exemple celles de savoir si un ménage possédait certains matériels agricoles cinq ans avant l’entretien. Les problèmes généraux que ces méthodes comportent sont le télescopage (c’est-à-dire la projection d’un phénomène à rebours et dans l’avenir, à partir du moment où ce phénomène s’est effectivement produit).

Evaluation d’impact, Inde


93

Evaluation d’impact, Sri Lanka

l’appariement des coefficients de propension7 et, dans le cas du Sri Lanka, le modèle de l’effet de traitement (une application de la méthode de sélection d’échantillon de Heckman) pour vérifier la cohérence et la solidité des

7 Pour que le groupe de comparaison estime valablement la situation contrefactuelle, les groupes de traitement et de comparaison devraient avoir les mêmes caractéristiques de base qui peuvent influencer les résultats attendus. La meilleure façon d’obtenir cette similarité consiste à constituer les groupes de traitement et les groupes de comparaison par assignation aléatoire. Toutefois, dans les cas du Sri Lanka et de l’Inde, cela n’a pas pu se faire étant donné que les projets ciblaient spécifiquement les communautés les plus démunies. L’appariement des coefficients de propension a été appliqué pour identifier une situation contrefactuelle plausible et isoler l’impact des projets par rapport à celui d’autres interventions. L’appariement des coefficients de propension utilise les caractéristiques des ménages et des communautés comme des variables prédictives dans une régression probit pour calculer la probabilité qu’un ménage en particulier a participé au projet, sur la base d’un ensemble de variables prédictives. Chaque ménage de l’échantillon reçoit un coefficient de propension qui représente la probabilité de participation au projet sur la base de ses caractéristiques. Cela a donné lieu à des sous-échantillons de projet et à des ménages de comparaison ayant des coefficients de propension assez similaires (probabilité estimative similaire de participer au projet) qui étaient ainsi plus comparables. Il faut remarquer que l’appariement des coefficients de propension, comme toute approche quasi-expérimentale, ne peut rendre compte que des caractéristiques observables. L’omission de caractéristiques potentiellement prédictives non observées susceptibles d’influencer à la fois la participation d’un ménage et les résultats pourrait ainsi donner lieu à un biais.

résultats. Ces deux éléments peut aider à atténuer le biais d’échantillonnage lorsque les participants au projet n’ont pas été choisis de façon aléatoire8 ;

iii L’inclusion dans le groupe de comparaison d’un sous-échantillon de ménages habitant dans la communauté du projet mais non visés par l’intervention, dans le but de vérifier les effets d’entraînement. Cela a été fait avec l’hypothèse que ces effets se manifesteraient d’abord dans les mêmes communautés et ne s’étendraient que plus tard vers d’autres communautés compte tenu de l’isolement géographique des communautés visées par le projet ;

8 Le modèle à correction d’erreurs de Heckman, aussi appelé modèle d’effet du traitement, est une application directe du modèle d’échantillonnage de l’auteur pour l’estimation des effets du traitement, lorsque les données sont générées par un essai non randomisé et ainsi le biais de sélection ne peut être ignoré. La forme fonctionnelle « juste » est rarement connue, mais l’analyse de sensibilité peut aider à comparer des formes fonctionnelles distinctes. Elle fait appel à une procédure à deux étapes : (a) d’abord spécifier une équation de sélection pour modéliser le processus de sélection ; (b) ensuite utiliser la probabilité conditionnelle de traitement pour tenir compte du biais de sélection dans l’équation de régression du résultat.

eVALUatiOn Matters

94 iv L’adaptation des instruments de l’enquête en vue de couvrir les effets attendus du projet à la fois à plus long terme et à court/moyen terme.

De plus, comme autre moyen de validation et pour couvrir des aspects moins normalisables (par exemple le capital humain et social, l’égalité hommes-femmes, les questions de politique), le BIE a appliqué des outils qualitatifs, notamment des interviews de répondants clés avec le personnel des projets, des fonctionnaires concernés et des discussions de groupe avec les bénéficiaires dans les zones des projets.

Au Sri Lanka, l’enquête quantitative a couvert 2560 ménages (échantillonnage aléatoire en grappes à plusieurs étapes), dont environ la moitié dans les communautés desservies par le projet et la moitié dans les communautés de comparaison. Le BIE a également mené une enquête comprenant 30 entretiens auprès des répondants clés avec le personnel des projets, des fonctionnaires et 41 discussions de groupe avec les bénéficiaires dans les quatre districts couverts par le projet. En Inde, l’évaluation d’impact a porté sur deux États, et la taille de l’échantillon était plus grande : 4400 ménages ont été choisis dans chaque État ainsi que des groupes de traitement et de comparaison, soit en tout 8 800 ménages. L’enquête a également consisté à étiqueter les questions en vue d’identifier les bénéficiaires directs et indirects. En outre, une procédure de cartographie sociale a été appliquée et une carte des villages représentés préparée pour chaque village de l’échantillon, ce qui a permis d’avoir une vue plus précise des groupes d’habitations, ainsi que les répartitions socioéconomiques et ethniques. L’évaluation a également comporté 66 entretiens en profondeur et 22 discussions de groupe.

Gestion de l’évaluation. Dans les deux cas, le BIE a conservé le leadership intellectuel et opérationnel pour l ’ensemble du processus. Il a défini les principaux critères et questions d’évaluation ainsi que les principaux éléments de la stratégie. Il a collaboré avec les entreprises

nationales (Sri Lanka et Inde) et internationales (Sri Lanka) pour la formulation et l’affinement des instruments de l’évaluation, le pré-test, le recrutement et la formation de nombreux agents enquêteurs nécessaires pour la collecte de données quantitatives et qualitatives et la conduite de l’analyse préliminaire. Il a joué un rôle central au plan de l’affinage et la finalisation de l’analyse et de la rédaction du rapport d’évaluation d’impact. Des économètres et des professionnels des enquêtes venant d’institutions de renom ont été recrutés à titre d’experts-examinateurs et pour fournir un appui analytique plus poussé avant la finalisation de l’étude. Dans le cas de l’Inde, la collecte et l’analyse des données d’impact ont été effectuées par une entreprise nationale retenue à travers un processus d’appel d’offres fermé, dans le souci de réduire les coûts de l’évaluation.

Résultats émergents. Jusqu’ici, les résultats complets de l’évaluation d’impact sont disponibles pour le Sri Lanka, alors que ceux de l’inde ne seront prêts qu’au milieu de 2015. Dans le cas du Sri Lanka, les données primaires ont contribué à expliquer les processus de ciblage du projet et à examiner rigoureusement les impacts du projet sur les revenus et les avoirs des ménages. S’agissant du ciblage, l’analyse économétrique a montré que le projet avait tendance à intervenir dans les communautés ayant peu d’accès à des infrastructures de base (par exemple, un puits, un poste sanitaire, une école primaire, un poste de police), et éloignées de la Division du secrétaire du district (une unité administrative de sous-district), confirmant ainsi les prétentions du projet. Dans les communautés assistées, le personnel du projet a eu tendance à sélectionner les ménages qui étaient plus pauvres au plan des avoirs mais qui cultivaient une gamme de cultures plus diversifiée et avaient à leur tête un chef légèrement plus jeune et plus éduqué et moins d’enfants de moins de cinq ans. Comme l’ont également montré les interviews qualitatives, le personnel chargé de la vulgarisation a essayé de faire participer les ménages marginalisés mais en prenant en compte le dynamisme et la réactivité des agriculteurs. (Tableau 1, Annexe 1).


95

Les résultats au plan des impacts étaient plus contrastés et nuancés. S’agissant de l’impact sur le capital humain et social et la productivité agricole, il a été généralement admis que l’analyse qualitative et quantitative appuyait le point de vue que le projet avait exposé les agriculteurs à de nouvelles connaissances, techniques, cultures et pratiques, avec certains effets observables sur la diversification des cultures. Contrairement à ce que le système de suivi-évaluation du projet avait laissé croire, l’évaluation d’impact a enregistré des résultats très contrastés en ce qui concerne la variation des dépenses des ménages. L’analyse dans le cadre du modèle de traitement a donné

à penser que les dépenses des ménages n’avaient augmenté par rapport à celles des ménages non visés par le projet que dans peu de cas, alors que l’appariement des coefficients de propension a laissé croire que ces dépenses auraient baissé au titre de certains articles (voir les données extraites aux tableaux 2, 3 et 3a, Annexe 1). La triangulation opérée avec des données qualitatives a donné à penser que les ménages du projet avaient investi dans les arbres fruitiers, les variétés de cultures améliorées et le bétail, principalement sur fonds propres, l’accès au crédit étant limité. Cela peut avoir créé un effet d’éviction en ce qui concerne l’achat de certains articles de consommation. Cette

Tableau 1 Estimations probit pour la participation au programme

Caractéristiques Traitement général

Bénéficiaires directs

Traitement intense

Traitement direct c.

traitement indirect

Distance jusqu’au chef-lieu du DSD 0.279*** 0.406*** 0.624***

(0.074) (0.079) (0.101)

Distance jusqu’au chef-lieu du district -0.171*** -0.183*** -0.388***

(0.039) (0.044) (0.061)

Indice des infrastructures communautaires 2006 -0.080*** -0.052*** -0.029

(0.016) (0.018) (0.024)

Âge du chef du ménage -0.007*** -0.006*** -0.007*** 0.007**

(0.002) (0.002) (0.003) (0.003)

Sexe du chef du ménage 0.033 -0.032 -0.157 -0.181

(0.090) (0.104) (0.142) (0.130)

Niveau d’éducation le plus élevé dans le ménage 0.075*** 0.064** 0.025

(0.029) (0.032) (0.041)

Indice des avoirs 2006 -0.040*** -0.044*** -0.069*** -0.042**

(0.014) (0.016) (0.022) (0.021)

Ensemble des cultures 2006 0.301*** 0.326*** 0.303*** 0.053

(0.027) (0.031) (0.040) (0.035)

Indice du bétail 2006 0.031 0.036 -0.038 0.032

(0.023) (0.025) (0.043) (0.031)

Nombre d’enfants de moins de 5 ans -0.151**

(0.074)

Niveau d’éducation du chef du ménage 0.135***

(0.038)

Constant 0.039 -0.309 -0.398 -0.183

(0.193) (0.216) (0.284) (0.257)

Observations 2,550 2,108 1,592 1,291

Pseudo racine carrée 0.0616 0.0674 0.0820 0.0156

Note : Écarts types entre parenthèses*** p<0.01, ** p<0.05, * p<0.1Source : FIDA (2014)

eVALUatiOn Matters

96 observation est allée dans le même sens que la conclusion de l’évaluation qui est que, même si le projet a appuyé un processus de diversification de cultures avec des rendements plus élevés potentiels, une phase de mise en œuvre unique n’a pas suffi à consolider les résultats.

Opportunités, facteurs limitatifs et enseignementsL’expérience provenant des évaluations d’impact menées par le BIE montre que le recours à des méthodes mixtes et la conduite d’enquêtes de grande envergure permettent d’effectuer une analyse plus systématique sur des articles come les approches effectives de ciblage de projet ainsi que l’évolution des avoirs et des modes de dépense des ménages. Cela peut également produire des résultats inattendus, comme dans le cas du Sri Lanka, donnant lieu à un réexamen des affirmations faites par le projet. Dans le cas de l’évaluation d’impact en Inde, on attend deux autres avantages, soit (i) les résultats alimenteront la mise en œuvre et la gestion de la phase de suivi du projet, et (ii) l’enquête menée dans le cadre de l’évaluation d’impact peut servir de référence pour la phase de suivi.

Les évaluations d’impact peuvent également donner l’occasion de faire participer les parties prenantes au processus d’évaluation et ainsi renforcer leurs capacités à cet égard. Elles donnent l’occasion de sensibiliser les autorités sur l’importance d’un système de suivi-évaluation

axé sur les résultats et sur la conduite d’études de base solides.

Les évaluations d’impact ont une valeur ajoutée, mais elles sont plus onéreuses que les évaluations au niveau des projets fondées sur les vérifications documentaires et des missions de courte durée. Les deux évaluations décrites dans le présent article ont été menées avec un budget de 200 000 dollars EU ou moins, soit un chiffre inférieur aux budgets de 500 000 dollars EU dans d’autres organisations internationales, mais beaucoup plus élevé que le coût des évaluations conventionnelles au niveau des projets qui ne nécessitent pas des enquêtes de grande envergure.

Projets à plusieurs composantes. Une des hypothèses qui sous-tendent les conceptions ordinaires d ’évaluations d ’impact est que les interventions évaluées sont homogènes et produisent le même type d’effet de la même façon (par exemple un vaccin, a médicament ou, dans certaines conditions, un programme de formation). Cette hypothèse peut ne pas tenir dans le cas du FIDA, dont les projets comportent en général beaucoup de composantes et de sous-composantes. Cela est difficile à conceptualiser, dans la mesure où chaque composante peut contribuer à une chaîne de causalité différente et peut inf luer différemment sur le groupe de traitement et le groupe témoin. Il pourrait être envisageable, pour les prochaines évaluations d’impact au FIDA, de mettre l ’accent sur les

Tableau 2 Dépenses – Méthode de l’effet du traitement

Journal des dépenses Traitement général

Bénéficiaires directs

Traitement intense

Direct versus traitement indirect

Coefficient N Coefficient N Coefficient N Coefficient N

Ensemble des dépenses pour deux semaines types

0.621 (0.78)

2549 0.389 (0.49)

2108 -0.839** (-2.04)

1592 1.305** (2.39)

1290

Ensemble des dépenses de nourriture pour deux semaines types

0.715 (0.76)

2523 0.195 (0.21)

2086 -0.684 (-1.45)

1575 0.520 (0.94)

1277

Ensemble des dépenses autres que les dépenses de nourriture pour deux semaines types

0.191 (0.20)

2549 -0.172 (-0.18)

2108 -1.164** (-2.36)

1592 1.810*** (2.60)

1290

Source : IFAD (2014)


97composantes individuelles ou les groupes de sous-composantes plutôt que la gamme complète des activités du projet.

Calendrier des enquêtes : comprendre le contexte avant de procéder à l’échantillonnage. Lorsque les évaluations d’impact sont menées ex post, la courbe d’apprentissage liée au contexte local est généralement abrupte. La préparation d’une stratégie d’échantillonnage, la mise au point d’un questionnaire et la conduite de l’enquête sur le terrain sont des tâches ardues en l’absence d’interactions approfondies avec les personnes qui étaient responsables de la gestion et de la mise en œuvre du projet sur le terrain. Il peut être préférable de lancer une enquête ex post lorsque le projet tire à sa fin et lorsque l’équipe de la mise en œuvre est encore accessible ou lorsqu’une phase de suivi démarre et l’équipe de départ est encore en poste.

Interprétation des résultats. L’élaboration et la mise à l’essai de modèles économétriques sont non seulement compliquées mais donnent souvent des résultats qui ne sont pas explicites (par exemple certains paramètres de régression estimés peuvent avoir un signe inattendu). Contrairement à ce qu’on prétend souvent, l’analyse de grandes données d’enquêtes produit généralement des résultats plus difficiles à interpréter. Dans la majorité des cas, c’est uniquement à travers la triangulation avec les données qualitatives et les observations directes qu’il est possible de comprendre ces résultats et d’identifier les principaux facteurs explicatifs : un autre élément qui plaide pour le recours à des méthodes mixtes.

L’avenir. Le BIE continuera de mener des évaluations d’impact complexes en vue de montrer que les opérations du FIDA contribuent au renforcement de la responsabilité et de l’apprentissage. De plus, l’expérience acquise à travers ces évaluations permettra au Bureau de contribuer au débat entourant la validité des approches internationales standards à l’égard du

contexte général des projets du FIDA, en mettant l’accent sur les petits exploitants agricoles et avec une approche plurisectorielle.

BibliographieBamberger, M., Rugh, J., & Mabry, L. (2007). Real

World Evaluation : Working Under Budget, Time, Data, and Political Constraints. USA: Sage Publications.

Centre pour le développement mondial (2006), When Will We Ever Learn? Improving Lives Through Impact Evaluation, Washington, Center for Global Development.

Gertler, P.J., Martinez, S., Premand, P., Rawlings, L.B., Vermeersch, C.M. (2011). Impact Evaluation in Practice. Washington D.C.: The World Bank.

Guo, Shengyang et Mark W. Fraser. 2009. Propensity Score Analysis. SAGE Publications, Inc.

Heckman, James J., Hidehiko Ichimura, and Petra Todd. 1998. “Matching As An Econometric Evaluation Estimator.” Review of Economic Studies 65 (2) (April): 261-294.

IEG World Bank (2011). Impact Evaluation in Agriculture. An Assessment of the Evidence. Washington D.C.

IEG World Bank (2012). World Bank Group Impact Evaluations. Relevance and Effectiveness. Washington D.C.

IFAD-Independent Office of Evaluation (2015). Evaluation Manual. Methodology and Processes. Second Edition. Rome: International Fund for Agricultural Development, forthcoming.

IFAD- Independent Office of Evaluation (2014). Impact Evaluation of the Dry Zone Livelihood Support and Partnership Programme in Sri Lanka. Rome: International Fund for Agricultural Development.

eVALUatiOn Matters

98

Tableau 3 Dépenses – Appariement des coefficients de propension

Tableau 3a Dépenses – Appariement des coefficients de propension

TRAITEMENT GÉNÉRAL BÉNÉFICIAIRES DIRECTS

Appariement Traitement MédianComparaison

MédianÉcart S.E. T-stat Appariement Traitement Médian

Comparaison Médian

ÉCART S.E. T-STAT

Ensemble des dépenses pour deux semaines types Ensemble des dépenses pour deux semaines types

Non apparié 6448.772 6733.984 -285.211 221.278 -1.29 Non apparié 6254.010 6733.984 -479.974 211.849 -2.27**

Apparié 6448.772 6747.320 -298.548 236.415 -1.26 Apparié 6254.010 6784.907 -530.897 224.579 -2.36**

Ensemble des dépenses de nourriture pour deux semaines types Ensemble des dépenses de nourriture pour deux semaines types

Non apparié 2171.864 2349.893 -178.029 80.252 -2.22** Non apparié 2027.809 2349.893 -322.083 82.420 -3.91***

Apparié 2171.864 2372.392 -200.528 86.848 -2.31** Apparié 2027.809 2388.579 -360.769 87.060 -4.14***

Ensemble des dépenses autres que les dépenses de nourriture pour deux semaines types Ensemble des dépenses autres que les dépenses de nourriture pour deux semaines types

Non apparié 4276.909 4384.091 -107.182 175.167 -0.61 Non apparié 4226.201 4384.091 -157.890 171.532 -0.92

Apparié 4276.909 4374.928 -98.019 187.052 -0.52 Apparié 4226.201 4396.328 -170.127 183.302 -0.93

Source : FIDA (2014)

INTENSE TREATMENT DIRECT VERSUS INDIRECT TREATMENT

Traitement MédianComparaison

MédianÉcart S.E. T-stat T-stat Appariement Traitement Médian

Comparaison Médian

ÉCART S.E. T-STAT


Non apparié 5662.035 6733.984 -1071.949 298.982-

-3.59***Non apparié 6254.010 6835.906 -581.896 355.232 -1.64

Apparié 5662.035 6730.692 -1068.657 280.654-

-3.81***Apparié 6254.010 7007.052 -753.042 442.820 -1.70*


Non apparié 1794.820 2349.893 -555.072 114.388-

-4.85***Non apparié 2027.809 2453.311 -425.501 120.405 -3.53***

Apparié 1794.820 2411.315 -616.494 96.756-

-6.37***Apparié 2027.809 2461.210 -433.401 143.502 -3.02***


Non apparié 3867.214 4384.091 -516.877 240.001 -2.15** Non apparié 4226.201 4382.595 -156.394 282.167 -0.55

Apparié 3867.214 4319.377 -452.163 237.671 -1.90* Apparié 4226.201 4545.841 -319.641 342.991 -0.93



99

TRAITEMENT GÉNÉRAL BÉNÉFICIAIRES DIRECTS

Appariement Traitement MédianComparaison

MédianÉcart S.E. T-stat Appariement Traitement Médian

Comparaison Médian

ÉCART S.E. T-STAT


Non apparié 6448.772 6733.984 -285.211 221.278 -1.29 Non apparié 6254.010 6733.984 -479.974 211.849 -2.27**

Apparié 6448.772 6747.320 -298.548 236.415 -1.26 Apparié 6254.010 6784.907 -530.897 224.579 -2.36**


Non apparié 2171.864 2349.893 -178.029 80.252 -2.22** Non apparié 2027.809 2349.893 -322.083 82.420 -3.91***

Apparié 2171.864 2372.392 -200.528 86.848 -2.31** Apparié 2027.809 2388.579 -360.769 87.060 -4.14***


Non apparié 4276.909 4384.091 -107.182 175.167 -0.61 Non apparié 4226.201 4384.091 -157.890 171.532 -0.92

Apparié 4276.909 4374.928 -98.019 187.052 -0.52 Apparié 4226.201 4396.328 -170.127 183.302 -0.93


INTENSE TREATMENT DIRECT VERSUS INDIRECT TREATMENT

Traitement MédianComparaison

MédianÉcart S.E. T-stat T-stat Appariement Traitement Médian

Comparaison Médian

ÉCART S.E. T-STAT


Non apparié 5662.035 6733.984 -1071.949 298.982-

-3.59***Non apparié 6254.010 6835.906 -581.896 355.232 -1.64

Apparié 5662.035 6730.692 -1068.657 280.654-

-3.81***Apparié 6254.010 7007.052 -753.042 442.820 -1.70*


Non apparié 1794.820 2349.893 -555.072 114.388-

-4.85***Non apparié 2027.809 2453.311 -425.501 120.405 -3.53***

Apparié 1794.820 2411.315 -616.494 96.756-

-6.37***Apparié 2027.809 2461.210 -433.401 143.502 -3.02***


Non apparié 3867.214 4384.091 -516.877 240.001 -2.15** Non apparié 4226.201 4382.595 -156.394 282.167 -0.55

Apparié 3867.214 4319.377 -452.163 237.671 -1.90* Apparié 4226.201 4545.841 -319.641 342.991 -0.93


eVALUatiOn Matters

100 Khandker, S.R., G.B.Koolwal, H.A. Samad. (2010). Handbook on Impact Evaluation. Quantitative Methods and Practices. Washington D.C.: The World Bank.

Jalan, J. and M. Ravallion. (2003). Estimating the Benefit Incidence of Antipoverty Program by Propensity-Score Matching. Journal of Business and Economic Statistics 21 (1):19-30.

Rosenbaum, P. and D. Rubin. (1983). The Central Role of the Propensity Score in Observational Studies for Causal Effects. Biometrika, 70, pp. 41-50.

Tashakkori A., and C. Teddlie. (1998). Mixed Methodology: Combining Qualitative and Quantitative Approaches. Sage Publications: California, USA.


Fabrizio Felloni est Chargé d’évaluation principal au Bureau indépendant de l’évaluation du FIDA (Rome) depuis Juillet 2010. Il était auparavant spécialiste de l’évaluation au Bureau des évaluations du Programme des Nations Unies pour le développement (New York) et Chargé d’évaluation au FIDA. Il travaille sur des évaluations du développement internationales depuis 2000, conduisant et participant à l’élaboration de plus d’une douzaine des programmes de pays et dévaluations de projets en Afrique, Asie, Amérique latine et Europe de l’Est. Il est titulaire d’une maîtrise en économie agricole de l’Université de l’État de Washington (États-Unis) et d’un équivalent de Master en sciences économiques et sociales de l’Université Bocconi (Italie). Il a été auteur et co-auteur de plusieurs articles publiés dans des revues spécialisées.

Simona Somma, est Chargée d’évaluation au Bureau indépendant de l’évaluation du FIDA (Rome) depuis Mars 2014. Elle était auparavant spécialiste du suivi et de l’évaluation au Mécanisme mondial de la Convention des Nations Unies sur la lutte contre Desertifcation. Elle travaille dans le domaine du développement international depuis 2005, aussi bien sur le terrain qu’au siège de l’organisation où elle a géré de grands programmes de développement et conduit ou participé à dix évaluations d’impact en Afrique, en Asie et en Amérique latine. Elle est titulaire d’un diplôme équivalent au Master en Economie, et d’un Master en gestion du cycle du projet.


101

eVALUatiOn Matters

102

Étapes de l’évaluation d’impact de projets routiers (en milieu rural) financés par la BAD

Christian Kingombe


103Au cours des dernières années, le Conseil d’administration de la Banque africaine de développement (BAD) a affirmé sa volonté d’augmenter l’obligation de rendre compte en matière de conception et de mise en œuvre de projets. La Haute direction de la Banque s’est également engagée à promouvoir de façon proactive les évaluations d’impact à la Banque. Toutefois, il n’existe pas pour le moment de directives sur l’internalisation des évaluations d’impact dans la conception des opérations régionales telles que les corridors de transport du Programme de développement des infrastructures en Afrique (PIDA) ou les opérations nationales dans le secteur des infrastructures, notamment les routes rurales.

Le présent articule aborde les principales étapes de la création d’un guide d’utilisation pour la production d’évaluations quantitatives rigoureuses de l’efficacité des opérations infrastructurelles, ce qui devrait avoir l’effet d’accroître le sens de la responsabilité en matière de sélection des interventions, de mise en œuvre et de durabilité. Il vise à contribuer à faire en sorte que les professionnels de la Banque (par exemple les responsables de projets des départements des opérations) soient en mesure d’internaliser ces directives dans la conception et les coûts des projets d’infrastructure de transport et de permettre ainsi à la Banque d’acquérir des connaissances sur ce qui marche (c’est-à-dire les interventions qui portent le plus de fruits) lorsque les composantes évaluation sont couramment intégrées dans les projets d’infrastructure/corridors routiers.

La nécessité d’un guide de gestion des projets routiersAu moment de l’instruction de projets d’infrastructure des transports – y compris les infrastructures de transport en milieu rural (par exemple les routes de desserte primaires, secondaires et tertiaires) qui ont surtout une vocation sociale, au réseau de routes nationales/régionales bitumées qui ont surtout une vocation économique – l’on doit recourir aux méthodes et approches appropriées, lesquelles sont souvent déjà intégrées dans beaucoup d’outils de gestion routière disponibles. À l’heure actuelle, la BAD ne dispose pas de son propre guide de gestion de projets routiers, qui pourrait pu donner un aperçu de quelques outils d’évaluation du réseau routier pour la gestion des infrastructures routières dans le Département des transports (OITC) et le Département de l’intégration régionale (ONRI) de la Banque. Un tel guide devrait englober les caractéristiques importantes de ces outils d’évaluation des projets routiers. Il pourrait par ailleurs aider les chefs de projet d’OITC et contribuer à l’amélioration de la conception des projets de routes nationales de la Banque, des projets de corridors routiers régionaux en général et des projets du plan d’action prioritaire du PIDA en particulier. Dans la mesure où ce guide ouvrirait l’accès à l’information de base pour chacun des outils d’évaluation routière, son utilisation serait encouragée dans les pays membres régionaux. Un tel guide devrait aider les responsables de projet d’OITC, qui n’ont pas toujours le temps de mener une évaluation d’impact rigoureuse, mais qui ont intérêt à avoir une connaissance de base des outils d’évaluation routière. La maîtrise de ces outils peut être indispensable pour le succès de la mise en œuvre de la Stratégie décennale de la Banque 2013-22 (qui vise la réalisation d’une croissance inclusive à travers le développement des infrastructures en Afrique).

Des difficultés persistantesPour fournir des informations détaillées sur la performance des projets routiers et sur la façon d’améliorer la performance des projets futurs, il faut utiliser de la meilleure des façons à la fois le suivi-évaluation (SE) et l’évaluation d’impact (EI) en vue d’identifier et de contextualiser objectivement et avec précision la croissance inclusive ultime et les impacts sexospécifiques et environnementaux induits par les opérations régionales et les opérations nationales menées par la Banque dans le secteur des transports. La réalisation complète de ces objectifs nécessiterait la conduite d’évaluations d’impact indépendantes au niveau des projets dans plusieurs contextes et plusieurs secteurs, ce qui serait onéreux et long.

eVALUatiOn Matters

La conduite d’évaluations d’impact rigoureuses est particulièrement difficile dans les projets d’infrastructure, compte tenu des décalages longs et imprévisibles qui existent entre l’achèvement des projets et la manifestation des impacts et des réalisations au plan du développement énoncés dans le cadre logique basé sur les résultats. L’évaluation d’impact est ainsi une entreprise à long terme relativement onéreuse dans le secteur des infrastructures. On pourrait également dire que le rapport qualité/prix des évaluations d’impact dans ce secteur est clairement plus difficile à démontrer que pour d’autres interventions, parce que les projets d’infrastructures ne sont pas souvent divisibles, ce qui revient à dire qu’il est difficile de partir d’un projet pilote ou de faible envergure et ensuite de l’élargir en s’appuyant sur des enseignements tirés d’autres projets, contrairement à ce qui est possible pour d’autres secteurs comme l’alimentation en

eau et l’assainissement, l’éducation et la santé. Finalement, une compréhension totale des impacts implique souvent le recours aux systèmes de comptabilité nationale et à d’autres indicateurs macroéconomiques et sociaux conjugués aux données de niveau micro provenant d’enquêtes qui portent sur les particuliers, les ménages ou les entreprises. Cette combinaison de données permet à l’évaluateur de comprendre les courroies de transmission au niveau micro par lesquelles les infrastructures influent sur l’activité économique, le bien-être social et la réduction de la pauvreté.

Il y a un arbitrage à faire, qui consiste pour la Banque à contenir ses frais généraux à un niveau minimal pour soutenir la concurrence avec le secteur privé, d’une part et, d’autre part, à concentrer ses ressources sur la réalisation des résultats souhaités par ses clients (les pays membres régionaux) et en fin de compte par les populations. La Banque n’est toujours pas prête, actuellement, à entreprendre les évaluations d’impact rigoureuses qu’il faut mener dans le secteur des transports en Afrique (voir Kingbo, 2013).

Accélérer le lancement du Guide : six étapes dans la voie du succèsDans un article bien connu publié en 2009, Dominique Van de Walle expose en détail les étapes essentielles recommandées pour la conduite d’évaluations d’impact portant sur les projets de routes (rurales). Cet article visait à aider les évaluateurs à réfléchir sur ces questions et non à fournir un modèle d’action générique. En s’appuyant sur cet article, je décris ci-dessous les étapes interreliées qui constituent le socle de l’élaboration du guide proposé.

Étape 1 : Étude de faisabilité Avant de prendre la décision de lancer une évaluation d’impact dans la phase de préparation du programme/projet, il importe de réunir les facteurs essentiels qui déterminent le succès ou l’échec de l’évaluation :

• En premier lieu, obtenir de la part de l’emprunteur / du gouvernement destinataire du don et d’autres contreparties essentielles des pays (dans le cas

104

Les photos montrent la différence entre une route de desserte nouvellement réhabilitée et une route rurale qui n’a pas été entretenue et rend ainsi les zones rurales inaccessibles pendant la saison des pluies.


105des OR), l’appui et la promesse du maintien d’une coopération entière et de l’accès à l’information concernant le projet et les avancées de la mise en œuvre.

• Ensuite, déterminer quelles sources de financement (textes statutaires, fonds fiduciaires/fonds spéciaux ou cofinancements et montants) seront disponibles et s’il est possible d’obtenir un appui financier adéquat pour la conduite d’une évaluation d’impact rigoureuse, de façon indépendante et sur un horizon suffisamment long.

• Troisièmement, déterminer tôt si, compte tenu des objectifs, de la conception et de la portée du projet, il est possible d’établir un scenario contrefactuel crédible aux fins de validité interne et d’ajout de valeur par rapport à d’autres méthodes d’évaluation (GIE, 2012).

• Quatrièmement, aborder la question des données. S’il n’existe pas d’enquêtes utilisables ou adaptables pour l’évaluation ou s’il n’est pas prévu d’en mener [par exemple, Kingombe (2010) a utilisé comme référence une enquête auprès des ménages menée 9 ans avant l’enquête de suivi], établir s’il est possible d’obtenir des données de qualité au vu de la capacité statistique du pays (Van de Walle, 2009).

Étape 2 : Enseignements tirés du projet et de l’évaluation ex ante Beaucoup d’enseignements peuvent être tires du projet lui-même. Réfléchir aux exigences de l’évaluation dès le démarrage du projet peut aider à comprendre les biais qui entachent l’évaluation ex post et à définir un scenario contrefactuel approprié1. Plus on connaît à l’avance les caractéristiques des zones d’intervention choisies (par rapport aux zones non sélectionnées), mieux on peut mener l’évaluation (van de Walle, 2009). Le Conseil d’administration de la BAD a approuvé, le 11 septembre 2008, un cadre

1 La phase d’instruction utilisée pour choisir les routes à réhabiliter peut être considérée comme une évaluation ex ante.

mis au point par le Département de la recherche de l’institution (ECON) pour l’évaluation ex ante de l’additionnalité et les réalisations au plan du développement (ADOA) des opérations du secteur privé. L’ADOA est devenu un outil de décision qui a contribué à l’intégration de la prise de décisions axées sur les résultats dans les opérations du secteur privé. Les employés chargés de l’ADOA sont maintenant des membres à part entière des équipes d’instruction de projets et participent à tout le processus d’instruction des opérations du secteur privé.

Étape 3 : Conception de l’évaluation : besoins au plan des données Le problème essentiel que cherche à régler l’EI est celui de l’attribution, c’est-à-dire établir que les changements des variables de réalisation observés sont causés par le programme ou la politique évaluée et non par des influences extérieures. Beaucoup d’inf luences extérieures peuvent perturber l’identification de l’impact d’un programme ou d’une politique (Cadot et al., 2011).2

S’agissant des données et des indicateurs de performance (c’est-à-dire des moyens de vérification), il faut d’abord décider sur quelles réalisations mettre l’accent. Les variables de réalisation peuvent être nombreuses, comme le montre fréquemment le cadre logique axé sur les résultats des projets de la Banque. Le nombre de ces variables visées par l’évaluation dépend en grande partie des objectifs de l’évaluation, lesquels seront spécifiques au contexte et au projet. On peut choisir de mettre l’accent sur un seul indicateur de performance en matière de bien-être ou de réduction de la pauvreté tel que la consommation ou le revenu des ménages, qui englobe et reflète par hypothèse l’effet net de plusieurs facteurs. On peut

2 Par exemple, les institutions de financement du développement (IFD) ont admis qu’il y a des cas où plus d’une institution participe à un projet, mais toutes les IFD prétendent que les financements obtenus sont attribuables à leur rôle, ce qui donne lieu à un double (triple) comptage. Pour éviter la communication d’informations inexactes et gonflées, les IFD doivent s’entendre sur le partage de l’attribution, mais cela sera difficile, voire impossible. Elles pourraient, en revanche, donner des informations séparées sur les projets auxquels participent plusieurs d’entre elles et déclarer clairement que l’attribution des effets est partagée, sans en préciser la répartition (Spratt et Ryan-Collins, 2012).

eVALUatiOn Matters

106 également choisir de mettre l’accent sur plusieurs indicateurs de réalisation sans chercher à les agréger en une seule mesure du bien-être. Toutefois, plus le nombre des indicateurs de réalisations est élevé, plus l’interprétation et la présentation des résultats sont complexes (voir Mu et van de Walle, 2007).3

Il existe cependant des approches intermédiaires entre ces extrêmes. On peut mettre l’accent sur quelques séries clés d’indicateurs de performance plus directement liés aux objectifs du projet, même s’il ne s’agit pas de réalisations finales au plan du bien-être mesurées au niveau du ménage ou de la communauté ou des deux. Une autre approche fait appel aux données provenant de différentes enquêtes non liées à l’évaluation non conçue au départ comme une référence pour une intervention spécifique dans le secteur des transports (Kingombe, 2010). Idéalement, cela peut être fait à la fois pour l’enquête de référence et pour la phase de suivi du projet.

Il faudra des données additionnelles pour l’introduction de variables observables, la prise en compte de l’évolution de la situation au fil du temps, l’analyse de l’hétérogénéité et la prise en compte des chocs exogènes. Dans son article publié en 2009, van de Walle indique quelles variables de contrôle observables à assembler susceptibles d’avoir une grande influence sur les principaux auront, on l’espère, émergé d’une étude rigoureuse du projet et de l’instruction ex ante menée à l’étape 2. Van de Walle (2009) prétend que les variables de contrôle indépendantes sont nécessaires non seulement pour mettre en œuvre un estimateur d’appariement, mais également pour évaluer l’hétérogénéité des impacts ou pour tenir compte de l’évolution de la situation au fil du temps.

Par ailleurs, van de Walle (2009) soulève la question de la définition de la zone d’influence d’une route (c’est-à-dire la zone du projet) et du domaine de la collecte de données en posant la question « où

3 Par exemple, des indicateurs différents peuvent aller dans des sens opposés et donner des résultats contradictoires, compliquant davantage l’interprétation sans possibilité d’agréger les nombreuses variables de résultat en vue de définir les arbitrages à faire.

trouver les impacts ? ». Elle souligne le fait que cette question, c’est étonnant, n’a guère été abordée de façon explicite dans les tentatives récentes de mise en œuvre d’évaluations d’impact portant sur les projets routiers en milieu rural, une carence qui persiste toujours. Van de Walle (2009) propose qu’on essaie de faire en sorte que la zone d’influence choisie soit appropriée pour saisir les avantages du projet à chaque endroit, sur la base d’informations préalables concernant le site du projet. De plus, le soi-disant problème de l’absence de données est résolu en utilisant comme variable contrefactuelle la performance d’autres agriculteurs n’ayant pas bénéficié du programme de routes rurales. Par analogie avec les sciences médicales, d’où proviennent les méthodes de l’EI, les bénéficiaires (qui se trouvent dans la zone d’influence de la route du projet) sont appelés groupe de traitement et les non-bénéficiaires le groupe témoin (Cadot et al., 2011).4

Etape 4 : Conception de l’évaluation : Méthodologie de collecte de donnéesDiverses sources de données préexistantes (recensement de la population, et aux niveaux agricole et communautaire, bases de données géographiques, administratives et financières, inventaires détaillés des réseaux routiers et de transport et enquêtes auprès des ménages) peuvent servir pour les évaluations (voir ONU, 2007) selon van de Walle (2009). Toutefois, dans la plupart des cas, une ou plusieurs enquêtes auprès de la communauté ou des ménages devra être menée au cours du processus d’EI (voir par exemple Grosh et Glewwe, 2000). Van de Walle (2009) prétend que les discussions de groupe avec les opérateurs de services de transport peuvent constituer un autre moyen de compléter la collecte de données et d’obtenir d’autres points de vue sur la façon dont les améliorations apportées au réseau routier ont changé la situation du point de vue des prestataires de services (voir

4 Contrairement aux sciences médicales, toutefois, les mécanismes par lesquels, dans le domaine des sciences sociales, la contagion s’effectue sont en grande partie inconnus. Les enquêtes de base peuvent aider à comprendre et à identifier les courroies de transmission des avantages futurs issus de programmes d’une entreprise à une autre (Cadot et al., 2011).


107Kingombe, 2010)5. Un protocole de collecte de données qualitatives est moins structuré que les protocoles d’enquêtes quantitatives normalisées réalisées sur le terrain (Chung, 2000). L’approche qualitative fait appel à la triangulation pour augmenter la validité interne de ses constatations, et elle englobe également le recours aux méthodes à la fois qualitatives et quantitatives (Kingombe, 2010).

La précision des estimations d’impact est fonction à la fois de la taille de l’échantillon et de la conception de l’échantillonnage. L’échantillonnage en deux étapes est la norme. Par ailleurs, Van de Walle (2009) fait remarquer qu’un arbitrage peut intervenir entre la précision de l’ensemble des estimations d’impact et l’aptitude à comprendre l’hétérogénéité des impacts. Elle souligne en outre l’importance que l’échantillonnage au niveau des ménages soit représentatif de l’ensemble de la population pertinente (c’est-à-dire base de sondage ou univers de l’échantillon), de sorte que les caractéristiques et les liens valides à l’interne établis entre (infrastructure des transports) les interventions et les réalisations dans la population de l’échantillon soient valide à l’externe pour l’ensemble de la population pour laquelle l’échantillon représentatif a été établi (GIE, 2012).

S’agissant du moment de lancer une évaluation, van de Walle (2009) insiste sur le fait que l’évaluation doit commencer le plus tôt possible une fois le projet identifié et doit se poursuivre pendant au moins quelques années après l’achèvement du projet pour pouvoir saisir de façon convaincante les impacts de celui-ci6. Par ailleurs, elle affirme que le moment de procéder à la collecte des données revêt une importance capitale. La collecte de ces données doit commencer avant le démarrage du projet et

5 Voir Kingombe (2010) pour un exposé sur la meilleure façon de mettre ensemble les données qualitatives et quantitatives, et les méthodes de collecte de données dans le contexte des évaluations d’impact6 Banister & Berechman (2000) estime qu’il faut 10 ans pour que l’utilisation des terres et les marchés du voyage convergent vers l’équilibre après un changement d’origine externe. Ainsi, les effets de moyen à long terme doivent se manifester après 10 ans. Bourguignon, Ferreira et Lustig (2001) recommandent un intervalle de dix ans au moins (cite dans Kingombe, 2010).

de préférence avant que les communautés et les ménages ne découvrent qu’elles vont bénéficier des améliorations apportées au réseau routier. Les phases de suivi (après le projet) doivent imiter le plus près possible le processus de mise en œuvre suivie pour les phases précédentes de collecte de données. Finalement, il faut faire en sorte que les phases d’enquête de base et de suivi soient lancées à la même période de l’année aux fins de comparabilité au plan du temps, en particulier lorsqu’on évalue les variations au fil du temps des niveaux de pauvreté7.

Étape 5 : Conception de l’évaluation : Collecte effective de donnéesCette étape aborde les questions liées à l’identification des sources de données et des méthodes de collecte de données (voir Sonck et Fernee, 2013)8 ; l’échantillonnage et la taille des échantillons ; l’élaboration des instruments des enquêtes ; et la préparation des phases de base et de suivi.

Étape 6 : Analyse et rédactionL’étape finale du guide de l’évaluation d’impact ex post concerne la planification des enquêtes par panel (par pseudo-panel) de suivi utilisant les mêmes cohortes.

ConclusionsL’action de la Banque parmi les organisations qui s’efforcent de combler le déficit de financement de près de 100 milliards de dollars EU dans les infrastructures en Afrique s’intensifie, mais l’évaluation en profondeur des impacts à long terme sur le développement attribuables aux opérations nationales et aux opérations régionales n’est toujours pas au programme. La Banque n’a jusqu’ici lancé que des évaluations d’impact portant sur ses projets dans les domaines du

7 Il peut également être important d’assembler des données sur certaines variables à divers moments dans l’année, par exemple en saison sèche et en saison pluvieuse, dans le cas où les impacts sont saisonniers. 8 L’arrivée et la multiplication rapide des téléphones intelligents ont donné lieu à une nouvelle méthode de collecte de données. L’utilisation de ces appareils pour la collecte de données est un domaine qu’il faut étudier.

eVALUatiOn Matters

108 capital humain (santé et éducation) et de l’eau et de l’assainissement.

La conduite d’évaluations d’impact rigoureuses dans le secteur des transports selon les six étapes déjà décrite amènerait au moins trois résultats positifs :

• Démontrer les impacts à long terme que les projets routiers ont sur la réduction de la pauvreté (c’est-à-dire la croissance inclusive) indirectement à travers la croissance économique, notamment par la mesure de la création d’emplois indirects ;

• Améliorer l’efficacité au plan du développement des départements des opérations de la Banque en charge des secteurs des infrastructures en fournissant une information objective, précise, détaillée et contextualisée sur les résultats au plan de la croissance à long terme et de la réduction de la pauvreté attribuables à leurs activités conformément à la Stratégie décennale de l’institution 2013-2022 ;

• Créer un bien informationnel public de valeur, comme les évaluations d’impact sont plus rares dans le secteur des infrastructures que dans d’autres secteurs (Estache, 2010; consulter la nouvelle stratégie de gestion des connaissances de la Banque, 2015-20).

Pour intégrer une prise de décisions améliorée fondée sur les évaluations d’impact dans les opérations de la Banque et contribuer ainsi au renforcement de la mémoire institutionnelle, la Banque devrait envisager (i) d’institutionnaliser formellement le guide à six étapes dans l’évaluation des opérations nationales et des opérations régionales dans le secteur des transports ; (ii) d’approuver des affinements encore plus élaborés du cadre d’EI à six étapes ; et (iii) de prévoir des ressources humaines additionnelles de sorte qu’une équipe d’EI interne à la Banque soit constituée pour mener ces évaluations

et d’autres activités de production du savoir à travers les études économiques et sectorielles. Ces études donneront lieu à une meilleure compréhension des impacts à long terme sur le développement attribuables aux investissements mobilisés par la Banque dans le secteur des infrastructures, ce qui aurait pour effet de faciliter la mise en œuvre de stratégies d’investissement dans les transports susceptible d’avoir de meilleurs résultats au plan du développement par dollar investi. Une évaluation d’impact n’est pas nécessaire pour tous les projets dans le secteur des transports, mais la Banque adopter une approche stratégique en ce qui concerne le choix du moment et du lieu qui seraient le plus propices à une EI rigoureuse dans le secteur des infrastructures de transport.

BibliographieBAD. 2015. Stratégie de gestion des connaissances,

2015-20.

Cadot, O., Ana M. Fernandes, Julien Gourdon et Aaditya Mattoo. 2011. Where to Spend the Next Million? Applying Impact Evaluation to Trade Assistance.

Chung, K. 2000. Qualitative Data Collection Techniques. In: GROSH, M. & GLEWWE, P. (eds.). Washington D.C.: World Bank.

Estache, A. 2010. A Survey of Impact Evaluation of Infrastructure Projects, Programs and Policies. ECORE Discussion Paper 2010/6. CORE and ECARES.

Grosh, M. et Paul Glewwe. 2000. Designing Household Survey Questionnaires for Developing Countries: Lessons from 15 Years of the Living Standards Measurement Study. Volumes 1, 2, and 3. The World Bank.

IEG. 2012. World Bank Group Impact Evaluations: Relevance and Effectiveness. Washington, DC: World Bank. DOI: 10.1596/978-0-8213-9717-6.


109


M. Christian Kingombe est Chargé en chef des infrastructures et de l’intégration régionale à la Division du NEPAD et de l’intégration régionale de la Banque africaine de développement. Il a été auparavant chargé en chef du commerce et de l’intégration régionale au sein de la Division du commerce de la BAD. Avant d’entrer au service de la BAD, il a été à partir de 2010 chercheur principal du Groupe de développement économique international à l’Institut pour le développement outre-mer (ODI. De juin 2011 à août 2012 il a été simultanément chargé de recherche invité à l’Institut des hautes études internationales et du développement (IHEID). Il est titulaire d’un doctorat en économie appliquée de l’Imperial College London & University of London en 2011. Il a également été professeur invité au Centre pour l’étude des économies africaines (CSAE) et au département d’économie de l’université d’Oxford, au Royaume-Uni.

Kingbo, P-J.. 2013. Lessons Learned from the Validation of the OPEV Evaluation Results Database. OPEV power point presentation.

Kingombe, C.K.M. 2010. An Enquiry into the Causes and Nature of the Transmission Mechanisms between Labour-Based Rural Roads, Sustainable Growth, and Agricultural Trade in Zambia’s Eastern Province. PhD Thesis. University of London.

Mu, Ren & van de Walle, Dominique, 2007. “Rural roads and poor area development in Vietnam,”Policy Research Working Paper Series 4340, The World Bank.

Sonck, N. et Henk Fernee. 2013. Using smartphones in survey research: a multifunctional tool.

Implementation of a time use app; a feasibility study. The Netherlands Institute for Social Research.

Spratt, S. et Ryan-Collins, L. 2012. Development Finance Institutions and Infrastructure: A Systematic Review of Evidence for Development Additionality.

United Nations. 2007. The Wye Group Handbook. Rural Households’ Livelihood and Well-being. Statistics on Rural Development and Agricultural Household Income.

Van de Walle, D. 2009. Impact evaluation of rural road projects. Journal of Development Effectiveness, Vol. 1, No.1, March, 15-36.

eVALUatiOn Matters

110

Secteur de l’éducation

111

L’évaluation d’impact au service des innovations au plan des politiques d’éducation : l’alphabétisation des jeunes enfants en Afrique du Sud20 Mars 2015

Nompumelelo Mohohlwane et Stephen Taylor


eVALUatiOn Matters

112 Généralités : Le développement à travers une éducation de qualitéLa planification du développement en Afrique du Sud et au plan international est de plus en plus axée sur l’éducation. Des accords comme les Objectifs de développement pour le millénaire (ODM) et l’initiative Éducation pour tous attestent de la reconnaissance internationale du rôle central que joue l’éducation. En Afrique du Sud, le plan national de développement, qui est sans conteste le principal document de planification du pays, donne un rôle de premier plan à l’éducation, et la présidence de la République considère l’amélioration de la qualité de l’éducation de base comme la première priorité du pays (NPC, 2012).

En dépit des avancées concrètes enregistrées ces dernières décennies au plan de l’élargissement de l’accès à l’école dans les pays en développement, on reconnaît de plus en plus maintenant que, dans beaucoup de pays, les résultats réalisés par ceux qui vont à l’école sont extrêmement médiocres. Spaull et Taylor (2015), par exemple, montrent qu’en dépit de l’amélioration de l’accès à l’école dans beaucoup de pays d’Afrique australe et d’Afrique de l’Est, beaucoup d’enfants atteignent la 6e année sans avoir acquis les connaissances de base pour la lecture et le calcul. Cela est important à remarquer étant donné qu’il y a des preuves que la qualité des connaissances acquises (au-delà du nombre d’années de scolarité) a un impact sensible sur la croissance économique et sur les perspectives d’emploi des personnes (Hanushek et Woessmann, 2007). L’éducation comporte beaucoup d’avantages sociaux, psychologiques et autres, mais les résultats au plan de l’apprentissage doivent être sérieusement pris en compte dans l’analyse de la performance du système éducatif.

Le défi de la qualité de l’éducation en Afrique du SudLes évaluations nationales et internationales de la performance des apprenants font toujours état d’une performance médiocre des enfants Sud-Africains en mathématique, en sciences et dans les langues (Spaull, 2014). Cette médiocrité générale est préoccupante, mais le présent article s’intéresse uniquement à l’alphabétisation et à la lecture.

Les résultats enregistrés avant les PIRLS 2011 ont montré que 29 % des enfants sud-africains de 4e année n’avaient pas les aptitudes de base à la lecture exigées en 2e année. La situation était beaucoup plus grave dans le cas le cas des enfants étudiant dans une langue africaine. Par exemple, 57 % des enfants qui ont passé des tests en Sepedi ou en Tshivenda n’ont pas atteint ce niveau (Université de Pretoria, 2012). L’étude PIRLS de 2006, qui a soumis des enfants sud-africains à un test de lecture quelque peu plus avancé, a montré qu’environ 80 % de ces enfants n’avaient pas appris à lire pour comprendre le sens de ce qu’ils lisaient jusqu’à la 5e année et ne pouvaient au mieux qu’extraire des détails factuels de base d’un texte. Si les enfants n’ont pas appris à lire couramment avant la 5e année, il est évident qu’ils ne pourront pas suivre le programme d’éducation à des niveaux supérieurs. La médiocrité des aptitudes de base à la lecture est donc le principal défi qui se pose au plan de la qualité de l’éducation en Afrique du Sud.

La performance de l’Afrique du Sud, même par rapport à beaucoup de pays plus pauvres, demande qu’on étudie les causes du succès limité du système éducatif à transformer les intrants en réalisations. En Afrique du Sud, les dépenses par enfant scolarisé en termes de parité de pouvoir d’achat sont supérieures à celles des treize autres pays du SACMEQ à l’exception des Seychelles. Le contexte sud-africain s’explique en bonne partie par l’inégalité découlant de l’histoire politique du pays. Les changements opérés dans le système éducatif après la fin de l’apartheid et le rétablissement de la démocratie en 1994 n’ont guère réussi à modifier la nature de l’apprentissage en milieu scolaire. Plusieurs auteurs, tels que Fleisch (2008) et Spaull (2014), prétendent que le système scolaire sud-africain comprend effectivement deux systèmes. La première et la plus importante partie du système comprend les écoles de tout temps défavorisées et est caractérisée par l’inefficacité, avec notamment une mauvaise gestion des écoles, des résultats médiocres persistants, des redoublements et des abandons élevés


113et systématiques. Le deuxième système regroupe les écoles historiquement réservées aux Blancs et aux Indiens qui enregistrent des résultats élevés, où les frais payés par les parents sont élevés, les processus organisationnels et d’enseignement sont plus efficaces et les infrastructures scolaires sont de meilleur niveau.

Le gouvernement sud-africain est conscient de ces défis et continue d’affecter la part la plus grande des dépenses publiques à l’éducation. Depuis le début des années 1990, les dépenses au titre de l’éducation sont de mieux en mieux ciblées en faveur des écoles défavorisées (Gustafsson et Patel, 2008). Des initiatives et des politiques spécifiques mise en œuvre par le gouvernement sud-africain pour répondre au problème de l’inégalité dans l’enseignement englobent l’abolition des frais de scolarité dans environ 77 % des écoles publiques et la fourniture de repas par l’intermédiaire du Programme national de nutrition scolaire à environ 70 % des écoles, avec en priorité les écoles les plus pauvres (ministère de l’Éducation de base, 2014).

En dépit de ces efforts considérables, toutefois, les résultats au plan de l’apprentissage restent faibles en Afrique du Sud, et on en sait peu au sujet de l’efficacité de certains programmes et politiques mis en place pour améliorer l’apprentissage. Les faits probants disponibles, lorsqu’ils existent, sont souvent des appréciations, axés sur les intrants, anecdotiques ou font partie d’une initiative plus grande où l’effet d’actions spécifiques est difficile à isoler. Cela plaide pour la mise en place d’un programme d’évaluations d’impact visant à alimenter la prise de décisions à l’avenir, comme nous le décrivons par la suite.

L’importance de l’alphabétisation des jeunes enfants en Afrique du SudLa documentation sur l’apprentissage en bas âge met en relief l’importance que revêt la maîtrise de certaines bases pour les étapes d’apprentissage futures. Cette documentation mentionne l’auto-productivité pour expliquer que les aptitudes acquises à un niveau donné persistent généralement dans le niveau suivant et facilitent l’acquisition d’autres aptitudes dans une autre dimension (Girdwood, 2013).

Hormis les avantages cognitifs que comporte l’établissement de bonnes bases d’éducation et des effets durables de celles-ci, James Heckman (2007) soutient que l ’intervention à un âge précoce est plus économique qu’à un âge plus avancé. Les coûts associés à la fourniture d’appui scolaire à l’intention de zones où les résultats sont médiocres identifiés tôt, par exemple au niveau élémentaire, sont nettement plus faibles qu’à un niveau d’apprentissage plus avancé où l’écart entre les exigences du programme et les connaissances de l’élève peut être extrêmement grand dans plusieurs sujets, comme l’ont montré Pritchett et Beatty (2015). Les coûts accumulés aux niveaux avancés englobent des taux élevés de redoublement et d’abandon scolaire.

La lecture est une aptitude essentielle qui doit être acquise aux premiers niveaux de l’école primaire. Une documentation théorique importante fait état des avantages de l’apprentissage de la lecture dans la langue parlée à la maison (ou la première langue). Un des avantages attendus est que l’acquisition de la deuxième langue devrait être plus facile une fois que l’enfant a atteint un niveau de lecture et d’alphabétisation solide dans une langue. Un article publié par Taylor et Coetzee (2013) présente certaines preuves empiriques dans le cas de l’Afrique du Sud selon lesquelles l’apprentissage dans la langue parlée à la maison de la 1re à la 3e année améliore la connaissance de l’anglais aux niveaux 4 à 6 par rapport aux enfants qui ont été éduqués en anglais. Cette constatation conforte l’idée que tout apprentissage s’appuie sur un apprentissage antérieur. La maîtrise de la langue seconde est donc activée par la maîtrise de la langue première. Cela renvoie à la valeur stratégique que comporte la recherche de moyens d’améliorer l’acquisition d’aptitudes à la lecture dans la langue parlée à la maison au niveau élémentaire. Mais la réalité est que la majorité des enfants passeront à l’anglais comme langue d’apprentissage à la quatrième année. La recherche de moyens pour renforcer le vocabulaire anglais et gérer cette transition le plus efficacement possible est donc très importante.

eVALUatiOn Matters

114 Élaboration de politiques d’éducation et processus d’évaluationLe présent article ne s’intéresse pas de près à la question de l’élaboration de politiques d’éducation en Afrique du Sud. Toutefois, ce qui est manifeste, c’est que malgré beaucoup de changements au niveau des politiques et de nouveaux programmes, on n’en sait guère plus au sujet des impacts ultimes de ces initiatives sur les résultats au plan de l’apprentissage. L’absence d’intérêt à l’égard de l’évaluation d’impact n’est pas un phénomène unique à l’Afrique du Sud, comme le montre la citation suivante :

« Les programmes de développement visent en général à modifier les résultats, par exemple à augmenter les revenus, à améliorer l’apprentissage ou à réduire les foyers de maladies. La réalisation ou non de ces changements est une question de politique publique très importante, mais qui n’est souvent pas traitée. Les responsables de programmes et les décideurs s’attachent plus souvent à contrôler et à mesurer les intrants et les produits immédiats d’un programme - combien d’argent a été dépensé, combien de livres ont été distribués - plutôt que de déterminer si les programmes ont atteint le but visé, soit l’amélioration du bien-être » (Banque mondiale, 2010).

Dans les cas où une recherche en profondeur a été menée – au moins en Afrique du Sud – celle-ci est en général axée sur l’identification de secteurs qui doivent être surveillés plutôt que sur l’évaluation de solutions possibles. Dans les cas où les interventions sont évaluées, cela se fait souvent par des études de cas ou des projets pilotes dans un nombre réduit d’écoles. Cette approche a pour défaut que le modèle de mise en œuvre souvent choisi dans le cas d’études de cas ou de projets pilotes de petite envergure nécessite des ressources considérables et peut être difficile à répliquer à une échelle plus grande.

On remarque maintenant un intérêt pour l ’évaluation au sein du gouvernement sud-africain grâce à la mise en place en 2011 du cadre

national de la politique d’évaluation. Ce cadre comprend un plan national d’évaluation (NEP) qui commande des évaluations indépendantes des programmes prioritaires de l’État en partenariat entre le ministère concerné et le ministère de la Planification, du Suivi et de l’Évaluation (DPME, 2014). Plusieurs programmes du ministère de l’Éducation de base (DBE) programmes ont été évalués à travers le NEP, soit le programme du niveau R, le programme de bourses Funza Lushaka et le programme national de nutrition à l’école.

Les évaluations mentionnées ci-dessus sont toutes des évaluations rétrospectives qui évaluent la qualité de la mise en œuvre des programmes et à déterminer si les buts visés ont été atteints. Les évaluations d’impact prospectives, qui ont lieu avant le déploiement complet des programmes, sont extrêmement rares. La seule exception est l’évaluation d’impact d’une nouvelle série de guides lancés par le DBE en 2012 (ministère de l’Éducation de base, 2013).

Tests comparatifs randomisés dans le domaine de l’éducationLe défi majeur en matière d’évaluation d’impact est la nécessité d ’ identif ier un scenario contrefactuel, soit déterminer ce qui serait arrivé aux destinataires du programme si celui-ci n’avait pas été mis en œuvre. Comme il est impossible d’observer effectivement un scenario contrefactuel dans la réalité, il faut un groupe témoin ou un groupe de comparaison pour avoir une estimation valide de la situation contrefactuelle. Comparer simplement les destinataires et les non-destinataires du programme ou des réalisations préalables et postérieures au programme parmi les destinataires n’est pas de nature à fournir une estimation valide du scenario contrefactuel étant que les destinataires sont systématiquement différents des non-destinataires et les réalisations auraient de toute façon tendance à changer au fil du temps.

Il existe de nombreuses quantitatives d’évaluation d’impact, mais la méthode la plus appropriée


115pour identifier une estimation valide à l’interne du scenario contrefactuel consiste à mener un test comparatif randomisé (TCR). S’appuyant sur le tirage au sort pour affecter les participants aux groupes d’intervention et aux groupes témoins, le TCR construit un scenario contrefactuel crédible, qui revient à déterminer ce qui serait arrivé à ceux qui ont bénéficié de l’intervention s’ils n’en avaient pas bénéficié.

Les évaluations d’impact prospectives présentent l’avantage de mettre au grand jour les obstacles auxquels se heurte le système scolaire. Dans des environnements complexes, comme celui de l’éducation, plusieurs facteurs inf luencent les réalisations, et il n’est pas facile de déterminer contre lequel s’attaquer en premier. Par exemple, un enseignement de qualité supérieure nécessite des enseignants à la fois compétents et motivés, mais on ne saurait dire au juste si c’est là que se trouve l’obstacle majeur en Afrique du Sud. Les connaissances des enseignants d’Afrique du Sud sont faibles : Carnoy et al (2011) ont trouvé que les enseignants de 6e année ont obtenu une note voisine de 40 % à un test visant à évaluer leurs connaissances en mathématique pour ce niveau de scolarité. Par ailleurs, des études font d’état d’une faible motivation des enseignants dans les écoles pauvres, qui se manifeste par des taux d’absentéisme élevés et une faible activité d’enseignement (Reddy et al, 2010). Cependant, on ne sait pas au juste s’il faut s’attaquer aux capacités des enseignants ou à leur motivation en premier. L’absence d’évaluations rigoureuses permettant de déterminer lequel de ces défier relever en premier entrave l’élaboration de politiques et de programmes classiques.

Considérations pratiques en matière de conduite de TCRLa conception d’un TCR exige des connaissances en statistique. Elle englobe le calcul des tailles des échantillons appropriées dans chaque intervention et chaque groupe témoin ainsi que la conduite de l’assignation aléatoire. Pour des raisons pratiques, lorsqu’il s’agit de mener un TCR, il est souvent nécessaire d’assigner les écoles dans leur ensemble

à des groupes d’intervention ou à des groupes témoins, alors que les personnes sont assignées aux différents groupes expérimentaux. Cela donne lieu à des échantillons plutôt de grande taille, ce qui a des répercussions au plan des coûts. La mobilisation de financements prend du temps et nécessite une forte implication des parties prenantes et l’appui de l’État pour convaincre les donateurs de participer.

Un TCR dans le domaine de l’éducation a deux composantes principales, soit la mise en œuvre des nouvelles interventions et l’évaluation de leur impact. La composante évaluation englobe la collecte de données liées aux réalisations ainsi que des données contextuelles aux fins de mesure de l’évolution des réalisations intermédiaires et d’identification des facteurs qui expliquent l’impact de l’intervention. Les composantes Mise en œuvre et Evaluation nécessitent un financement et devraient être exécutées par des organismes différents. Dans certains cas, une ONG ou un ministère peut financer et mettre les interventions en œuvre, réduisant ainsi la nécessité de financements additionnels. Si des données fiables sur les réalisations sont disponibles, par exemple par le biais d’un examen normalisé au plan national, il pourrait être possible de réduire nettement les coûts associés à la composante évaluation du projet.

Les chercheurs universitaires et les organismes d’exécution font face à diverses incitations malsaines lorsqu’ils envisagent ou mènent des évaluations. Un biais de publication existe dans le milieu universitaire ou il existe plus de chances qu’une étude faisant état de résultats positifs soit publiée que des études faisant état d’une absence d’impact (Duflo, Glennerster et Kremer, 2006). Les TCR sont moins exposés à ce biais, dans la mesure où l’important investissement en temps et en ressources conjugué à la forte fiabilité des résultats a pour effet que même les évaluations faisant état d’une absence d’impact sont susceptibles d’être publiées.

Les ministères et les ONG peuvent s’opposer aux évaluations d’impact à cause du risque de résultats négatifs. Les évaluations prospectives de programmes de rechange ou des variations de programmes en

eVALUatiOn Matters

116 cours d’examen peuvent être plus acceptables aux décideurs et aux responsables de programmes qui n’auront pas le sentiment que leur travail de plusieurs années est soumis au jugement de tiers.

Pour ces raisons, le succès d’un TCR dépend d’une consultation élargie et de l ’appui des parties prenantes. Cela fait en sorte que les fonds et d’autres ressources, notamment le personnel, soient disponibles, que l’intégrité de la conception de l’étude soit maintenue ; que la mise en œuvre des interventions soit menée adéquatement, et que les résultats soient pris en compte aux fins d’élargissement du programme ou de réaménagement de sa conception.

Expériences tirées de deux nouvelles évaluations des aptitudes à la lecture en Afrique du SudGrâce à un partenariat entre les chercheurs en éducation, les pouvoirs publics et les bailleurs de fonds, deux études sont en cours pour évaluer les moyens par lesquels il serait possible d’améliorer l’acquisition d’aptitudes à la lecture dans les écoles sud-africaines.

Évaluation d’un programme de rattrapage en lecture en quatrième annéeLa Stratégie de mathématique et de première langue de Gauteng (GPLMS) mise en œuvre entre 2011 et 2014 comportait diverses interventions axées sur le niveau élémentaire. Ainsi, un programme de rattrapage en lecture (RCUP) a été élaboré pour renforcer les connaissances en anglais des enfants de 4e et de 5e dont la première langue n’était pas l ’anglais mais qui doivent utiliser l’anglais, qui est la langue d’enseignement à ces niveaux. Une évaluation préliminaire de ce programme a fait état d’importes avancées au plan des connaissances linguistiques des destinataires du programme au fil du temps (Hellman, 2012). Toutefois, il l’étude ne comportait pas de groupe témoin. Ainsi, certaines hypothèses ambitieuses devaient être posées pour déterminer le niveau et la qualité de l’apprentissage qui auraient été enregistrés si l’intervention n’avait pas eu lieu.

Ces résultats prometteurs au début, quoique non concluants, ont motivé le recours en 2014 à un TCR du RCUP dans le district de Pinetown dans la province du KwaZulu-Natal (Fleisch, Taylor, Schöer et Mabogoane, 2015). L’intervention a duré 11 semaines et a consisté en un appui aux professeurs sur le terrain fourni par des encadreurs en lecture et la fourniture de plans de leçons scénarisés et de livres de lecture additionnels. Le RCUP ciblait les élèves de 4e année qui faisaient la transition à l’anglais comme langue d’apprentissage après avoir utilisé la langue parlée à la maison au début de leur scolarité. L’hypothèse qui sous-tendait le programme était que les lacunes au plan de la maîtrise de l’anglais à la fin du deuxième trimestre en 4e année pouvaient être comblées par une intervention bien conçue relativement brève. Le programme a été mis en œuvre dans 40 écoles avec un groupe témoin de 60 écoles. L’assignation au groupe d’intervention et au groupe témoin a été effectuée par tirage au sort informatisé. Les services de diverses organisations ont été retenus pour mener l’intervention et assembler les données aux fins d’évaluation, et le responsable de celle-ci n’était pas mis au courant de la composition du groupe d’intervention ni du groupe témoin.

Le résultat le plus remarquable de l’étude a été que les enfants dans les écoles d’intervention (traitement) ont certes amélioré leurs notes aux tests entre l’évaluation de départ et l’évaluation de fin d’intervention, mais les élèves des écoles du groupe témoin ont enregistré des résultats similaires, comme le montre le Graphique 1. Cela montre l’importance qu’il y a à obtenir une estimation du scenario contrefactuel. En effet, sans la présence d’un groupe témoin sélectionné de façon aléatoire, un résultat positif faux aurait été enregistré. Le principal résultat est donc que l’intervention du RCUP n’a pas eu d’impact statistiquement significatif sur les aptitudes globales à la lecture des élèves. Toutefois, les élèves du groupe de traitement se sont améliorées plus que celles du groupe témoin au plan de l’orthographe et de la grammaire. L’impact du programme a été plus important pour les élèves qui avaient au départ une connaissance de base minimale de l’anglais et pour ceux dont les professeurs ont participé activement au programme.


117Graphique 1 Notes moyennes avant et après l’intervention, les écoles du groupe d’intervention et du groupe témoin

Note : Les écarts de confiance de 95 % sont mentionnésSource : Fleisch, Taylor, Schöer et Mabogoane, 2015

35

30

25

20

15

10

5

0

Not

e m

oyen

ne %

Début gpintervention

Fin gpintervention

Début gptémoin

Fin gptémoin

Le TCR du RCUP comporte d’importants enseignements et soulève plusieurs questions qui nécessitent des recherches plus poussées. D’abord, il est clair que des programmes nettement bien conçus peuvent ne pas avoir un effet aussi important que celui auquel on pourrait s’attendre sans une évaluation rigoureuse. Hormis la qualité de la conception d’un programme et de l’intégrité de sa mise en œuvre, il peut y avoir des facteurs contextuels liés aux élèves, aux écoles et aux communautés qui soit entravent soit favorisent l’efficacité d’une intervention.

Ensuite, les résultats montrent que le RCUP ne peut pas être élargi à une échelle plus grande avec la conviction qu’il aura un effet sensible sur les réalisations au plan de l’apprentissage. Cela ne signifie pas nécessairement que les programmes de rattrapage en lecture en général, ou même le RCUP en particulier, ne devraient pas être étudiés plus en profondeur. Cela signifie toutefois qu’une version révisée devrait être d’abord testée et qu’elle donne des preuves de son efficacité avant que les pouvoirs publics n’envisagent son déploiement à plus grande échelle.

Troisièmement, les tests administrés de façon indépendante ont montré que les carences d’apprentissage qui existent à la fin du niveau de base sont manifestement plus importantes que prévu. La constatation selon laquelle au départ les élèves qui obtenait de meilleurs notes tiraient plus parti de l’intervention peut donner à penser que le programme aurait été plus approprié pour la 5e année, même s’il abordait des sujets qui auraient dû être couverts au niveau élémentaire. Une autre possibilité est qu’une intervention de 11 semaines est tout simplement trop courte pour influencer profondément la pratique et l’apprentissage en salle de classe.

L’étude sur la lecture au primaire (EGRS)Le deuxième TCR mené par le ministère de l’Éducation de base est l ’étude sur la lecture au primaire (EGRS). Il a commencé récemment (février 2015) dans 230 écoles de la province du nord-ouest et vise à évaluer trois interventions concurrentes toutes axées sur l’amélioration des aptitudes à la lecture dans la langue parlée à la maison (Setswana) en 1re et 2e année.

eVALUatiOn Matters

118 L’échantillon des écoles englobe des écoles gratuites dans les districts Dr Kenneth Kaunda et Ngaka Modiri Molema de la province du nord-ouest. Toutes les écoles choisies utilisent le setswana comme langue d’enseignement au niveau primaire. Les trois interventions se dérouleront sur deux ans avec la promotion d’enfants entrant en 1re année en 2015.

Le TCR évaluera les impacts de causalité des trois interventions suivantes, à savoir : (i) un cours de formation des enseignants axé spécifiquement sur l’enseignement de la lecture et l’alphabétisation en Setswana, accompagné de plans de leçons scénarisés et du matériel de lecture à plusieurs niveaux ; (ii) un programme d’appui aux enseignants sur le terrain de la part de formateurs en lecture, accompagné de plans de leçons scénarisés et du matériel de lecture à plusieurs niveaux ; et un programme destiné à améliorer la participation des parents aux initiatives d’apprentissage de la lecture et au suivi de ces initiatives. Chaque intervention sera mise en œuvre dans 50 écoles présentes dans l’échantillon. 80 autres écoles feront partie du groupe témoin. Comme cela avait été le cas pour l’étude du RCUP, les services d’organisations différentes ont été retenus aux fins de mise en œuvre et de collecte des données pour l’évaluation, l’agent de l’évaluation n’ayant pas été mis au courant de la composition des différents groupes.

L’étude devrait apporter des éléments de réponse à plusieurs questions qui se posent au plan de la recherche et des politiques. En premier lieu, elle déterminera laquelle des trois interventions a un meilleur rapport coûts-avantages. Chacune des interventions comporte un coût unitaire distinct, mais on établira l ’amélioration des notes par rand dépensé pour chacune d’elles. L’étude cherchera également à déterminer si les impacts des interventions diffèrent pour les divers sous-groupes d’élèves ou d’écoles. Le résultat alimentera le ciblage des interventions dans le cas où celles-ci sont élargies à une échelle plus grande. Elle vise également à examiner les effets à long terme et les effets de déversement bénéfiques que comporte une acquisition accélérée

des aptitudes à la lecture. Les impacts persistent-ils, s’estompent-ils ou s’accumulent-ils au fil du temps ? Si on réussit à améliorer les aptitudes à la lecture dans la langue parlée à la maison au début de la scolarisation, y a-t-il des effets de déversement bénéfiques sur d’autres domaines d’apprentissage comme le calcul et la première langue supplémentaire ? Cela sera déterminé à l ’aide des résultats des évaluations annuelles nationales dans les années suivantes.

Conclusion Le présent article a montré que l’amélioration de l’acquisition des aptitudes à la lecture au début de la scolarisation est déterminante pour la qualité de l’éducation dans les pays en développement, et en particulier en Afrique du Sud. En l’absence de la preuve qu’il existe des politiques et programmes efficaces pour faire face au défi de la qualité de l’éducation, le recours à des évaluations d’impact prospectives est recommandé. Le présent article a fait ressortir la nécessité de faire preuve d’innovation et de rigueur pour établir de telles preuves et comprendre facteurs limitatifs contraignants dans le système éducatif complexe d’Afrique du Sud.

Ces éléments sont confirmés par la conduite de deux TCR axés sur la lecture au niveau élémentaire en Afrique du Sud. Le TCR du programme de rattrapage en lecture, effectué à Pinetown, au Kwa-Zulu Natal, a donné lieu à d’importants enseignements. Les résultats de ce test ont mis en relief la nécessité d’établir un scenario contrefactuel pour la mesure de l’impact, qui est une force de la méthodologie TCR. Le deuxième TCR abordé, l’étude sur la lecture au primaire (EGRS), qui est mené dans 230 écoles dans la province du nord-ouest ouvre des perspectives intéressantes pour l’amélioration des aptitudes à la lecture. On s’attend à ce que les résultats répondent à certaines des questions découlant de l’évaluation du RCUP et fournissent des informations de fond sur les facteurs limitatifs contraignants qui entravent l’enseignement des langues dans les écoles sud-africaines.


119BibliographieBoiseiere, M. (2004). “Determinants of Primary

Education Outcomes in Developing Countries”. Washington: Banque mondiale

Carnoy,M. Chisholm,L. Addy,N. Arends,F. Baloyi,H. Irving, M. Raab, E. et al. (2011). The process of learning in South Africa: the quality of mathematics teaching in North West Province. Technical Report. Stanford University School of Education and HSRC.

Ministère de l’Éducation de base. (2014). Rapport annuel 2013/2014. Pretoria. Tiré le 15 mai 2013 de www.education.gov.za

Ministère de l’Éducation de base (2013). Rapport technique. Developing and Evaluating the First Phase of the Grade 12 Mind the Gap Study Guide Series. Pretoria.

Ministère de l’Éducation de base. (2012). Summary Report: Evidence Based Policy Review Workshop. Pretoria

Ministère de l’Éducation de base. (2014). Terms of Reference. Implementation of Reading Interventions for the research project: “Early Grade Reading Study. Pretoria

Ministère de la Planification, du Suivi et de l’Évaluation. (2014). Concept for the National Evaluation Plan 2015/16. Pretoria.

Duflo, E., Glennerster, R., & Kremer, M. (2007). Using Randomization in Development Economics Research: A Toolkit. Center for Economic Policy Research.

Fleisch, B. (2008). Primary Education in Crisis: Why South African schoolchildren underachieve in reading and mathematics. Cape Town: Juta.

Fleisch, B.Taylor, S. Schöer, V. & Mabogoane, T. (2015). Assessing the impact of the RCUP: The findings of the impact evaluation of the Reading

Catch-Up Programme. Paper Presented at the Wits School of Education Research Seminar.

Girdwood, E. 2013. Exploring the Evidence on Early Learning: A Literature Review. Impact Evaluation of the Introduction of Grade R on Learning Outcomes. Research on Socio-Economic Policy (RESEP). Department Of Economics, University Of Stellenbosch

Gustafsson, M. & Patel, F. (2008). Managing the teacher pay system. What the local and international data are telling us. Stellenbosch Economic Working Papers. 26(06)

Hanushek,E,A & Woessmann,L.(2007). Education quality and economic Growth. The World Bank: Washington

Heckman, J. (2007). The economics, technology, and neuroscience of human capability formation. NBER Working paper 13195.

Hellman, L. (2012). GPLMS Intersen Catch-up Programme: Analysis of Results. Memo.

National Planning Commission. (2012). National Development Plan: Vision for 2030. Retrieved January 18, 2013, from http://www.npconline.co.za/

Pritchett,L. & Beatty,A. (2015). Slow down, you’re going too fast: Matching curricula to student skill levels. International Journal of Educational Development. 40 (1), 276–288.

Reddy, V., Prinsloo, C., Netshitingani, T., Moletsane, R., Juna, A., & Janse van Rensburg, D. (2010). An investigation into educator leave in the South African ordinary public schooling system.

Spaull, N. (2014) Education Quality In South Africa And Sub-saharan Africa: An Economic Approach (Unpublished doctoral thesis, University of Stellenbosch, Stellenbosch)

eVALUatiOn Matters

120 Spaull, N., & Taylor, S. (2015). Access to What? Creating a Composite Measure of Educational Quantity and Educational Quality for 11 African Countries. Comparative Education Review, 59 (1), 133-165.

Taylor, S. & Coetzee, M. (2013). Estimating the impact of language of instruction in South African primary schools: A fixed effects approach. Stellenbosch Economic Working Papers: 21/13

University of Pretoria. (2012). PIRLS 2011: Media Release. 11 December 2012. Retrieved 12 December 2012. from www.up.ac.za

Banque mondiale. (2010) Impact Evaluations in Practice. Retrieved 10 October 2014 from http://www.worldbank.org/ieinpractice


Nompumelelo Mohohlwane est directrice adjointe à la Direction de la coordination de la recherche, du suivi et de l’évaluation au ministère de l’Éducation de base d’Afrique du Sud. Cette direction est chargée du suivi, de l’appui à la gestion de l’information sur la performance et de la conduite de la recherche et de l’évaluation des interventions dans le secteur de l’éducation. Elle termine actuellement son Master’s en éducation à l’université de Witwatersrand.

Stephen Taylor est conseiller au ministère de l’Éducation de base d’Afrique du Sud. Ses activités englobent l’évaluation d’impact des interventions et la mesure des performances et de l’équité dans le secteur de l’éducation. En 2010, il a terminé une thèse de PhD en économie de l’université de Stellenbosch sur l’analyse des résultats scolaires d’enfants défavorisés en Afrique du Sud.

121

Ricardo Paes Mamede, Daniela Cruz et Teresa Farinha Fernandes

Évaluation de l’impact de la formation professionnelle au Portugal : une collaboration institutionnelle fructueuse


eVALUatiOn Matters

122 Introduction Le présent article décrit un projet collaboratif en cours au Portugal, faisant intervenir plusieurs agences gouvernementales, une université publique et la Commission européenne. Le projet vise à évaluer les effets d’une expansion récente de grande envergure de la formation professionnelle dans les écoles secondaires portugaises.

Le Portugal enregistre des résultats médiocres en matière d’éducation depuis longtemps, par rapport à d’autres pays jouissant d’un niveau de vie élevé. En 2014, 43 % de la population âgée de 15 à 64 ans avaient reçu une éducation secondaire. Il s’agit d’une nette amélioration par rapport aux bas niveaux historiques (par exemple 20 % en 1992), mais ce résultat est le deuxième chiffre le plus bas au sein des pays de l’OCDE (juste au-dessus de la Turquie), ce qui place le Portugal très loin de la moyenne dans l’UE (72,5 %). De plus, parmi les personnes entre 18 et 24 ans, le taux de celles qui quittent l’école ou la formation tôt reste élevé par rapport à la moyenne de l’UE (17,7 % contre 11,3 % en 2014), en dépit de nettes améliorations enregistrées au cours de la dernière décennie (38,5 % en 2006).

Le recul récent du taux d’abandon scolaire chez les jeunes Portugais est généralement associé à la décision prise en 2004 par le gouvernement portugais d’élargir l’offre de cours de formation professionnelle dans les écoles publiques (ISCED 3). Les cours de formation professionnelle constituent une solution de rechange aux programmes scientifiques-littéraires du secondaire qui octroient à ceux qui terminent leur formation une double qualification, soit un diplôme d’école secondaire et un certificat d’aptitudes techniques initiales. Les programmes des cours de formation professionnelle comportent un volet pratique solide, une série de sujets génériques (offerts dans la plupart des cours au secondaire) et un bref volet de travail en entreprise (similaire à un stage) dans les entreprises locales. Cette formation vise à faciliter la transition vers le marché du travail, mais elle permet également aux élèves de se préparer pour l’enseignement supérieur.

Le nombre d’élèves inscrits à la formation professionnelle au Portugal est passé de 37 000 à près de 118 000 en 2013, soit environ 30 % de l’ensemble de la population étudiante au niveau secondaire avancé. La réforme visait explicitement à réduire l’incidence de l’échec scolaire, à ajuster le contenu des cours aux attentes des élèves et à mieux apparier l’offre de compétences aux besoins des employeurs.

L’expansion des cours de formation professionnelle va de pair avec le recul du taux d’abandon scolaire déjà mentionné – ce qui laisse croire qu’il existe un lien de causalité entre ces deux facteurs – mais nous n’avons toujours pas de preuves solides confirmant ce lien. Plus important encore, il n’existe guère de preuves que la réforme scolaire a un impact sur l’échec scolaire ou sur l’équilibre entre l’offre et la demande de compétences dans l’économie.

L’expansion de la formation professionnelle au Portugal a été surtout financée par le Fonds social européen (FSE), dans le cadre de la politique de cohésion de l’Union européenne. La Commission européenne appelle depuis longtemps les pays membres à adopter des analyses rigoureuses et en profondeur de l’impact des politiques cofinancées par la Politique de cohésion de l’UE, non seulement pour renforcer son devoir de responsabilité, mais également pour enrichir la conception de politiques à financer au cours de la période de programmation actuelle des financements de l’UE (2014-2020). À cet égard, les autorités portugaises responsables de la coordination, de la gestion, du suivi et de l’évaluation du FSE au Portugal ont lancé ces dernières années plusieurs initiatives visant à déterminer l’impact des politiques du FSE.


123Début 2014, en réponse à l’appel lancé par le directeur général de l’emploi de la Commission européenne, les autorités portugaises et les universités partenaires ont soumis une proposition consistant à mener une évaluation contrefactuelle de l’impact des cours de formation professionnelle sur les résultats scolaires et les résultats sur le marché du travail. Dès le départ, ce projet comportait un volet renforcement des capacités qui visait à produire et à diffuser le savoir lié aux méthodes et pratiques d’évaluation d’impact dans un contexte contrefactuel chez les fonctionnaires, les universitaires et les consultants en évaluation. À cette fin, le projet avait été conçu comme une initiative collaborative faisant intervenir plusieurs agences gouvernementales relevant de divers ministères et des universités partenaires.

Dans le reste de l’article nous décrivons brièvement les institutions qui participent au projet et leurs efforts de collaboration, les données et les méthodes utilisées, les résultats préliminaires, les répercussions attendues du projet sur l’élaboration de politiques et le renforcement des capacités, et les enseignements tirés de la mise en œuvre.

Collaboration institutionnelle pour l’évaluation de l’impact des politiquesL’évaluation contrefactuelle de l’impact de la formation professionnelle sur les résultats scolaires et sur le marché du travail est une entreprise ardue pour plusieurs raisons. D’abord et surtout se pose la question de la disponibilité des données pertinentes. Le but ultime de l’analyse est d’isoler les effets de l’inscription aux cours de formation professionnelle d’autres facteurs qui peuvent influencer la performance des particuliers. Ce genre d’analyse nécessite des informations au niveau de la personne concernant l’inscription aux programmes de formation professionnelle ou à d’autres programmes ainsi que les facteurs qui influent sur les probabilités de succès/échec à l’école et sur le marché du travail. Ce genre de données n’est souvent pas assemblé dans les règles de l’art (voire pas du tout) et est habituellement éparpillé dans diverses agences qui n’observent pas les mêmes

procédures de gestion des données et collaborent rarement entre elles. Des problèmes potentiels liés au secret des données statistiques ont tendance à décourager les agences gouvernementales à s’engager dans ce genre de collaboration. De plus, dans beaucoup de cas, ces agences qui détiennent des données pertinentes ne comprennent guère les méthodes de l’EI contrefactuelle et ne considèrent pas l’évaluation de politiques comme une priorité. Cela, conjugué avec la charge de travail liée à leur activité de base et à l’insuffisance des ressources humaines, empêche ces agences à envisager de s’engager dans de longs projets d’évaluation.

Pour surmonter ces obstacles, nous avons adopté les mesures suivantes. D’abord, les divers partenaires institutionnels ont été invités à participer au niveau le plus haut (c’est-à-dire directeur général ou l’équivalent) dès la phase de conception du projet. Ensuite, le renforcement des capacités a été inclus explicitement dans la proposition, en particulier sous forme de sessions et d’ateliers de formation. Troisièmement, la direction du projet a donné les assurances que les partenaires allaient participer à toutes les étapes pertinentes du projet.

Ces mesures ont créé un climat de confiance chez les parties prenantes, ce qui a simplifié le partage d’informations et encouragé la recherche de solutions aux problèmes sensibles (par exemple la nécessité d’observer le principe du secret statistique tout en permettant l’analyse des données provenant de sources différentes). Par ailleurs, les agences qui fournissent des données ont activement participé à la conception et à la mise en œuvre de l’évaluation d’impact – et pas uniquement en tant que fournisseurs d’informations – ce qui a augmenté leur appropriation du projet. Finalement, le fait que l’entité publique responsable du suivi et de l’évaluation des politiques cofinancées par le FSE, à savoir l’Agence portugaise pour le développement et la cohésion, coordonnait directement le projet a renforcé la conviction que les résultats de l’étude seraient effectivement pris en compte dans la prise de décisions. Tout cela a contribué à encourager les partenaires à travailler de façon acharnée.

eVALUatiOn Matters

124 À la recherche de la bonne méthodeLe projet visait essentiellement à appliquer une logique contrefactuelle à l’estimation des impacts des cours de formation professionnelle au plan des résultats scolaires et sur le marché du travail pour les élèves inscrits en première année du secondaire supérieur.

Nous avons utilisé en particulier une approche d’appariement exact renforcé en vertu de laquelle les résultats des élèves inscrits en formation professionnelle sont comparés à ceux d’autres personnes à tous les points de vue identiques, selon les variables utilisées dans l’analyse, sauf que ces personnes étaient inscrites à des cours de science ou de sciences humaines1.

Cette méthode comporte trois étapes essentielles. D’abord, nous apparions les élèves, c’est-à-dire nous créons des groupes de personnes identiques selon les variables censées influencer les résultats des élèves (de plus amples détails sont donnés plus loin). Ensuite, nous estimons l’impact de la formation professionnelle au sein de chaque groupe homogène en calculant simplement les résultats moyens séparément pour les cours de formation professionnelle et les cours de science et des humanités, et en établissant la différence au plan des résultats moyens entre les deux sous-groupes. En dernier, nous calculons l’impact global de la formation professionnelle en tant que moyenne pondérée des impacts par groupe homogène d’élèves, les pondérations étant attribuées selon la proportion d’élèves inscrits en formation professionnelle dans chaque groupe.

Cette méthode d’appariement s’est avérée adéquate pour ce projet. Hormis ses avantages au plan technique par rapport à d’autres approches d’appariement (voir par exemple Iacus et al., 2012),

1 Nous supposons que l’alternative pour un étudiant inscrit à une formation professionnelle du second cycle de l’enseignement secondaire serait d’être dans l’enseignement scientifique-humaniste “régulier”. Les étudiants inscrits dans les filières scientifiques-humanistes constituent donc le contrefactuel pour les ceux de l’enseignement professionnel.

sa simple logique s’est avérée plutôt intuitive et facile à comprendre par les partenaires n’ayant pas de connaissances avancées en statistique et en économétrie.

Trouver et préparer les donnéesL’évaluation contrefactuelle conduite dans ce projet a nécessité des données liées à trois types de variables, soit (i) le type d’éducation (formation professionnelle par rapport aux sciences/sciences humaines ; (ii) les résultats attendus (transition, conclusion, abandon, accès à l’enseignement supérieur et transition vers l’emploi) ; et (iii) les facteurs qui déterminent les résultats scolaires et le marché du travail. Ces facteurs englobent des variables liées aux caractéristiques démographiques (sexe, âge), à la situation familiale (situation économique, niveau d’étude), aux résultats scolaires précédents (épisodes de rétention précédents, résultats aux examens nationaux de portugais et de mathématique l’année d’avant) et au contexte scolaire (proportion d’élèves recevant l’aide sociale, dotation en ressources humaines).

Les données concernant les caractéristiques élèves, la situation familiale, le contexte des écoles et la trajectoire scolaire individuelle ont été tirées de diverses banques de données administratives gérées par le bureau de la statistique du ministère de l’Éducation et de la Science, et elles sont toutes fondées sur l’information obtenue directement des écoles et des établissements d’enseignement supérieur. Ces bases de données n’ont jamais été croisées aux fins d’analyse longitudinale, ce qui a exigé du personnel technique beaucoup d’efforts pour la collecte et l’organisation des données aux fins du projet. Les données liées à la trajectoire des élèves sur le marché du travail ont été obtenues auprès de deux agences gouvernementales au sein du ministère du Travail et des Affaires sociales, une qui assemble l’information sur la sécurité sociale, et l’autre sur l’emploi2. Nous avons pu croiser les

2 Afin de croiser les données de ces différentes sources tout en se conformant aux lois sur le secret statistique, un protocole garantissant qu’aucun des partenaires ne pourrait accéder à l’information recueillie par d’autres partenaires sur des personnes identifiables a été établi.


125diverses pièces d’information en utilisant le code d’identification personnel créés spécifiquement pour le projet.

Avec les données disponibles, nous avons analysé trois cohortes composées d’élèves inscrites en première année d’école secondaire supérieure (10e année) au cours des années scolaires 2008/2009, 2009/2010 et 2010/2011. Nous avons pu retrouver la trajectoire de ces élèves l’année précédente (t-1) et les trois années suivantes (t+3), ce qui a permis d’analyser les impacts des cours de formation professionnelle sur la performance individuelle à l’école et sur le marché du travail.

Résultats et analyse de l’évaluation d’impact contrefactuelNous avons analysé les variables de résultat suivantes concernant la performance scolaire :

• Transition en année t (c’est-à-dire de la 10e à la 11e année)

• Transition en années t et t+1 (c’est-à-dire de la 10e à la 12e année)

• Abandon entre t et t+2• Diplôme d’école secondaire à t+2• Inscription à l’enseignement supérieur après t+2

Dans l ’ensemble, nous avons conclu que la formation professionnelle a des impacts positifs sur la transition entre les années et l’obtention du diplôme d’école secondaire, et qu’elle a des impacts nuls ou négatifs sur les taux d’abandon et l ’accès à l ’enseignement secondaire (tous les coefficients d’impact sont statistiquement significatifs).

De façon plus spécifique, nous avons trouvé que la formation professionnelle accroît de 24 % la probabilité de transition de la 10e à la 11e année en t, de 31 % de la 10e à la 12e année en deux ans, et la probabilité de diplôme de 36 % à la fin de t+2. S’agissant de l’inscription à l’enseignement supérieur après t+2, la formation professionnelle semble réduire de 12 % la probabilité de participation à des études postsecondaires. Finalement, l’impact

estimatif du programme sur les taux d’abandon au cours des deux premières années d’école secondaire était négligeable.

Ces résultats confirment l’idée que l’expansion de la formation professionnelle a contribué de façon positive à l’amélioration enregistrée récemment par l’éducation des jeunes au Portugal. Le fait que la probabilité d’abandon au cours des deux premières années ne baisse pas de façon marquée si l’élève est inscrit en formation professionnelle (plutôt qu’à un programme régulier) s’explique en grande partie par le fait que les taux d’abandon ont tendance à être plutôt faibles au cours de cette période (sous les 10 % dans les deux filières). En revanche, nos résultats indiquent que les cours de formation professionnelle contribuent de fait à accroître la proportion de jeunes sortant de l’école secondaire avec un diplôme.

L’interprétation normative de l’impact estimé (négatif) de la formation professionnelle sur la transition vers la formation postsecondaire – c’est-à-dire que les élèves similaires qui suivent des filières différentes seront plus facilement exclus de l’enseignement supérieur s’ils sont inscrits en formation professionnelle – est moins claire. D’une part ce résultat n’est pas particulièrement étonnant si l’on considère que la formation professionnelle vise à faciliter la transition de l’école au travail. D’autre part, en prenant en compte le fait que l’enseignement supérieur au Portugal englobe non seulement les universités, mais également des établissements polytechniques (qui offrent plus de programmes professionnels qui conviennent à des élèves ayant suivi des cours de formation professionnelle), et que la prime de salaire liée à l’enseignement supérieur reste très élevée dans l’économie portugaise, nos résultats peuvent indiquer un biais excessivement fort contre la poursuite d’études supérieures chez les élèves ayant suivi la formation professionnelle.

Pour démêler cet écheveau, notre projet évaluera également l’impact de la formation professionnelle sur la probabilité de trouver du travail après le

eVALUatiOn Matters

126 diplôme du secondaire, pour les élèves qui n’aurait pas poursuivi des études supérieures après t+2. Les données nécessaires à cet égard n’ont été obtenues que récemment, et les résultats préliminaires seront établis au cours des mois à venir.

Les résultats du projet au plan institutionnelLes résultats pertinents du projet présentés dans la présente note vont plus loin que les résultats de l’évaluation d’impact. De plus, ce projet a renforcé les compétences du personnel technique des partenaires sur l’analyse des impacts et la sensibilisation à l’utilité (et aux limites) des méthodes pour l’évaluation des politiques. Par ailleurs, le projet a favorisé la collaboration entre les agences publiques, facilitant ainsi la conduite dans l’avenir d’évaluations d’impact similaires. Finalement, le projet a fait la preuve de la viabilité et de l’utilité d’une évaluation d’impact contrefactuelle fondée sur des données provenant d’institutions différentes.

À notre avis, les aspects déterminants du succès de la mise en œuvre du présent projet sont l’engagement institutionnel de fonctionnaires au niveau le plus élevé et dès la phase de la conception ; la participation des partenaires universitaires au même pied d’égalité (et non comme des experts ou des consultants de l’extérieur), et un accent permanent sur la formation et le partage de l’information entre les participants. Ces éléments ont tous contribué à créer un climat de confiance et de mobilisation parmi les partenaires institutionnels, contribuant ainsi à surmonter les obstacles liés aux données et les restrictions imposées par l’insuffisance des ressources humaines. Le succès d’autres projets d’évaluation d’impact dans d’autres contextes socioéconomiques peut être favorisé par des initiatives similaires.

BibliographieIacus, S., G. King, G. Porro. (2012). “Causal

Inference w it hout Ba la nce Check ing: Coarsened Exact Matching,” Political Analysis 20 (1):1-24.


Ricardo Paes Mamede est professeur assistant au Département d’économie politique de l’ISCTE Institut universitaire de Lisbonne, où il enseigne depuis 1999 l’économie européenne et l’intégration, la dynamique industrielle et l’innovation, ainsi de la politique économique. De 2008 à début 2014, il a été le coordonnateur du département de la recherche et de l’évaluation à l’Observatoire CRSN portugais. Avant (2007/2008), il a été chef du Département de l’analyse économique et de la prévision du ministère de l’Economie et de l’Innovation. Il détient un doctorat en économie de l’Université Bocconi (Italie), un Master en Economie et Management des Sciences et Technologies de l’Institut supérieur d’économie et de gestion, Université Technique de Lisbonne (ISEG / UTL), et une Licence en économie de la même institution.

Daniela Cruz est assistante de recherche au DINÂMIA’CET, Centre d’études socio économiques et territoriaux (ISCTE IUL). Elle est titulaire d’une maîtrise et d’une licence en économie de l’ISCTE Business School.

Teresa Farinha Fernandes est doctorante en géographie économique évolutive à l’Université d’Utrecht, Pays Bas. Depuis 2009, elle a contribué à des projets de recherche sur l’innovation et l’évaluation des politiques. Elle est titulaire d’une maîtrise en économie monétaire et financière et un diplôme de quatre ans en sciences économiques, Université de Lisbonne, Portugal. Ses centres d’intérêts académiques sont la géographie évolutive économique, le développement durable, et l’évaluation de la politique.

Jeremy D. Foltz, Kweku Opoku-Agyemang

Les évaluations peuvent aider les décideurs à comprendre la corruption


127

La petite corruption préoccupe beaucoup les pouvoirs publics et les populations africaines. La seule chose qui prête plus à controverse que la corruption est peut-être la question de savoir quelles politiques seraient de nature à réduire ce phénomène. Il est surprenant de se rendre compte que ni la recherche ni le débat public en Afrique ne font grand cas du phénomène de la petite corruption, même si un tel débat pourrait contribuer à l’élaboration d’outils dont les pays africains ont tant besoin pour renforcer leur efficacité dans la lutte contre la corruption. Cet état de chose explique peut-être pourquoi, historiquement, on observe peu d’initiatives en Afrique visant à réduire la petite corruption.

L’importance que revêtent les politiques contre la petite corruption va aujourd’hui au-delà des intérêts des pays africains pris individuellement. En effet, la plupart des pays sont reliés par des routes aux fins de renforcement des capacités pour le commerce régional et sous-régional. Des initiatives novatrices à cet égard sont la plaque tournante commerciale est-africaine pour les pays de l’Afrique de l’Est, la plaque tournante commerciale sud-africaine pour les pays de l’Afrique australe et la plaque tournante commerciale ouest-africaine pour les pays de l’Afrique de l’Ouest. Un obstacle qui entrave le commerce dans toutes ces régions est le phénomène malheureusement courant des pots-de-vin exigés par la douane, la police et d’autres agents auprès des chauffeurs de camion dans toute l’Afrique. Ce fardeau peut limiter les bienfaits de l’intégration régionale dont les citoyens africains ont cruellement besoin et affaiblir indirectement la capacité des États au niveau intérieur et au niveau des communautés économiques régionales elles-mêmes. Finalement, l’incertitude qu’apporte le versement de pots-de-vin et les coûts élevés au plan du temps que cette pratique entraîne peut avoir pour effet de réduire les bénéfices des entreprises et, partant, ralentir l’investissement dont l’Afrique a tant besoin.

Un facteur qui complique davantage la petite corruption est que les personnes qui exigent ces pots-de-vin font elles-mêmes face à un certain nombre de contraintes étroitement liées à la vie dans un pays en développement, à savoir une technologie peu avancée, des institutions inefficaces et des salaires peu élevés. Ces facteurs et d’autres font qu’il est difficile de déterminer lesquels sont la cause de la petite corruption et, donc, comment la combattre. Un autre problème lié de façon générale à la petite corruption peut être le stigmate associé à la petite corruption dans certains pays africains. Beaucoup de pays africains savent que ce phénomène existe, et on peut en parler ouvertement pratiquement sans peur, mais le déshonneur moral lié à ce comportement explique pourquoi la petite corruption n’est pas discutée aussi couramment ou ouvertement qu’il faudrait. Cela n’est pas surprenant en soi (les sujets tels que la pauvreté, la maladie, l’hygiène ou les conflits sont tout aussi peu abordés dans le débat public), mais le débat sur la petite corruption peut être nécessaire pour régler ce problème particulier.

Les États africains et leurs partenaires internationaux collaborent en vue de prendre des mesures pour lutter contre la petite corruption en Afrique, mais les politiques publiques doivent être évaluées de façon rigoureuse pour renforcer la compréhension des problèmes chez les décideurs. La bonne nouvelle est toutefois que les évaluations d’impact apportent le genre de preuves détaillées qui ne sont pas entachées (ou qui le sont moins) d’un biais que comporterait chaque débat sur la corruption. En outre, les évaluations d’impact sur la petite corruption sont probablement, et c’est étonnant, faciles à conduire pour les décideurs. Comme c’est en partie parce que beaucoup d’Africains vivent malheureusement avec la petite corruption depuis longtemps, les mesures peuvent se prêter à l’expérimentation dans la mesure où peu de personnes s’opposeraient ouvertement à une réforme visant la lutte contre la corruption. Par exemple, si un projet de politique est axé sur un groupe qui pratique la petite corruption et non à d’autres groupes qui sont connus comme étant également corrompus, les décideurs peuvent recourir à des évaluations d’impact pour comprendre la mesure dans laquelle la nouvelle politique est sensible à des comportements de corruption.

eVALUatiOn Matters

128

Dans notre article intitulé Do Higher Salaries Lessen Petty Corruption? A Policy Experiment on West African Highways, nous utilisons les données provenant de la plaque tournante commerciale oust-africaine pour évaluer la grille salariale unique du Ghana, issue de la réforme de 2010 qui a donné lieu au doublement des salaires des policiers ghanéens, un groupe tristement célèbre pour son penchant vers la petite corruption. Les salaires des autres agents du Ghana et ailleurs dans la sous-région n’avaient pas bougé, ce qui était pratique. Aux fins de recherche, les chauffeurs ont été munis de questionnaires où ils devaient marquer chaque fois qu’ils étaient arrêtés et obligés de payer un pot-de-vin. Comme les camions étaient chacun en bon état de marche avec toutes les pièces, nous sommes sûrs que tout paiement effectué par les chauffeurs n’avait pas lieu d’être.

La politique de grille salariale unique a fait grand bruit au Ghana et l’objet de débat après son instauration en juillet 2010. Lorsque les différents syndicats d’enseignements, de fonctionnaires, de travailleurs de la santé, des prisons et d’autres corps de métier n’ont pas réussi à obtenir des hausses de salaire pour leurs membres, des menaces de manifestation ont été faites et des grèves ont eu lieu dans tout le pays. Pourtant, des raisons spécifiques expliquent pourquoi la police a été le seul service public visé par la réforme. Les salaires des policiers ghanéens sont les plus bas dans la fonction publique depuis l’indépendance, ce qui peut avoir donné à ces derniers le sentiment qu’ils avaient le droit d’exiger des pots-de-vin.

Un argument qui est sorti de la réforme salariale et qui peut avoir aidé le gouvernement ghanéen à légitimer le changement de politique a été la perception qu’une hausse marquée des salaires des policiers pouvait contribuer à réduire les pots-de-vin sur les routes du pays. Comme les travailleurs dans d’autres secteurs savaient que les salaires des policiers avaient augmenté très fortement, ces derniers n’avaient pas intérêt à attirer trop d’attention sur eux en continuant d’extorquer de l’argent aux automobilistes. De plus, comme les

chauffeurs et leurs passagers dans tout le pays savaient aussi, l’idée de payer des pots-de-vin ne leur viendrait peut-être plus facilement à l’esprit.

Les économistes ont toujours considéré la petite corruption comme un phénomène strictement économique, ce qui donnait à penser que des salaires de niveau plus élevé auraient pour effet d’éradiquer ce genre de comportement. Mais on peut facilement avancer des arguments logiques soutenant que les salaires élevés aggravent la corruption ou n’ont aucun effet sur elle. Par exemple, si les policiers ghanéens extorquent de l’argent pour des raisons qui ont peu à voir avec leur niveau de rémunération, revaloriser leurs salaires pourrait ne rien changer. Si ces policiers extorquaient de l’argent en fonction de leurs salaires, ils pourraient être amenés à en extorquer davantage pour maintenir un nouveau style de vie rendu possible par une meilleure rémunération. Pour vérifier la pertinence de l’un ou l’autre de ces arguments, nous avons mené une analyse économétrique axée sur la route Ouagadougou – Tema, qui relie le Burkina Faso au Ghana. En comparant le comportement des policiers à celui d’autres fonctionnaires au Ghana (et des fonctionnaires au Burkina Faso), nous avons trouvé que l’extorsion d’argent par les policiers s’est fortement aggravée après la réforme. En effet, des montants plus élevés étaient extorqués à chaque arrêt après la réforme. La réforme salariale avait aggravé le phénomène de la petite corruption en tant que préoccupation de politique publique. Elle l’avait aggravé à tous les niveaux.

Au Graphique 1 ci-dessous, nous montrons les tendances (non lissées paramétriquement) en ce qui concerne le montant moyen payé aux agents de police et de la douane à chaque poste de contrôle sur le tronçon ghanéen de la route Tema-Ouagadougou. Le graphique montre la situation avant et après la hausse des salaires des policiers ; les policiers sont représentés en bleu et les agents de la douane en rouge. On voit clairement que l’extorsion d’argent était en baisse avant la réforme chez les policiers et chez les douaniers, mais ce phénomène s’est de fait


129

inscrit en hausse chez les policiers après la réforme alors qu’il continue de baisser chez les douaniers. Dans notre analyse économétrique, nous prenons en compte d’autres facteurs de confusion potentiels et nous arrivons à la conclusion que les éléments du Graphique 1 sont statistiquement significatifs. Nous constatons que les montants extorqués à chaque arrêt sont augmentés par la police de 20 à 40 % (~0,20 – 0,40 $), ce qui augmente le montant total extorqué sur la route de 10 à 20 %, soit entre 3 et 6 dollars par voyage.

La plupart des modèles économétriques n’auraient pas abouti à cette constatation, et nous avons été surpris par le niveau élevé de l’extorsion d’argent par les policiers ghanéens après la hausse de leurs salaires. Après la réforme, les policiers ghanéens ont semblé consacrer plus de temps à arrêter les camions sur la route, ce qui, à première vue, donnait l’impression qu’ils travaillaient plus fort. Évidemment, comme les montants extorqués étaient plus élevés, « travailler dur » ne signifie

pas la même chose pour tout le monde. Pour les chauffeurs de camion présents sur la route tous les jours, les coûts liés au phénomène d’extorsion d’argent pas les policiers ont augmenté après l’entrée en vigueur de la grille salariale unique. Nous n’avons pas analysé l’effet de cette politique sur les taxis, les voitures personnelles et les fourgonnettes, mais la très forte augmentation de l’extorsion d’argent qui persiste des années après l’entrée en vigueur de la politique laisse croire que les utilisateurs de ces véhicules ont également été forcés de payer des montants plus élevés.

Comme il est difficile de prédire avant le fait les impacts que la réforme de la politique de lutte contre la corruption aura sur la petite corruption, il faut s’en remettre aux évaluations d’impact pour isoler l’effet d’une politique par rapport à d’autres facteurs qui pourraient être importants. Une autre raison est que les réformes touchant à la lutte contre la petite corruption sont difficiles à mettre en œuvre. Par exemple, la politique de

eVALUatiOn Matters

130

Graphique 1 Effets des augmentations de salaires sur les pots de vin payés par les transporteurs

2.5

2

1.5

1

0.5

Val

eurd

u po

t-de

-vin

pay

é à

chaq

ue a

rrêt

(e

n no

uvea

ux c

edis

gha

néen

s)

Avant augmentation de salaire Après augmentation de salaire

Graphiques établis en fonction de la politique salariale : 1er juillet 2010

Dates des relevés au poste de contrôle

1 janvier 08 1 juillet 09 01 janvier 11 01 juillet 12 1 janvier 08 1 juillet 09 1 janvier 11 1 juillet 12

Police : valeur moyenne du pot de vin

Douanes : valeur moyenne du pot de vine

la grille salariale unique au Ghana remonte à loin et est pleine de rebondissements, de Kwame Nkrumah, le premier président du Ghana dans les 1960 en passant par Jerry Rawlings dans les années 1980 jusqu’à John Kuffour dans les années 2000. Beaucoup de commissions ont été établies (et démantelées) au Ghana au cours des décennies pour mettre en œuvre cette réforme, et il est tout à fait possible que la connaissance préalable de ses impacts potentiels sur les vies des Ghanéens aurait inf lué sur la façon dont la réforme aurait été mise en œuvre en fin de compte. Même si le résultat de notre analyse est arrivé trop tard pour modifier la politique, peut-être que d’autres initiatives similaires visant à réduire la corruption pourront tirer parti des évaluations d’impact pour comprendre les effets qu’une politique a sur le citoyen moyen. Les résultats inattendus auxquels nous avons abouti, toutefois, soulèvent des questions complexes concernant l’importance de la réforme salariale dans les pays africains.

En soi, les réformes salariales sont bénéfiques dans la mesure où elles peuvent améliorer le niveau de vie des populations habituellement marginalisées. C’est peut-être trop demander que de s’attendre à ce que de telles réformes améliorent d’autres aspects connexes comme la petite corruption. Mais le lien qui existe entre les ressources économiques et les résultats au plan politique n’est pas facile à établir, et il reste beaucoup de choses que nous ne savons pas à cet égard. Les évaluations d’impact peuvent aider les décideurs à comprendre comment cibler leurs politiques de façon à ce que les fonctionnaires pauvres en tirent profit sans que cela se fasse sur le dos de leurs compatriotes.

La réforme salariale a certes aggravé la petite corruption, mais nous ne pensons que les réformes salariales doivent être évitées par les décideurs publics. Beaucoup de petits fonctionnaires en Afrique continuent d’être les travailleurs les plus mal payés au monde, et ce problème devrait être traité de toute urgence dans la mesure où il s’agit d’une préoccupation d’ordre économique qui presque toujours mène à d’autres problèmes

sociaux susceptibles de coûter cher aux pays africains. Par exemple, les fonctionnaires pauvres peuvent être plus enclins à détourner des fonds ou à utiliser des articles appartenant à l’État (comme les uniformes) à des fins personnelles. Ils peuvent également être portés à boire ou à diriger des foyers dysfonctionnels. (Aucune de ces questions n’a été abordée dans notre analyse). L’amélioration du niveau de vie des fonctionnaires pauvres reste une préoccupation pour les décideurs dans beaucoup de pays africains.

La question qui se pose est celle de savoir comment réduire la petite corruption alors qu’elle fait partie des mœurs depuis longtemps et qu’elle réagit moins aux politiques classiques comme la hausse des salaires. Une solution serait de renforcer les institutions tout en mettant en œuvre un train de réformes. Si le choix de la corruption et de la non-corruption était retiré des mains de fonctionnaires dans une mesure un peu plus grande, nous ferions peut-être des avancées plus nettes dans la lutte contre ce f léau. Par exemple, des services de vérification indépendants peuvent être établis au moment où des mesures de lutte contre la corruption (les réformes salariales par exemple) sont mises en œuvre. De telles mesures peuvent aider ces réformes à contribuer à la réduction de la petite corruption. D’autres mesures utiles sont les initiatives sur la transparence et les services de communication ouverte qui fournissent des informations au public afin d’accroître la sensibilisation et obtenir les points de vue de ceux qui vivent la petite corruption au quotidien.

Toutes les parties prenantes à chaque niveau devront poursuivre la lutte contre le f léau de la petite corruption. En particulier, il faut se garder, pour assurer le succès des mesures à prendre, de se mettre les fonctionnaires à dos, même les membres de branches connus pour leur part dans le fléau. Il peut y avoir des moyens de relier les réformes salariales à la réduction de la petite corruption qui n’ont pas été abordés dans notre étude. On peut peut-être tirer certains enseignements de la façon dont les policiers et d’autres fonctionnaires dans les pays développés


131

(par exemple les EU) reçoivent des hausses salariales pour l’interpellation d’automobilistes coupables d’infractions au code de la route. Ce sujet n’a pas fait l’objet d’une recherche importante, mais il est possible que l’extorsion d’argent devienne moins nécessaire au fil du temps une fois de telles mesures instaurées. Toutes ces situations peuvent aisément se prêter à des évaluations d’impact rigoureuses pour aider à comprendre et à quantifier les effets de telles réformes et apprendre comment les renforcer au fil du temps.

S’ i l est important de faire participer les fonctionnaires à toute mesure de réforme, il peut être encore plus nécessaire de faire participer activement les populations africaines dans toute initiative d’élaboration de politiques. Au lieu de créer de nouvelles initiatives et inviter les populations africaines à y participer (ce qui tend à se produire dans la majorité des cas), il peut être plus efficace d’appuyer des mouvements naissants de lutte contre la corruption en Afrique, qu’il s’agisse de musiciens d’Afro-pop, de hip-life ou de rap qui sensibilisent déjà leurs publics, ou d’autres groupes socioculturels ou même traditionnels qui sont moins au-devant de la scène médiatique. On pourrait s’attendre à ce qu’une sensibilisation accrue sur le phénomène de la petite corruption contribue à faire baisser ce f léau, mais il s’agit probablement du symptôme d’un problème plus large dans les structures de gouvernance en Afrique. Une évolution encourageante est que le problème de la corruption a joué un rôle important au cours des élections de 2015 au Nigeria et, même s’il est trop tôt pour se prononcer, le résultat de ces élections peut laisser croire que de plus en plus d’Africains ne sont pas satisfaits du statu quo et commencent à exiger que leurs dirigeants rendent des comptes. Peut-être comme certains citoyens africains voient ce qui semble marcher dans d’autres contextes, il y aura des possibilités de tirer des leçons et de contextualiser les approches en matière de lutte contre la corruption.

La réduction de la corruption dans les structures nationales est certes une entreprise beaucoup plus

compliquée, mais les organisations internationales peuvent jouer un rôle de pionnier dans ce domaine en lançant des initiatives innovantes au plan de l’information ouverte comme celles que la Banque africaine de développement et d’autres groupes mettent en œuvre en Afrique. Le partage d’enseignements provenant de telles initiatives peut avoir pour effet de susciter la confiance avec les États partenaires en Afrique et encourager ces derniers à ouvrir leurs propres systèmes. Plusieurs initiatives d’information ouverte sont prévues dans beaucoup de pays africains, mais la majorité d’entre elles sont encore à leurs premiers pas et devraient recevoir de toute urgence l’attention des décideurs. Les évaluations d’impact utilisant ces informations peuvent aider à faire comprendre aux populations africaines la nécessité de procéder à des réformes. L’ouverture de l’information peut également donner aux journalistes les moyens de mieux informer les citoyens sur les initiatives engagées par les pouvoirs publics. L’élimination du secret entourant les services publics peut être un moyen d’ouvrir l’accès à l’information aux populations et de réduire la corruption.

Bien que cela se fasse à un niveau bas par rapport à ce qui se fait ailleurs au monde, de plus en plus d’universités africaines mènent des évaluations d’impact, et cela devrait être encouragé. Il est dans l’intérêt de l’Afrique que la recherche à l’échelle mondiale se penche sur ces questions, mais il est probable que certaines des propositions les plus intéressantes émanent des étudiants africains qui utilisent des techniques de recherche de pointe pour comprendre la corruption.

La petite corruption demeure une préoccupation pour les décideurs en Afrique et ailleurs, mais il est réconfortant de savoir que les évaluations d’impact peuvent contribuer au renforcement des connaissances sur ce phénomène. Par ailleurs, les résultats de ces évaluations établis sur une base scientifique peuvent contribuer à susciter un débat en profondeur sur ce f léau. Grâce à un débat ouvert et aux évaluations d’impact qui permettent de comprendre les causes de la petite corruption,

eVALUatiOn Matters

132

l’Afrique peut enregistrer des avancées plus nettes dans sa lutte contre ce phénomène, ce qui est de nature à profiter non seulement à l’activité à l’intérieur des pays, mais également au commerce international entre ces derniers.

BibliographieFoltz, Jeremy, D. et Kweku A. Opoku-Agyemang

(2015) “Do Higher Salaries Worsen Petty Corruption? A Policy Experiment on West Africa’s Highways. Working Paper.


133


M. Jeremy Foltz enseigne actuellement au Département d’agriculture et d’économie appliquée de l’université du Wisconsin-Madison. Il est titulaire d’une Licence de Yale, d’un Master et un Ph.D. de l’université du Wisconsin-Madison. Sa recherche porte sur l’évaluation de l’économie, des nouvelles technologies et des exploitations agricoles aux EU et en Afrique.

Kweku Opoku-Agyemang est boursier en recherche postdoctorale au Blum Center for Developing Economies de l’université de la Californie à Berkeley. Sa recherche porte surtout sur l’économie politique du développement, avec des intérêts au croisement de l’économie comportementale, du changement organisationnel et du changement institutionnel, ainsi que du changement ethnologique et du développement. Il est affilié au Global Poverty and Practice Program et au Development Impact Lab du département de génie électrique et d’informatique.

eVALUatiOn Matters

134

COIN D’APPRENTISSAGE


135Ressources documentaires sur L’Evaluation d’ImpactListe établie par Elsa de Morais Sarmento

Ressources de 3ie sur l’Evaluation d’impact http://www.3ieimpact.org/evaluation/resources/ impact-evaluation-resources/

Africa Evidence Network http://www.africaevidencenetwork.org/

Building networks for evidence-informed policy in Africa http://www.3ieimpact.org/announcements/2015/02/18/ role-networks-evidence-informed-policy-africa/

Centre d’informationsur l’évaluation d’impact - Banque interaméricaine de développement (BID) http://www.iadb.org/en/topics/development- e ectiveness/evaluation-hub/impact- evaluation,17863.html

DIME (World Bank) http://web.Worldbank.Org/wbsite/external/ extdec/extdevimpevaini/0,,menupk:399 8281~pagepk:64168427~pipk:64168435~thesit epk:3998212,00.Html

DIME (World Bank) Policy Outreach http://web.Worldbank.Org/wbsite/external/ extdec/extdevimpevaini/0,,contentmdk:2 3415875~pagepk:64168445~pipk:64168309~thes itepk:3998212,00.Html

Données sur l’Evaluation d’impact Banque Mondiale http://web.worldbank.Org/wbsite/external/ extdec/extdevimpevaini/0,,contentmdk:2 3415878~pagepk:64168445~pipk:64168309~thes itepk:3998212,00.Html

Liste de banques de données libres sur l’Evalaution d’impact http://www.cgdev.org/sites/default/ les/ IEs_4-15 -2013-2pp_r2.pdf

Manuel d’Evaluation d’impact pour pour gestionnaires et responsables de programme http://mande.co.uk/2015/uncategorized/impact-evaluation-a-guide-for-commissioners-and- managers/

GDSR Applied Knowledge Services Publications sur l’évaluation d’impact http://www.gsdrc.org/go/topic-guides/ measuring-results/impact-evaluation

Carte des lacunes de la recherche : un outil innovant pour avoir une vue d’ensemble sur ce que nous savons ou ne savons pas http://blogs.3ieimpact.org/evidence-gap-maps-an-innovative-tool-an-innovative-tool-for-seeing- what-we-know-and-dont-know/

Les données scientifiques par rapport à l’évaluation (Bandes dessinées en anglais ) http://freshspectrum.com/

En fin de compte, qu’est-ce qu’une évaluation? (Bande dessinée en anglais ) http://freshspectrum.com/what-is-evaluation-anyway/

eVALUatiOn Matters

136 Livres

L’évaluation d’impact en pratique http://siteresources.worldbank.org/ INTHDOFFICE/Resources/ IEP_Ebook_FRENCH.pdf

Manuel d’évaluation d’impact, Banque mondiale https://openknowledge.worldbank.org/bitstream/ handle/10986/2693/520990PUB0EPI1101O cial0 Use0Only1.pdf?sequence=1

A Review of Recent Developments in Impact Evaluation, Asian Development Bank http://www.adb.org/sites/default/ les/ publication/28622/developments-impact- evaluation.pdf

The analysis of household surveys : a microeconometric approach to development policy, World Bank http://documents.worldbank.org/curated/ en/1997/07/694690/analysis-household-surveys- microeconometric-approach-development-policy

Impact Evaluation of Infrastructure Interventions, Henrik Hansen, Ole Winckler Andersen, Howard Whit, Routledge https://books.google.pt/books?id=iSTaAAAAQ BAJ&pg=PA3&lpg=PA3&dq=Impact+Evaluatio n+of+Infrastructure+Interventions&source=bl &ots=KMPAbMoTZ1&sig=pxagv_b1V0UD_IiY zG1FG63798k&hl=en&sa=X&ved=0CFcQ6AE wB2oVChMIyLO45iWxgIVATgUCh0ZkwD_#v =onepage&q=Impact%20Evaluation%20of%20 Infrastructure%20Interventions&f=false

Impact Evaluations in Agriculture: an assessment of the evidence, IEG https://ieg.worldbankgroup.org/Data/reports/ ie_for_ag.pdfImpact Evaluation of Small and Medium Enterprise Programs in Latin America and the Caribbean, Gladys Lopez Acevedo and Hong Tan Editors, April 2011,

World Bank http://elibrary.worldbank.org/doi/ abs/10.1596/978-0-8213-8775-7

Note 8: Increasing the relevance of Impact Evaluation, ILO http://www.ilo.org/public/english/employment/ yen/downloads/eval/meguide/gpye-me-note8.pdf

Quality in policy impact evaluation: understanding the e ects of policy from other in uences, HM Treasure https://www.gov.uk/government/uploads/system/ uploads/attachment_data/ le/190984/Magenta_ Book_quality_in_policy_impact_evaluation__ QPIE_.pdf

A Review of Recent Developments in IMPACT EVALUATION


137Articles/documents de travail

Cours sur l’ EIA ajouter à votre listeL’évaluation de programmes sociaux https://www.edx.org/course/evaluating-social-programs-mitx-jpal101x-0

Mesurer les liens de causalité en sciences sociales https://www.coursera.org/

Plaidoyer pour l’évaluation http://www.mymande.org/elearning/ course-details/15

Methodological Briefs Impact Evaluation No. 10

Overview: Data Collection and Analysis Methods in Impact Evaluation

Greet Peersman

developmentprogress.org

• Realistevaluationisamemberofafamilyoftheory-basedevaluationapproacheswhichbegin

byclarifyingthe‘programmetheory’:themechanismsthatarelikelytooperate,thecontextsin

whichtheymightoperateandtheoutcomesthatwillbeobservediftheyoperateasexpected.• Realistapproachesassumethatnothingworkseverywhereforeveryone:contextmakesabig

differencetoprogrammeoutcomes. Arealistevaluationasksnot‘whatworks?’but‘howorwhy

doesthiswork,forwhom,inwhatcircumstances?’ • Realistimpactevaluationismostappropriateforevaluatingnewinitiativesorprogrammesthat

seemtoworkbutwhere‘howandforwhom’isnotyetunderstood;programmesthathavepreviouslydemonstratedmixedpatternsofoutcomes;andthosethatwillbescaledup,tounderstandhowtoadapttheinterventiontonewcontexts.

KEY MESSAGES

September 2014

A METHODS LAB PUBLICATIONODI.ORG/METHODSLAB

REALIST IMPACT EVALUATIONAN INTRODUCTION

Gill Westhorp

INTRODUCTION

This Note defines impact evaluations, explains when they should be

commissioned according to USAID policy and describes different designs for

quasi-experimental and experimental impact evaluations. The USAID

Automated Directives System (ADS) 203 defines impact evaluations as

those that measure the change in a development outcome that is attributable to a

defined intervention. Impact evaluations are based on models of cause and effect

and require a credible and rigorously defined counterfactual to control for factors

other than the intervention that might account for the observed change.

Decisions about whether an impact evaluation would be appropriate, and

what type of impact evaluation to conduct, are best made early during the

project design phase. Some impact evaluation designs can only be

implemented if comparison groups are established and baseline data is

collected before an intervention begins. Although they are most effective and

sometimes only possible when planned before program implementation,

impact evaluations can sometimes be used to measure changes that occur

either during or after program implementation. In most cases, an expert

should be consulted in advance to determine whether an impact evaluation

will be feasible.

This note outlines key considerations that USAID staff and evaluators should

take into account when planning for and designing impact evaluations. Those

commissioning an evaluation should include the evaluator when making

decisions about an intervention’s targeting and implementation, and consider

issues related to logistics, time and cost. Therefore although impact

evaluations are a powerful tool to answer key questions about a particular

intervention, they should be used selectively and only when appropriate in

terms of purpose and funding.

Impact Evaluations

VERSION 1.0 | SEPTEMBER 2013

This Note

defines impact

evaluations

and discusses

design and

key planning

considerations.

TECHNICAL NOTE

Monitoring and Evaluation Series

Technical Notes

are published by the

Bureau for Policy,

Planning and Learning

and provide key

concepts and

approaches to USAID

staff and partners

related to the

Program Cycle. This

Technical Note

supplements USAID

ADS Chapter 203 and

replaces TIPS 18,

Rigorous Evaluations.

This is the fourth guidance note in a four-part series of notes related to impact evaluation developed

by InterAction with financial support from the Rockefeller Foundation. The other notes in this series

are: Introduction to Impact Evaluation; Linking Monitoring & Evaluation to Impact Evaluation; and

Introduction to Mixed Methods in Impact Evaluation. The complete series can be found on InterAction’s

website at: www.interaction.org/impact-evaluation-notes.

Impact Evaluation Notes No. 4. November 2012

USE OF IMPACT EVALUATION RESULTS

David Bonbright, Keystone Accountability

“How Much Can We Generalize from Impact Evaluations?” Eva Vivalt, April 30, 2015 http://evavivalt.com/wp-content/uploads/2014/12/Vivalt-JMP-latest.pdf

“Utilisation des résultats d’Evaluations d’Impact”, Notes No. 4. November 2012 David Bonbright, Keystone Accountability http://www.interaction.org/sites/default/files/2%20-%20Use%20of%20Impact%20Evaluation%20 Results%20-%20FRENCH.pdf

“Realistic introduction Impact Evaluation, an introduction”, Gill Westhorp, Methods Lab http://www.odi.org/sites/odi.org.uk/files/odi-assets/publications-opinionfiles/9138.pdf

L’évaluations d’impact basée sur la théorie : pincipes et pratique, White, Howard (2009), Initiative internationale pour l’évaluation d’impact Document de travail 3, Juin 2009.http://www.3ieimpact.org/media/fler_

“Some Reflections on Current Debates in Impact Evaluation”, Howard White, April 2009 http://www.researchgate.net/profile/Howard_White2/publication/46448678_Some_ Reflections_On_Current_Debates_In_Impact_ Evaluation/links/0c96052b0b4c371658000000.pdf

“Technical Note, Impact Evaluations USAID”, September 2013 http://www.usaid.gov/sites/default/files/documents/1870/IE_Technical_Note_2013_0903_Final.pdf

“Présentation de l’évaluation d’impact”, Patricia Note Rogers, méthodologique, Evaluation d’Impact No. 1, UNICEF https://www.unicef-irc.org/publications/759/

eVALUatiOn Matters

Recent IDEV Publications

Tchad :Évaluation de la stratégie

et du programme du Groupe de la Banque au

Tchad (2002–2012) Rapport d'évaluation

Une

éval

uatio

n de

stra

tégi

e pa

r pay

s ID

EV

Juillet 2014


De l’expérience à la connaissance...De la connaissance à l’action...De l’action à l’impact

Janvier 2015


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Définition de stratégies pour « l’Afrique que nous

voulons » : Une évaluation indépendante

de la qualité à l’entrée des stratégies pays et d’intégration régionale

Rapport de synthèse


De l'expérience à la connaissance... De la connaissance à l'action... De l'action à l'impact


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Août 2014

Politiques et pratiques des acquisitions opérationnelles

de la Banque africaine de développement : une évaluation

indépendanteRésumé du rapport d'évaluation

December 2015

Une

éval

uatio

n se

ctor

ielle

IDEV

Les transports en Afrique : Interventions de la BAD

et résultats de la dernière décennie


Décembre 2014




139



Botswana : Évaluation de l’aide au pays

2004–2013Rapport d’évaluation

Une

éval

uatio

n de

str

atég

ie p

ar p

ays

IDEV

Decision to implement

Mid-term evaluation

Post-implementation evaluation

Final impact evaluation

PROJECT CYCLE (Monitoring throughout)

DESIGN (Plan project, considering the evaluability of the design)

ANALYSIS

EVALUATION

IMPLEMENT AND MONITOR

Independent Development EvaluationAfrican Development Bank

idev.afdb.org

There are three types of influential evaluations: those that determine the common good (raising a social, economic, or political problem); those that help select a course of action, and those that help adapt the course of action (Gary T. Henry)

Making Evaluation Influential at the African Development Bank

Influential Evaluations: Illustrations from Multilateral Development Organizations – IFAD

Evaluation Influence and the Evaluator’s Independence:World Bank Group

21 2712

73

First Quarter 2015

eVALUatiOn MattersA Quarterly Knowledge Publication from Independent Development Evaluation at the African Development Bank Group

EvAluATIOn InfluEncE IN DEVELOPMENt OrGANIzAtIONs

Identification Preparation and

formulation

Review and approval

Implementation

Evaluation

From Experience to Knowledge … From Knowledge to Action … From Action to Impact

idev.afdb.org

Independent Development EvaluationAfrican Development Bank

“ Independence is a necessary condition for evaluation influence. Of course, influence can be exercised from multiple social and organizational roles, including ultimately being part of the decision making process itself. But to be influential on the basis of evaluative knowledge requires impartiality and objectivity, distance from the decision maker, and capacity to deal with conflicting interests. P 16

EvAluATIOn InfluEncE IN DEVELOPMENt OrGANIzAtIONs

EvA

luA

TIO

n In

fluEn

cE IN

DEV

ELOPM

ENt

Or

GA

NIz

At

ION

seV

ALU

atiOn

Matters

IDeV_Fit-for-pourpose_cover.indd 1 30/04/15 14.55

Special Edition

Celebrating 50 Years

6 18

eVALUatiOn MattersA Quarterly Knowledge Publication

from Independent Development Evaluation at the African Development Bank Group

Nation Building – 50 Years, and the Four ‘I’s

Building Effective, Inclusive African Nations

10

Peacebuilding and Statebuilding Priorities and Challenges

BUILDING AFRICAN STATES

Foreword by President KaberukaAlso in this issueBen TurokClaire LockhartDominic O’Neill Leonard Wantchekon

About the AfDB: The overarching objective of the African Development Bank Group is to foster sustainable economic development and social progress in its regional member countries (RMCs), thus contributing to poverty reduction. The Bank Group achieves this objective by mobilizing and allocating resources for investment in RMCs and providing policy advice and technical assistance to support development efforts.

The mission of the Operations Evaluation Department is to enhance the development effectiveness of the AfDB in its regional member countries through independent and instrumental evaluations and partnerships for sharing knowledge

Operations Evaluation Department, African Development BankWebsite: http://operationsevaluation.afdb.org/Write to us: [email protected]

From Experience to Knowledge … From Knowledge to Action … From Action to Impact

African Development Bank

operationsevaluation.afdb.org

BUILD

ING

AFRIC

AN

STAT

ES Special Edition C

elebrating 50 Years

eVA

LUatiO

n M

atters

OPEV Building states cover.indd 1 24/11/14 13.36

Aucun projet

< 2 millions d’UC

2 à 5 millions d’UC


> 10 millions d’UC

Aucun projet

< 2 millions d’UC



> 10 millions d’UC

Promouvoir la finance inclusive en Afrique :

Une évaluation de la Politique, de la Stratégie et des opérations

de microfinance de la Banque sur la période 2000–2012




Une

éval

uatio

n se

ctor

ielle

IDEV

eVALUatiOn Matters

140

[email protected]

Comments?Ideas for an articl

e?Write to us


141

[email protected]

Comments?Ideas for an articl

e?Write to us

De l’expérience à la connaissance… De la connaissance à l’action… De l’action à l’impact

Plusieurs arguments sous-tendent la décision de mener l’évaluation d’impact d’un programme. Celle-ci est très importante non seulement pour mieux identifier la portée du programme en question, mais aussi pour le mesurer et en appréhender les dimensions. Une EI peut aider à la décision de remanier, élargir ou interrompre une intervention. Lima et al., p. 24


De l’expérience à la connaissance... De la connaissance à l’action... De l’action à l’impact

idev.afdb.org

evaluation matters - african development bankidev.afdb.org/sites/default/files/documents/files/2015...

Documents