quest–ce que lévaluation dimpact… et comment sen servir? deon filmer development research...
TRANSCRIPT
Qu’est–ce que l’évaluation d’impact… et comment s’en servir?
Deon FilmerDevelopment Research Group, The World Bank
Atelier de gestion des politiques publiques en éducation axée sur les résultatsProgramme d’Évaluation d’Impact de l’Éducation en Afrique (APEIE)
Accra, Ghana10-14 mai 2010
Quelques exemples
• Mon gouvernement doit-il distribuer gratuitement des manuels scolaires aux élèves pour promouvoir l’apprentissage?
• Doit-on offrir des bourses scolaires aux enfants pauvres pour promouvoir la fréquentation scolaire?
• Doit-on récompenser les enseignants à l’origine des améliorations d’apprentissage de leurs élèves?
• Les décisions de gestion doivent-elles être dévolues aux écoles?
L’évaluation d’impact est un moyen de répondre à ces questions en se servant d’un constat bien fondé
Qu’est-ce que l’évaluation d’impact?Exemple
• Vous voulez distribuer des manuels scolaires aux élèves comme moyen d’améliorer leur apprentissage et résultats.
• Votre intuition vous dit que les manuels scolaires sont importants.• Mais sur quoi cette intuition est-elle fondée”?
– Sa propre expérience– Le “bon sens”– L’observation de l’enfant à l’école– La comparaison entre élèves avec et sans manuels scolaires.
• L’évaluation d’impact, dans cette situation, à pour but de fournir – Un constat bien fondé, – Fondé sur une expérience réelle, – De ce qu’est l’impact réel de fournir des manuels scolaires.
Qu’est-ce que l’évaluation d’impact?
• Comment l’évaluation d’impact atteint-elle cet objectif?– En établissant la causalité de l’impact des
manuels scolaires sur les résultats d’apprentissage– C’est l’objectif final de l’évaluation d’impact.
• Ce atelier répondra aux questions suivantes:– Qu’est-ce qu’une bonne estimation?– Comment estimer cet impact?– Comment interpréter cette estimation?
Pourquoi avoir recours à l’évaluation d’impact?
• Pour déterminer l’efficacité des politiques– Une intervention envisagée peut-elle être efficace
(“démonstration de son bien fondé”)?– Peut-on élargir le champ d’intervention?– Quelles sont les autres options d’intervention
pour atteindre un objectif particulier, et quelle est la meilleure?
Pourquoi avoir recours à l’évaluation d’impact?
• Déterminer les avantages du programme, et l’efficacité-coût des options.– Il est nécessaires d’obtenir de bonnes données sur les
coûts et les avantages • Comprendre la distribution des gains et des pertes
Les contraintes budgétaires contraignent à la sélection.De mauvais programmes et politiques équivaut à
dilapider des ressources et peuvent être nuisibles.
Pourquoi avoir recours à l’évaluation d’impact?
• Démontrer aux politiciens, à la population, aux bailleurs de fonds que le programme est efficace
C’est essentiel pour la soutenabilitéCela nourrit les convictions et les attentes
Placer l’évaluation d’impact dans le contexte
Suivi Évaluation
Évaluation d’impact
Collecte et diffusion périodiques de l’information pour savoir si les résultats atteints sont les résultats attendus
Efforts d’analyse pour répondre aux questions spécifiques concernant la performance du programme/des activités liées au programme.
Efforts d’analyse pour établir des liens de causalité
La question essentielle: “que serait-il advenu en l’absence d’intervention?”
Suivi, évaluation, et évaluation d’impact
• Collecter périodiquement des données sur les indicateurs et comparer les résultats obtenus avec les objectifs définis.
• Identifier les goulots d’étranglement et les signaux d’alarme (retards, flux des fonds)
• Indiquer les besoins d’enquête futurs
Suivi
Collecte et diffusion périodiques de l’information pour savoir si les résultats atteints sont les résultats attendus
Suivi, évaluation, et évaluation d’impact
• Analyser les raisons pour lesquelles les résultats attendus ne sont pas atteints
• Vérifier l’efficacité du ciblage• Étudier les résultats non-
voulus• Permet de tirer des leçons et
d’émettre des recommandations en vue d’améliorations.
Évaluation
Efforts d’analyse pour répondre aux questions spécifiques concernant la performance du programme/des activités liées au programme.
Suivi, évaluation, et évaluation d’impact
• Quelle est l’influence du programme sur les résultats?
• Quelle est l’ampleur du changement dans la situation des bénéficiaires suite à l’intervention?
• Quelle serait l’influence de programmes élaborés différemment sur les résultats?
• Le programme touche-t-il les personnes différemment (femmes, pauvres, minorités)?
• Quelle est l’efficacité-coût du programme?
Évaluation d’impact
Efforts d’analyse pour établir des liens de causalité.
La question essentielle: “que serait-il advenu en l’absence d’intervention?”
Le problème central dans l’analyse d’évaluation d’impact:
Le contrefactuel
• Afin d’établir l’impact du programme, nous devons savoir ce qui serait advenu en l’absence du programme
• Et essentiellement aux personnes ayant de fait bénéficé du programme
Le problème central dans l’analyse d’évaluation d’impact: le contrefactuel
• Quel est l’impact des bourses scolaires sur les inscriptions?
• Nous voulons observer les unités de traitement dans deux situations
• Cette observation est-elle possible?
Élisabethau 1 Juillet 2010
avec bourse scolaire
Élisabethau 1 Juillet 2010
sansbourse scolaire
Le problème central dans l’analyse d’évaluation d’impact: le contrefactuel
• C’est impossible!– Nous ne pouvons jamais observer le même individu
avec et sans programme en un même point dans le temps
• Le contrefactuel n’est jamais réellement observé• Il doit être estimé• L’analyse d’évaluation d’impact est axée sur les
différentes approches pour estimer le contrefactuel
Pourquoi le contrefactuel est-il important?
• La session suivante portera en détail sur le contrefacturel
• Voici juste un exemple
Exemple de l’importance du contrefactuel
• Question: quelle est la meilleure estimation de l’impact du programme sur les inscriptions?
Temps
Inscriptions
AprèsAvant
A
B
2008 2010
Programme
Impact?
Exemple de l’importance du contrefactuel
• Question: quelle est la meilleure estimation de l’impact du programme sur les inscriptions?
Inscriptions
AprèsAvant
A
B
C?
2008 2010
D?
Temps
Programme
Impact?
Qu’est-ce que l’évaluation d’impact?
• L’impact est…la différence entre les résultats avec et sans
programme• L’évaluation d’impact implique…
D’estimer le contrefactuel de manière à ce que les changements dans les résultats puissent être attribués au programme
Qu’implique la mise en oeuvre d’une évaluation d’impact?
• Déterminer pourquoi une évaluation d’impact est nécessaire.
• Comprendre le programme et l’enchaînement de résultats associés
• Définir ce que l’on à mesurer• Définir la méthodologie• Entreprendre
– La collecte des données (point de référence, suivi)– La mise en œuvre du programme– Analyse et rapport d’analyse
• Ajuster la politique
Déterminer la nécessité d’une évaluation• Intervention proposée
– Transfert en espèces aux étudiants– Bien identifier le programme de formation des enseignants se rapportant
à curriculum donné– Bien identifier le programme de subventions scolaires se rapportant à
une structure donnée• Autres interventions/interventions complémentaires
– Choix entre subventions aux écoles et formation d’enseignants comme moyen d’améliorer les résultats
– Information et subventions aux écoles pour encourager leur redevabilité et performances
• Programme entier/groupe d’activités• Réforme du programme
Quels sont les bénéficiaires d’une évaluation (les concepteurs de politiques, les technocrates, le grand public)?
Comprendre le programme en utilisant l’enchaînement des résultats
• Enseignants
• Manuels scolaires
• Subventions scolaires
(ce que fait le programme)
• Formation d’enseignant
• Établissement de conseils de classe
• Transferts conditionnels en espèces
• Incitatifs salariaux
(Biens & Services)
• Augmentation des inscriptions
• Réduction de l’absentéisme des enseignants
Résultats
• Taux d’achèvement dans l’enseignement élémentaire plus élevés
• Facultés d’apprentissage plus élevées des élèves
Résultats de long terme
• Chômage plus faible
• Réduction de la pauvreté
• Meilleure répartition du revenu
Intrants Activités Produits
Cet enchaînement de résultats fournit des indications sur ce qu’il faut mesurer
Déterminer quoi mesurer
• S’appuyer sur l’enchaînement des résultats• Choisir les indicateurs pour l’évaluation– Indicateurs définis avec précision– Pouvant être mesurés de manière précise– Reflétant les influences du programme…– … pendant la période d’évaluation
• Quelles sont les importantes sous-populations– Ex: âge, genre, urbain/rural, statut socio-
économique…
Comprendre le programme en utilisant l’enchaînement des résultats
• Enseignants
• Manuels scolaires
• Subventions scolaires
(ce que fait le programme)
• Formation d’enseignant
• Établissement de conseils de classe
• Transferts conditionnels en espèces
• Incitatifs salariaux
(Biens& Services)
• Augmentation des inscriptions
• Réduction de l’absentéisme des enseignants
Résultats
• Taux d’achèvement dans l’enseignement élémentaire plus élevés
• Facultés d’apprentissage plus élevées des élèves
Résultats de
long terme
• Chômage plus faible
• Réduction de la pauvreté
• Meilleure répartition du revenu
Intrants Activités Produits
Indicateurs liés à la mise en oeuvre d’un programme
Définir les indicateurs en se servant de l’enchaînement des résultats
• Enseignants
• Manuels scolaires
• Subventions scolaires
(What the program does)
• Formation d’enseignant
• Établissement de conseils de classe
• Transferts conditionnels en espèces
• Incitatifs salariaux
(Biens& Services)
• Augmentation des inscriptions
• Réduction de l’absentéisme des enseignants
Résultats
• Taux d’achèvement dans l’enseignement élémentaire plus élevés
• Facultés d’apprentissage plus élevées des élèves
Résultats de
long terme
• Chômage plus faible
• Réduction de la pauvreté
• Meilleure répartition du revenu
Intrants Activités Produits
Indicateurs liés aux résultats d’un programme
Définir la méthodologie
• Nous parlerons plus longuement de:– Méthode expérimentale– Méthode quasi-expérimentale
• Quelques principes:– Préférence pour la méthode qui complémente le mieux le
programme– Préférence pour la méthode qui ne modifie pas la
conception du programme ou sa mise en œuvre de manière substantiellement
– Préférence pour la méthode qui n’exclut personne quant à l’octroi des bénéfices
Le “cycle de l’évaluation d’impact”
Collecte des données de référence
Mise en œuvre du programme
Suivi de la collecte des
données
Analyse et diffusion des données
Ajustements du
programme
Phase de conception
L’ objectif de l’évaluation d’impact
• Améliorer les politiques• Comment passer de cette situation de
l’enseignement…
L’ objectif de l’évaluation d’impact
• Améliorer les politiques• …à cette situation?
Merci!