DIME – FRAGILE STATESDUBAI, MAY 31 – JUNE 4

Introduction à l’intégration des méthodes qualitatives et de l’évaluation de l’impact

Ryan SheelyKennedy School of GovernmentUniversité de HarvardAtelier DIME, Dubaï1er juin 2010

Présentation générale Conception de la recherche et

Evaluation de programmes Quelles sont les méthodes

qualitatives ? Pourquoi inclure les méthodes

qualitatives dans l’évaluation de l’impact ?

Exemples d’articulations possibles des méthodes qualitatives avec l’évaluation de l’impact

Obstacles à l’utilisation efficace des méthodes qualitatives dans l’évaluation de l’impact

Conception de la recherche et Evaluation de programmes :Objectifs et Obstacles

Produire des données pour que les projets s’améliorent en temps réel

Aider à repérer plus soigneusement les conditions permettant à des interventions données de “fonctionner”

Poser les questions pertinentes et majeures sur les programmes, puis combiner les méthodes au mieux en réponse aux questions Ne vous posez pas la question, “A quelles questions cette

donnée me permet-elle de répondre?” Ne dites pas, “Je ne dispose pas d’un modèle aléatoire et ne

peux ainsi rien dire de défendable” Chacune des méthodes n’est pas en soi “rigoureuse” ;

elle le devient dans la mesure où elle est adaptée aux problèmes auxquelles elle fait face, aux contraintes qu’elle surmonte

Conception de la recherche et formes de validité

Validité des concepts Avec quel degré de pertinence mon instrument

évalue les concepts sous-jacents (“pauvreté”, “participation”, “conflit”, “autonomisation”)?

Validité interne Dans quelle mesure ai-je su traiter les divers

facteurs de distorsions (surtout les effets de sélection) influençant la relation entre l’EI et l’ED ?▪ c.-à-d., quelle est ma stratégie d’identification ?

Validité externe Dans quelle mesure puis-je extrapoler mes

conclusions ? Si mon projet fonctionne “ici”, fonctionnera-t-il également “là”? Fonctionnera-t-il mieux à plus grande échelle ?

Quelles sont les méthodes qualitatives ?Un cadre d’outils de recherche

scientifique sociale offrant des moyens d’action pour : Décrire et classer les contextes sociaux Interpréter la signification du

comportement social, des agissements et des réalisations

Localiser les processus et mécanismes spécifiques permettant aux programmes de produire des effets

Diversité des méthodes qualitatives Recherche participative et fondée sur l’action

Observation sociale systématique Rôles de théâtre, Jeux, Jeux de rôle Cartes, Modèles et Diagrammes Classement et attribution de notes

Entretien et Discussion Entretiens approfondis, semi-structurés Réunions de groupes homogènes ou hétérogènes Histoires des individus et communautés tirées des

entretiens Analyse du contenu des documents et archives

Archives et dossiers administratifs Journaux et rapports de la société civile Correspondance privée

Pourquoi inclure des méthodes qualitatives dans l’évaluation de l’impact ?

Présenter systématiquement le contexte (ni l’éluder ni le mentionner ponctuellement)

Les hypothèses, programmes, et évaluations peuvent s’appuyer sur la réalité individuelle ou collective des populations pauvres

Vérifier par recoupement et interpréter les conclusions

Comprendre les mécanismes causaux reliant les programmes, le contexte et les résultats

Comprendre la nature et les sources de toute erreur de mesure

Exemple 1 : Intégrer le contexte local dans la conception des programmes

L’étude : Evaluation d’un programme de gestion des déchets dans la région nord et centre du Kenya (Sheely 2010)

Outils qualitatifs spécifiques utilisés : observation de long terme, histoires livrées lors des entretiens, recherche documentaire

Outils quantitatifs spécifiques utilisés : affectation aléatoire des villages à différents ensembles d’institutions chargées de faire appliquer la loi

Implication pour les évaluations de l’impact : une analyse attentive du contexte local peut élargir les possibilités de randomisation et d’idées en matière de conception de programmes

Exemple 2 : utiliser les connaissances locales pour évaluer la validité des mesures L’étude : évaluation de l’effet du cadre culturel

sur le comportement lors des jeux de confiance au sein des populations masai (Cronk 2007)

Outils qualitatifs spécifiques utilisés : entretiens approfondis

Outils quantitatifs spécifiques utilisés : Jeux de comportement économique sur le terrain

Implication pour les évaluations de l’impact : Procéder à une mesure exacte des résultats comme la cohésion sociale peut exiger un examen attentif des pratiques propres aux cultures locales

Méthodes qualitatives :Problèmes potentiels de méthodologiePossibilité de contamination et de

débordementÉchantillons non représentatifs –

Choix des personnes enquêtées qui peut favoriser les élites locales

Point de vue personnel du chercheur /facilitateur

Absence de normes de comparaison des résultats qualitatifs et quantitatifs

Méthodes qualitatives :Problèmes pratiques potentiels Durée et Coût de la Recherche qualitative

Comprendre et exposer le contexte exige du temps et une confiance mutuelle entre les chercheurs et les populations

Accroître les effectifs et la formation en raison d’un éventail plus diversifié de compétences

Problèmes de coordination et de gestion posés par de grandes équipes

L’attention accordée au contexte dans la conception des programmes ne règle pas automatiquement les questions d’efficacité potentielle liées au passage à une échelle plus grande

REFERENCES ET SUGGESTIONS D’AUTRES LECTURES

Bamberger, Michael, Vijayendra Rao et Michael Woolcock (2010) “Using Mixed Methods in Monitoring and Evaluation: Experiences from International Development”, in Abbas Tashakkori et Charles Teddlie (dir. pub.) Handbook of Mixed Methods (2e édition révisée) Thousand Oaks, CA, Sage Publications

Barron, Patrick, Rachael Diprose et Michael Woolcock (2010) Contesting Development: Participatory Projects and Local Conflict Dynamics in Indonesia New Haven, Yale University Press (in press)

Chambers, Robert. 1997. Whose Reality Counts: Putting the First Last, ITDG Publishing.

Cronk, Lee. 2007. “The influence of cultural framing on play in the trust game: a Maasai example” Evolution and Human Behavior.

Kanbur, Ravi, ed . 2001. Q-Squared? Qualitative and Quantitative Methods of Poverty Appraisal

Malan, N. 2000. “On the Relationship between participatory research and participatory development.” Africanus 2, pp. 64-75.

Ravallion, Martin. 2001. “How Can Qualitative Methods Help in Measuring Poverty,” Qual-Quant: Qualitative and Quantitative Poverty Appraisal- Complementarities, Tensions and the Way Forward, Permanent Black Publishers, 2002.

Rodrik, Dani. 2008. “The New Development Economics: We Shall Experiment, but How Shall we Learn?” Document préparé en vue de la Brookings Development Conference, 29-30 mai 2008.

Sheely, Ryan. 2010. “Community Governance, Collective Action, and the Maintenance of Local Public Goods: Qualitative and Experimental Evidence from Rural Kenya.” Better Governance for Better Health Conference, Stanford University. 26-27 avril, 2010.

Van der Riet, Mary. 2008. “Participatory Research ant he Philosophy of Social Science.” Qualitative Inquiry 14 (4), pp. 546-565.

White, Howard. 2002. “Combining Quantitative and Qualitative Approaches in Poverty Analysis,” World Development.

Woolcock, Michael (2009) ‘Toward a Plurality of Methods in Project Evaluation: A Contextualized Approach to Understanding Impact Trajectories and Efficacy’ Journal of Development Effectiveness 1(1), pp. 1-14