1

����

Mieux connaître l’efficacité des programmes d’assise sociétale pour la coopération au développement

Renforcer le suivi-évaluation par une pratique réflexive

����

������������������ �������� �������������������� ����������������������� �, �!����"���������� ����������������� �������� ��

#�������!������$��� ���������� ���� ��

#�% �&���� ���'��()�#���������� � ��

Résumé de l’étude Les comparaisons internationales montrent que la Belgique investit considérablement pour renforcer l’assise sociétale de la coopération au développement. Cela se fait à travers une multitude d’activités d’éducation et de sensibilisation. On sait cependant relativement peu sur l’efficacité et l’impact de ces activités. Or, ce besoin se fait de plus en plus sentir : les décideurs politiques, les acteurs et les organisations en charge de la mise en œuvre de ces activités ont besoin de résultats tangibles pour améliorer leur redevabilité (accountability) et apprendre comment soutenir et nourrir cette assise sociétale de manière plus efficace et efficiente. A travers un processus de recherche-action participative, la plateforme de recherche PULSE cherche à explorer et à renforcer les pratiques de suivi-évaluation d’organisations impliquées dans des programmes de renforcement de l’assise sociétale de la coopération au développement. Pour la plateforme PULSE, la recherche-action est entendue comme un processus en spirale flexible qui permet à la fois l’action (changement, amélioration) et la recherche (réflexion, compréhension, connaissance). En pratique, cela signifie que les organisations qui participent aux recherches-actions de PULSE mènent réellement le processus de recherche et sont activement impliqués dans un processus systématique de réflexion sur leur pratiques de suivi-évaluation. De cette manière, les organisations sont à même d’extraire des leçons utiles pour éclairer et renforcer leur pratiques de suivi-évaluation. Ces leçons tirées d’organisations individuelles nourrissent également un processus d’apprentissage collectif lancé par la plateforme PULSE. Dans ce processus, le chercheur joue un rôle de facilitateur tout au long du processus. Ce document de recherche reprend les premières idées et résultats de trois organisations ayant participé à la recherche-action depuis le début 2010, à savoir Trias, VLIR UOS et Vredeseilanden. Différents défis sont à relever quand on cherche à développer un système de suivi-évaluation pour des programmes de renforcement de l’assise sociétale de la coopération au développement. Le premier défi est de clarifier l’objectif ou le but des activités de renforcement de l’assise sociétale. Il s’agit donc de savoir ce que l’on entend par assise sociétale de la coopération au développement pour être capable de suivre les effets des activités menées pour la renforcer. L’assise sociétale de la coopération au développement peut ainsi être définie comme les attitudes et comportements vis-à-vis de quatre objets différents : la coopération au développement en général, les objectifs ou projets spécifiques liées à la coopération au développement, les relations publiques d’une organisation (publicité, collecte de fonds) et les politiques publiques. Un second défi consiste à différencier ce qui relève de l’ordre de la connaissance, de l’attitude et du comportement dans l’assise sociétale de la coopération au développement. Cette

2

question est importante pour savoir sur quels aspects centrer le suivi-évaluation. Les études menées sur la question montrent par exemple que le lien entre ces trois dimensions n’est pas automatique ou linéaire : plus de connaissance n’engendre pas nécessairement une attitude plus positive et le processus d’acquisition des connaissance en matière de développement influera également sur les autres dimensions. Enfin, l’influence de ces trois dimensions n’est pas figée dans le temps et il faut garder à l’esprit que d’autres facteurs influencent en permanence le processus. Le troisième défi est celui de clarifier ce que l’on entend par « effets ou résultats d’activités de renforcement de l’assise sociétale ». Les définitions d’un effet ou d’un résultat peuvent être différentes et être situées à différents niveaux du processus de changement. On peut ici s’inspirer de la métaphore des ondes créées par une pierre lancée dans l’eau. Trois niveaux d’effets d’activités de renforcement de l’assise sociétale peuvent être distingués : le niveau du groupe-cible direct de l’intervention, le niveau du groupe cible indirect et le niveau des activités de renforcement de l’assise sociétale elles-mêmes. Bien que simplifiant la réalité, cette métaphore est utile car elle démontre non seulement le temps nécessaire pour qu’un changement s’opère dans un système social mais aussi la magnitude décroissante de l’influence plus on s’éloigne de la source. Enfin, le quatrième défi consiste à pouvoir aborder des processus complexes de changement social. L’assise sociétale de la coopération est en effet un concept complexe car il est déterminé par de nombreux facteurs dont tous ne sont pas prévisibles ou attendus. Cela engendre évidemment des conséquences importants sur l’efficacité d’activités, même bien planifiées. Cependant, tous les aspects de programme de renforcement de l’assise sociétale n’ont pas le même niveau de complexité. Comme le propose le cadre Cynefin développé par David Snowden et Cynthia Kurtz, il est ainsi important de différencier les situations et les processus qui sont :

� simples (situations où les liens de causes à effets sont évidents, reproductibles et prévisibles. Par exemple : organiser la signature d’une pétition),

� compliqués (situations où les liens de causes à effets sont détectables mais séparés dans l’espace et dans le temps. Par exemple : la mise en œuvre d’un module d’éducation au développement pour des enfants.),

� complexes (situations dans lesquelles les processus de causes à effets sont compréhensibles rétrospectivement mais pas prévisibles ni reproductibles. Par exemple : une campagne d’éducation au développement tendant à faire acheter plus de produits du commerce équitable),

� Chaotiques (situations pour lesquelles le lien de cause à effet n’est pas détectable).

Différencier les situations et les processus selon cette typologie permet de développer différentes approches de suivi-évaluation pour capter ce qui est de l’ordre du simple, du compliqué, du complexe et du chaotique. Prenant en compte ces différents défis, cette recherche propose différentes phases dans la mise en œuvre d’un système de suivi-évaluation en matière de renforcement de l’assise sociétale et illustre chacune de ces phases par des exemples concrets des ONG impliquées dans cette recherche-action.

1. Clarifier une théorie du changement autour de l’acteur. Une théorie du changement autour de l’acteur peut être définie comme une chaine de résultats qui précise le rôle, les attentes et les relations d’influence de différents acteurs ou groupes-cibles impliqués dans un projet de renforcement de l’assise sociétale. La méthode de cartographie des incidences (outcome mapping) développée par le Centre Canadien de Recherche pour le Développement International (CRDI) peut aider à construire cette théorie, en différenciant notamment les sphères d’influence d’une intervention.

3

2. Identifier le but et les informations nécessaires à un système de suivi-évaluation. La question qui se pose ici est de savoir pourquoi nous voulons suivre et évaluer les projets de renforcement de l’assise sociétale. Cette phase est importante car elle va déterminer la conception du système de suivi-évaluation et aider à identifier les utilisateurs des informations générées par le système de suivi-évaluation et le type d’information dont ils ont besoin.

3. Planifier la collecte d’informations et les moments de synthèse des informations. Mesurer les effets de programmes de renforcement de l’assise sociétale est difficile mais sur base des premiers résultats de cette recherche-action, on observe que ce n’est pas toujours aussi difficile et lourd (en termes de temps et d’expertise) qu’on peut le penser. L’étude décrit et analyse dans le détail les processus mis en œuvre par Vredeseilanden, VLIR-UOS et Trias pour planifier la collecte d’information et leur synthèse en combinant généralement différentes approches et méthodes (enquête, enquête par Internet, observations, discussions informelles, most significant change, focus groupes, outil de notation, etc.) selon le type d’activités, le type informations recherchées et les acteurs concernés.

4. Plan pour donner du sens à l’information et favoriser l’apprentissage. On attend toujours d’un système de suivi-évaluation qu’il contribue à l’apprentissage. Or, dans la pratique, le logique de justification (vis-à-vis des bailleurs de fonds) domine souvent dans les système de suivi-évaluation. Si on souhaite des systèmes de suivi-évaluation orientés vers l’apprentissage, cela demande d’intégrer cette dimension dans la planification des activités de suivi-évaluation. Les ONG impliquées dans la recherche-action ont ainsi relevé ce défi en créant des espaces de réflexion commune pour favoriser l’apprentissage et permettre aux équipes de donner du sens aux informations collectées au quotidien et durant les activités de suivi-évaluation. Créer de l’espace pour la réflexion et trouver de bons outils de réflexion ne suffit toutefois pas pour garantir qu’un système de suivi-évaluation permette l’apprentissage. Il faut pour cela que les personnes puissent participer à des processus qu’ elles ressentent comme pertinents dans leur vie ou leur travail et qu’elles puissent y jouer un rôle actif dans le processus de fabrication de sens et dans les processus de prise de décision sur base des leçons tirées à travers ces processus d’apprentissage. Les expériences menées par les ONG impliquées dans la recherche action démontrent que l’investissement en temps pour la participation active, en confiance et en transparence pour conduire à des partenariats plus clairs en termes de vision partagée, d’intentions claires, de processus de négociations, de répartition des rôles et des responsabilités, de flexibilité et d’ouverture au changement. Une communication ouverte et un feed-back de qualité sur l’utilisation des informations collectées et leur influence sur les processus de décision sont également des éléments-clés pour favoriser l’apprentissage.

Les premiers résultats de ce processus de recherche-action montrent qu’au fond, il n’est peut être pas aussi difficile de mettre en place un système de suivi-évaluation pour les activités de renforcement de l’assise sociétale. C’est faisable et cela n’exige pas nécessairement des investissements irréalistes en temps et en ressources. La recherche-action a notamment permis d’identifier les ingrédients potentiels d’un système de suivi-évaluation : 1/avoir des personnes réellement intéressées par l’apprentissage ; 2/clarifier une théorie de changement orienté autour de l’acteur derrière chaque programme afin de mieux déterminer les niveaux auxquels les effets du programme pourront être observés ; 3/ créer des espaces de réflexion collective pour renforcer les processus de fabrication de sens à partir des informations collectées et 4 /capacités de voir les défis posés par le suivi-évaluation comme des sources d’apprentissage et d’amélioration. ����