congrÈs rÉgionaux 2008-2009 planifier, effectuer et utiliser l’évaluation
DESCRIPTION
CONGRÈS RÉGIONAUX 2008-2009 Planifier, effectuer et utiliser l’évaluation. Quelles expériences de l’évaluation avez-vous eues?. JOURNÉE DE L’ÉVALUATION DU TRAVAIL. LENT. PARESSEUX. MAUVAISE ATTITUDE. Les 3 composantes de l’évaluation de programmes Planification Conception de l’évaluation - PowerPoint PPT PresentationTRANSCRIPT
CONGRÈS RÉGIONAUX 2008-2009CONGRÈS RÉGIONAUX 2008-2009Planifier, effectuer et utiliser l’évaluationPlanifier, effectuer et utiliser l’évaluation
Quelles expériences de l’évaluation avez-vous eues?
JOURNÉE DE L’ÉVALUATION DU
TRAVAIL
LENT
PARESSEUX
MAUVAISE ATTITUDE
IntroductionLes 3 composantes de l’évaluation de
programmes
Planification• Conception de l’évaluation
Exécution• Collecte des données, analyse, interprétation
Utilisation• Application et diffusion des résultats
La planification des évaluations
• On détermine les besoins en information : l’objectif de l’évaluation, la communication avec les partenaires
• On élabore une stratégie d’évaluation : modèle logique, indicateurs, mesures, questions, logistique
Qui pourriez-vous définir comme un partenaire clé?
L’exécution de l’évaluation
• Collecter et compiler les données
• Analyser les informations
• Rédiger des conclusions et des recommandations
• Écrire le rapport
L’utilisation des évaluations
• Élaborer un plan de communications• Élaborer des stratégies et des plans
d’action pour veiller à utiliser les résultats de l’évaluation
La planification des évaluationsÉtapes à suivre pour être prêts – facteur
critique pour le succès de l’évaluation :• Identifier les obstacles et les facilitateurs• Identifier et faire participer les partenaires
clés s’intéressant manifestement à l’évaluation
• Identifier un « champion » de l’évaluation• Faire des recherches sur les meilleures
pratiques existantes, les conceptions précédentes, les mesures et la bibliographie universitaire concernant le programme
La planification de l’évaluationLes étapes à suivre pour être prêts (suite)
• Collaborer avec d’autres agences pour développer un réseau de soutien
• Établir une compréhension de la raison pour laquelle l’évaluation est effectuée
• Élaborer un cadre d’évaluation, veiller à la participation des partenaires clés et du personnel
• Développer un modèle logique de programme
Planification de l’évaluation : élaborer un cadre d’évaluationÉtapes à suivre pour être prêts (suite)
• Formuler des questions d’évaluation• Identifier les indicateurs pour tous les
résultats mesurés• Choisir des mesures appropriées et des
sources d’information• Identifier la responsabilité de chacun pour la
collecte des données
Selon votre expérience, offrez des exemples de :
1) Deux obstacles que vous avez rencontrés dans la mise en vigueur de l’évaluation dans votre organisme, et…
2) Deux facilitateurs que vous avez rencontrés dans votre mise en vigueur de l’évaluation dans votre organisme.
Modèle logique de programmes
Un modèle logique est un diagramme visuel indiquant les relations causales entre les différentes composantes d’un programme, comme : relier les activités du programme aux résultats souhaités. C’est aussi le fondement de la conception des questions d’évaluation.
Modèles logiques de programme – Exemple
Entrées Activités Sorties Résultats
Que devrait avoir le programme pour bien fonctionner?
Que devez-vous faire pour obtenir les résultats souhaités?
Combien de travail devez-vous faire pour combien de gens sur quelle période?
Quelle différence le programme fait-il pour la population cible?
Modèle logique de programmesComposantes :• Entrées – subventions et ressources • Activités – les produits livrables par le
programme; les services que vous fournissez• Sorties – ce qui est produit – les produits
tangibles résultant des activités • Résultats – les impacts du programme reliés
à la population cible se produisant à la suite de la prestation du programme
Modèle logique de programmesRésultats : À court terme – le client change ce qui peut être
directement attribué à la prestation du programme. Intermédiaire – le client change ce qui peut être
attribué directement à la prestation du programme; peut être relié aux objectifs à long terme des résultats à court terme
Objectif à long terme – Objectif global du programme; l’état idéal où les objectifs du programme ont été atteints; les besoins ou le problème de la communauté ont été abordés.
Modèle logique de programmes - Exemple
Coureur de marathon
Objectif : améliorer son rendement pendant la course par rapport à l’année dernière
Pouvez-vous identifier des entrées, des activités, des
sorties et des résultats pouvant être associés à ce programme de formation?
Modèle logique de programmes - Exemple• Entrées : nouvelles espadrilles; temps consacré à
l’entraînement pendant l’horaire quotidien; ressources pour l’entraînement; abonnement à un gymnase
• Activités : entraînement par intervalles; course de fond; entraînement de la force
• Sorties : 2 séances d’une heure d’entraînement de la force par semaine; 2 séances d’une heure d’entraînement par intervalles par semaine; 2 courses de fond de deux heures par semaine
• Résultats : vitesse accrue; endurance accrue
Les indicateurs et les mesures
Le verre est à moitié plein
Le verre est à moitié vide
À moitié plein… non! Attends! À moitié vide. Non! Et c’était quoi la question?
Hey! J’ai commandé un hambourgeois au fromage!
Les quatre types fondamentaux de personnalité
Les indicateurs et les mesuresIndicateurs : preuve que vous avez atteint votre
objectif et que les résultats ont été réalisés• Choisissez le résultat particulier que vous voulez
mesurer. Demandez « Comment saurez-vous que ce résultat a été réalisé? » « Quelle en est la preuve? » « Comment sera-t-elle mesurée? »
• Veuillez à la qualité, au caractère approprié et à l’intégrité des informations ainsi qu’à leur quantité – pouvoir de détecter les effets avec un fardeau minime sur les répondants en matière de fourniture d’information
ENTRÉES ACTIVITÉS SORTIES Résultats à court terme
Résultats intermédiaires
Résultat final
ÉVALUATION DES ÉVALUATION DES ÉVALUATION DESÉVALUATION DES PROCESSUS RÉSULTATS PROCESSUS RÉSULTATS
Les évaluations de processus
Questions clés :• Prestation de service – le degré auquel les
composantes du programme sont fournies comme prévu
• Couverture – étendue de la participation de la population cible au programme
• Biais – mesure dans laquelle les sous-groupes de la population cible désignés participent (ou ne participent pas)
Les évaluations de résultats
Questions clés :• Efficacité/impact du programme – le
programme est-il en mesure d’obtenir les résultats souhaités pour la population cible (soit changements au niveau des connaissances/compréhension, attitudes et comportement/fonctionnement)?
sur page distincte en Word
Activité : Élaboration du modèle logiqueObjectif à long terme :Population cible :
ENTRÉES(Ressources comme : $, personnel, équipement)
ACTIVITÉS(Services comme : counseling, approche, groupes de soutien)
RÉSULTATS(Impact ou efficacité du programme sur le client)
À COURT TERME
INTERMÉDIAIRE
SORTIES(Produits comme : nombre de classes, nombre de sessions)
Susan Kasprzak, adjointe de recherche
Tanya Witteveen,adjointe de recherche
Visitez notre site Web pour obtenir de plus amples
informations :
www.onthepoint.ca