l'évaluation de programme axée sur le jugement crédible · 2018-04-13 · avec la...
TRANSCRIPT
Épine 0,4554 po / 11,6 mm / 218 p. / 120 M
L’évaLuation
de programme
axée sur le jugement
crédibLe
Préface de Steve Jacob
Sous la direction de Marthe Hurteau,
Sylvain Houle et François Guillemette
Sous
la d
irec
tion
de M
ar
th
e H
ur
te
au
,
Sy
lv
ain
H
ou
le
et F
ra
nç
ois G
uille
me
tte
L’é
va
Lu
at
io
n d
e p
ro
gr
am
me
ax
ée su
r le j
ug
em
en
t c
ré
dib
Le
Avec la collaboration de Sheila A. Arens, J. Bradley Cousins, Jody Fitzpatrick, Jennifer C. Greene, Marie-Pier Marchand, Pascal Ndinga, Michael Schleifer et Lyn M. Shulha.
GéNérer uN JuGeMeNt, et PLuS PArtiCuLièreMeNt uN JuGeMeNt qui suscite la confiance des personnes concernées, s’avère un défi de taille pour tout professionnel. L’évaluation de programme est d’ailleurs confrontée à de nombreuses remises en question concernant l’incapacité des évaluateurs à générer un jugement crédible. C’est ce qui a amené Marthe Hurteau et Sylvain Houle à consacrer leurs travaux de recherche à cette problématique.
en guise d’introduction, les auteurs présentent certaines notions fonda-mentales concernant l’évaluation, le jugement crédible ainsi que la contribution des données probantes crédibles au sein du processus de crédibilisation. Par la suite, ils élaborent le processus de production et de crédibilisation du jugement ainsi que l’influence exercée par les contextes et les contingences liés au programme à l’étude ; à la sélection des parties prenantes ; au choix des critères et des seuils de perfor-mance ainsi qu’aux capacités personnelles de l’évaluateur.
L’ouvrage propose, à ceux qui se préoccupent de porter un jugement crédible et digne de confiance aux yeux des gens à qui il est destiné, des balises pour encadrer leur démarche d’investigation. il constitue une source de réflexion inté-ressante pour tout professionnel appelé à porter un jugement (diagnostic, conclusion) dans le cadre de ses fonctions.
Marthe Hurteau est professeure au Département d’éducation et pédagogie à la Faculté des sciences de l’éducation de l’université du Québec à Montréal et elle détient le titre d’évaluatrice accréditée par la Société canadienne d’évaluation.
François Guillemette
est professeur au Département des sciences de l’éducation à l’université du Québec à trois-rivières.
Sylvain Houle
est professeur au Département des sciences comptables à l’école des sciences de la gestion de l’université du Québec à Montréal, qui héberge le DeSS en évaluation de programmes, projets et services.
puq.ca
ISBN 978-2-7605-3548-0
,!7IC7G0-fdfeia!
3548D-Couvert.indd All Pages 12-10-15 14:30
Extrait de la publication
L’évaLuation
de programme
axée sur le jugement
crédibLe
Extrait de la publication
La Loi sur le droit d’auteur interdit la reproduction des œuvres sans autorisation des titulaires de droits. Or, la photocopie non autorisée – le « photocopillage » – s’est généralisée, provoquant une baisse des ventes de livres et compromettant la rédaction et la production de nouveaux ouvrages par des professionnels. L’objet du logo apparaissant ci-contre est d’alerter le lecteur sur la menace que représente pour l’avenir de l’écrit le développement massif du « photocopillage ».
Presses de l’Université du Québec Le Delta I, 2875, boulevard Laurier, bureau 450, Québec (Québec) G1V 2M2 Téléphone : 418 657-4399 − Télécopieur : 418 657-2096 Courriel : [email protected] − Internet : www.puq.ca
Diffusion / Distribution :
Canada : Prologue inc., 1650, boulevard Lionel-Bertrand, Boisbriand (Québec), J7H 1N7 – Tél. : 450 434-0306 / 1 800 363-2864
France : Sodis, 128, av. du Maréchal de Lattre de Tassigny, 77403 Lagny, France Tél. : 01 60 07 82 99
Afrique : Action pédagogique pour l’éducation et la formation, Angle des rues Jilali Taj Eddine et El Ghadfa, Maârif 20100, Casablanca, Maroc – Tél. : 212 (0) 22-23-12-22
Belgique : Patrimoine SPRL, avenue Milcamps 119, 1030 Bruxelles, Belgique Tél. : 02 7366847
Suisse : Servidis SA, Chemin des Chalets, 1279 Chavannes-de-Bogis, Suisse Tél. : 022 960.95.32
Mem
bre
de
Extrait de la publication
L’évaLuation
de programme
axée sur le jugement
crédibLe
Sous la direction de Marthe Hurteau,
Sylvain Houle et François Guillemette
Extrait de la publication
Catalogage avant publication de Bibliothèque et Archives nationales du Québec et Bibliothèque et Archives Canada
Vedette principale au titre :
L'évaluation de programme axée sur le jugement crédible
Comprend des réf. bibliogr.
ISBN 978-2-7605-3548-0
1. Évaluation de programme. 2. Fiabilité. 3. Jugement. I. Hurteau, Marthe, 1949- . II. Houle, Sylvain, 1970- . III. Guillemette, François.
H62.E92 2012 300.72 C2012-941379-8
Les Presses de l’Université du Québec reconnaissent l’aide financière du gouvernement du Canada par l’entremise du Fonds du livre du Canada et du Conseil des Arts du Canada pour leurs activités d’édition.
Elles remercient également la Société de développement des entreprises culturelles (SODEC) pour son soutien financier.
Mise en pages : Info 1000 Mots
Couverture – Conception : MIchèle Blondeau
Illustration : La grande envolée, Normand Hudon, 1993.
2012-1.1 – Tous droits de reproduction, de traduction et d’adaptation réservés © 2012 Presses de l’Université du QuébecDépôt légal – 4e trimestre 2012Bibliothèque et Archives nationales du Québec / Bibliothèque et Archives Canada – Imprimé au Canada
Extrait de la publication
Préface
« LES CONCLUSIONS ET LES RECOMMANDATIONS DE L’ÉVALUATION sont-elles pertinentes et peuvent-elles alimenter la prise de décision ? », telle est la question que se posent régulièrement les clients et les parties prenantes impliqués dans une démarche évaluative. Jusqu’à ce jour, il est extrêmement difficile d’ap-porter une réponse claire, précise et définitive à cette interrogation qui concerne notamment la qualité et l’utilisation de l’évaluation au sens large.
Pour répondre à cette question, Marthe Hurteau et Sylvain Houle estiment qu’il est nécessaire, et même urgent, de porter attention à la crédibilité du jugement qui est généré par l’évaluateur puisque la notion de « valeur » est consubstantielle à la pratique évaluative. C’est à cette tâche que s’emploient les auteurs de cet ouvrage qui abordent le processus de production d’un jugement crédible sous des facettes diversi-fiées et complémentaires. Les contributions rassemblées dans cet ouvrage entraînent le lecteur sur un sentier qui va de la validité des données collectées jusqu’à l’accep-tabilité des résultats produits en passant par la fiabilité des méthodes employées et le processus de production d’un jugement dans d’autres professions (par exemple : policiers, juges, médecins).
L’enjeu de la crédibilité des connaissances produites par l’évaluateur est parfois considéré comme le talon d’Achille de l’évaluation. Il est vrai que l’évalua-teur est souvent prompt à juger l’action des autres, mais réticent à s’appliquer sa propre médecine. Ainsi, lorsque l’évaluation s’est institutionnalisée en France, au début des années 1990, ses détracteurs se demandaient qui, ultimement, jugerait le juge. Même si nous savons que l’évaluateur n’est pas le seul responsable de la qualité d’une évaluation, force est de constater qu’il joue un rôle majeur dans le succès ou l’échec de cette entreprise. Ainsi, il est important de le sensibiliser à ces enjeux et d’insuffler une certaine dose de réflexivité dans son travail.
La publication de cet ouvrage arrive à point nommé pour au moins deux raisons. Tout d’abord, au cours des dernières années, plusieurs ouvrages d’intro-duction ou manuels d’enseignement de l’évaluation ont été publiés au Québec.
L’évaluation de programme axée sur le jugement crédibleVIII
Cet engouement éditorial témoigne de la vitalité de la culture évaluative dans cette province et de la nécessité d’offrir aux étudiants et aux jeunes professionnels des guides pour les orienter dans la découverte de l’évaluation. Cependant, les ouvrages qui approfondissent une question précise ou qui outillent les professionnels aguerris sont nettement plus rares. Cet ouvrage comble cette carence en offrant aux évalua-teurs francophones la possibilité d’élargir leurs connaissances en se concentrant sur la crédibilité du jugement, qui est un thème central, et pourtant méconnu, de l’évaluation.
Ensuite, en réunissant les contributions de chercheurs, de théoriciens et de praticiens chevronnés dont la réputation n’est plus à faire, cet ouvrage décrit la notion de jugement crédible dans une perspective internationale et pluridiscipli-naire. Ce mélange des genres est souvent malheureux dans des ouvrages collectifs. Ici, au contraire, il est le bienvenu puisqu’il offre au lecteur des points d’observation variés et complémentaires sur la notion complexe et a priori insaisissable de « crédi-bilité ». Chaque chapitre présente avec précision ses objectifs et permet au lecteur d’apprivoiser progressivement les multiples facteurs qui concourent à la production d’un jugement crédible. Pour y parvenir, plusieurs auteurs illustrent leurs propos avec des exemples concrets auxquels ils ont été confrontés. Même si la plupart des auteurs accordent une attention particulière aux approches participatives et colla-boratives, les questionnements qui sont au centre de cet ouvrage s’appliquent à toutes les approches évaluatives et se transposent aisément dans d’autres contextes et secteurs d’action publique.
En conclusion, cet ouvrage offre l’occasion aux évaluateurs d’entamer une réflexion approfondie sur leur pratique. Il alimentera certainement un débat sur la finalité de la démarche évaluative et la place qui est réservée aux connaissances produites par l’évaluateur dans les processus décisionnels. À en juger par la richesse des points de vue contenus dans cet ouvrage, il n’est pas à douter que ce débat sera fécond et profitable à tous ceux qui s’intéressent au développement et au renforce-ment de l’évaluation.
Steve Jacob
Professeur de science politique à l’Université LavalDirecteur du Laboratoire de recherche sur la performance
et l’évaluation de l’action publique (PerfEval)Éditeur associé de la Revue canadienne d’évaluation de programme
Extrait de la publication
Remerciements
À TITRE DE PREMIÈRE ÉDITRICE DU PRÉSENT OUVRAGE, JE TIENS À remercier mes coéditeurs, Sylvain Houle et François Guillemette : Sylvain, mon collaborateur de la première heure, pour sa précieuse contribution à l’ensemble de l’ouvrage et François, pour avoir pris en charge l’arbitrage anonyme par les pairs. Mes remerciements à Marie-Pier Marchand qui s’est avérée une précieuse collaboratrice en prenant sous sa responsabilité la mise en forme du livre.
Je tiens aussi à remercier les collaborateurs du livre qui ont si généreu-sement accepté de nous faire profiter de leurs connaissances et de leur expertise dans le domaine. Mes remerciements aux personnes qui ont corrigé les textes, leur commentaires se sont avérés aussi pertinents qu’utiles. Mes remerciements tout particuliers aux personnes qui ont accepté de participer à la recherche, leurs contri-butions constituent le pivot de l’ouvrage.
Finalement, et dans un tout autre ordre d’idées, mes remerciements les plus chaleureux à mes « chevaliers de l’ombre » - que j’appelle ainsi parce qu’on attend beaucoup d’eux et qu’on leur rend rarement hommage -, j’ai nommé les docteurs Jean-Pierre Gascon et Paul Harasimovich. En effet, la réalisation d’une telle entre-prise requiert que l’on soit en bonne santé et ils y ont vu tout au long des deux dernières années, tout en me prodiguant des encouragements.
Marthe Hurteau
Extrait de la publication
Table des matières
Préface........................................................................................................ VII
Remerciements......................................................................................... IX
Introduction | Plus qu’une introduction, un énoncé........................ 1Marthe Hurteau et Sylvain Houle
LA GENÈSE DE NOTRE POINT DE VUE.................................................. 3
La phase de réflexion........................................................................ 3
La phase de la recherche scientifique................................................ 5
LES CONTRIBUTIONS DU LIVRE............................................................ 7
Les fondements................................................................................. 8
La crédibilisation du jugement.......................................................... 9
RÉFÉRENCES BIBLIOGRAPHIQUES........................................................10
PARTIE 1 | LES FONDEMENTS..........................................................13
Chapitre 1 | L’évaluation de programme : .quelques considérations de premier plan...........................................15Jody Fitzpatrick
LA DÉFINITION DE L’ÉVALUATION......................................................16
L’OBJET DE L’ÉVALUATION...................................................................18
LA RAISON DE L’ÉVALUATION..............................................................19
LES TYPES D’ÉVALUATION....................................................................21
Une perspective historique..............................................................21
Les évaluations axées sur les visées : l’évaluation formative et l’évaluation sommative.................................................................22
L’évaluation de programme axée sur le jugement crédibleXII
Les évaluations axées sur les composantes du programme : l’analyse des besoins, le suivi (monitoring), l’étude des résultats ou des effets......................................................24
LES MODÈLES D’ÉVALUATION OU LES THÉORIES DE L’ÉVALUATION..................................................................................26
LES ÉTAPES REQUISES POUR LA RÉALISATION D’UNE ÉVALUATION...............................................................................30
La première étape : la familiarisation avec le programme et son contexte.................................................................................30
La deuxième étape : les questions de l’évaluation qui serviront à cerner les aspects du programme qui seront étudiés....................................................31La troisième étape : la sélection des méthodes pour recueillir les données, l’identification des sources d’information, l’élaboration des procédures pour recueillir les données et les stratégies requises pour les analyser et les interpréter...............................................................................32La quatrième étape : l’évaluation proprement dite...........................33
La cinquième étape : l’analyse et l’interprétation des données et de l’information recueillies.......................................33La sixième étape : la diffusion des résultats......................................34
CONCLUSION...........................................................................................35
RÉFÉRENCES BIBLIOGRAPHIQUES........................................................36
Chapitre 2 | Le jugement crédible : .le fondement de toute démarche évaluative.....................................39Michael Schleifer et Marthe Hurteau
LE JUGEMENT..........................................................................................40
Le jugement : un produit..................................................................41Le jugement : une compétence.........................................................41
LA DISTINCTION ENTRE LE RAISONNEMENT, LE JUGEMENT ET LA PRISE DE DÉCISION............................................42
LA CRÉDIBILITÉ......................................................................................44
La crédibilité : la vérité.....................................................................45
La crédibilité : un dialogue...............................................................45
LA DISTINCTION ENTRE LA CRÉDIBILITÉ, L’ARGUMENTATION ET LA PERSUASION-CONVICTION...................46
LA PRODUCTION DU JUGEMENT CRÉDIBLE EN ÉVALUATION DE PROGRAMME......................................................47
Un jugement....................................................................................47Un jugement crédible.......................................................................50
La façon d’y parvenir........................................................................51
Extrait de la publication
Table des matières XIII
CONCLUSION...........................................................................................52
RÉFÉRENCES BIBLIOGRAPHIQUES........................................................53
Chapitre 3 | La contribution des données probantes
au processus de crédibilisation d’une évaluation.............................57Jennifer C. Greene
L’ÉVALUATION AU SERVICE DU BIEN PUBLIC....................................59
L’ASPIRATION À PRODUIRE DES DONNÉES CRÉDIBLES.....................60
Les conditions gagnantes liées à cette éventuelle crédibilité............60L’actualisation de la crédibilité des données probantes....................62
UN ESSAI MULTISITE SELON UNE RANDOMISATION EN GRAPPE DU PROGRAMME LECTURE EN PUBLIC..........................63
Les données probantes évidentes.....................................................64Des données probantes révisées.......................................................65
QUELQUES RÉFLEXIONS........................................................................71
RÉFÉRENCES BIBLIOGRAPHIQUES........................................................72
PARTIE 2 | LA CRÉDIBILISATION
DU JUGEMENT.................................................................................75
Chapitre 4 | Les processus de production
et de crédibilisation du jugement en évaluation..............................77Marthe Hurteau, Sylvain Houle, Marie-Pier Marchand,
Pascal Ndinga, François Guillemette et Michael Schleifer
L’ENCADREMENT DU JUGEMENT ET DU JUGEMENT CRÉDIBLE......78
LES PRINCIPES SOUS-JACENTS À LA MODÉLISATION........................79
Le premier principe : les processus se déploient en synchronicité...............................................................................81
Le deuxième principe : la nécessité de produire des données valides..........................................................................83Le troisième principe : faire preuve de flexibilité et d’adaptabilité................................................................................87
Le quatrième principe : l’argumentation est essentielle et non linéaire..................................................................................89
Le cinquième principe : l’évaluation constitue une expérience d’apprentissage qui inclut les parties prenantes................................92Le sixième principe : les compétences de l’évaluateur......................93
CONCLUSION...........................................................................................94
RÉFÉRENCES BIBLIOGRAPHIQUES........................................................96
Extrait de la publication
L’évaluation de programme axée sur le jugement crédibleXIV
Chapitre 5 | Le point de rencontre
entre le contexte et le jugement crédible
dans le cadre de l’évaluation contemporaine..................................101Sheila A. Arens
LA DÉFINITION DES CONCEPTS ET L’ÉTABLISSEMENT DE LEUR PERTINENCE..........................................................................102
LA MANIPULATION DU POINT DE RENCONTRE ENTRE LE CONTEXTE, LES CONTINGENCES ET LA VALIDITÉ........105
L’APPORT DU CONTEXTE DANS LES DIFFÉRENTES PHASES DE L’ÉVALUATION..................................................................108
CONCLUSION.........................................................................................112
RÉFÉRENCES BIBLIOGRAPHIQUES......................................................113
Chapitre 6 | La sélection des parties prenantes :.un enjeu important, parce que toujours problématique..............115Marthe Hurteau, Sylvain Houle et Marie-Pier Marchand
LA DÉFINITION DES PARTIES PRENANTES........................................117
LA RAISON D’INCLURE LES PARTIES PRENANTES ET DE SE PRÉOCCUPER DE LEUR SÉLECTION...................................120
LES CRITÈRES DE SÉLECTION DES PARTIES PRENANTES................121
Les critères individuels...................................................................121Des critères complexes...................................................................122
LES PROCESSUS DE SÉLECTION..........................................................124
L’étude de Christie (2003)..............................................................125L’étude d’Alkin et Christie (2005)..................................................125La conceptualisation d’une cartographie........................................126
Les listes de contrôle......................................................................127
Les questions de House et Howe (2000b).......................................130L’échantillonnage par « boule de neige » et la nomination.............130
LES RÉSULTATS DE LA RECHERCHE DE NELSON (2009)...................130
CONCLUSION.........................................................................................132
RÉFÉRENCES BIBLIOGRAPHIQUES......................................................133
Chapitre 7 | L’établissement des seuils de réussite
dans le cadre d’une évaluation collaborative : .une démarche complexe.......................................................................137J. Bradley Cousins et Lyn M. Shulha
LA CONCEPTION DE L’ÉVALUATION COLLABORATIVE..................139
L’ÉTABLISSEMENT DE SEUILS DE RÉUSSITE AU SEIN D’UNE ÉVALUATION COLLABORATIVE..............................140
L’établissement des bases de comparaison......................................140
Table des matières XV
L’établissement de la valeur selon une perspective normative ou descriptive ?.............................................................141Les choix méthodologiques............................................................143Les visées : modérées ou intraitables ?............................................145La sensibilité culturelle...................................................................146
Les tendances pour guider l’instauration de seuils de réussite dans le cadre de l’évaluation collaborative....................147
L’ÉVALUATION PARTICIPATIVE DU PROGRAMME SUR LE LEADERSHIP PÉDAGOGIQUE : UN EXEMPLE TYPE..............148
Le synopsis du cas..........................................................................148La complexité de l’instauration des seuils de réussite.....................149
CONCLUSION.........................................................................................152
RÉFÉRENCES BIBLIOGRAPHIQUES......................................................154
Chapitre 8 | La contribution de l’évaluateur
aux processus de production et de crédibilisation
du jugement.............................................................................................157Marie-Pier Marchand
LA LITTÉRATURE EXISTANTE............................................................159
Les travaux de l’American Evaluation Association.........................159
Les normes du Joint Committee on Standards for Educational Evaluation (2011).................................................160La charte de la Société française de l’évaluation (2006)..................160Le référentiel de la Société canadienne d’évaluation (2010)...........161
LA VALIDATION PAR LA RECHERCHE DE HURTEAU ET HOULE (2008)...........................................................164
La crédibilité de l’évaluateur...........................................................164Les relations interpersonnelles......................................................165La pratique réflexive......................................................................166
La validation externe et la confrontation des idées........................167Des repères culturels en harmonie.................................................168
LES APPORTS PARTICULIERS DE LA RECHERCHE DE HURTEAU ET HOULE (2008)...........................................................169
La contribution de l’intuition.........................................................170
La confiance en son jugement........................................................171D’une confiance raisonnée à une confiance en soi démesurée.......171
CONCLUSION.........................................................................................172
RÉFÉRENCES BIBLIOGRAPHIQUES......................................................173
Extrait de la publication
L’évaluation de programme axée sur le jugement crédibleXVI
Chapitre 9 | La production d’un jugement crédible :
une synthèse des contributions..........................................................175Sylvain Houle et Marthe Hurteau
LA PREMIÈRE ÉTAPE : DÉMARRER LA DÉMARCHE ÉVALUATIVE........................................177
L’établissement de la faisabilité de l’évaluation...............................177
L’assurance de l’engagement des parties prenantes........................177La compréhension et la description du programme.......................178
LA DEUXIÈME ÉTAPE : PLANIFIER LA DÉMARCHE ÉVALUATIVE..........................................183
La détermination des choix stratégiques........................................183La détermination des choix méthodologiques................................186
LA TROISIÈME ÉTAPE : MENER À BIEN L’ÉVALUATION...................187
LA QUATRIÈME ÉTAPE : GÉNÉRER UN JUGEMENT CRÉDIBLE ET FORMULER DES RECOMMANDATIONS.....................188
LA CINQUIÈME ÉTAPE : DIFFUSER LES RÉSULTATS ET S’ASSURER DES SUITES...................................................................189
CONCLUSION.........................................................................................190
RÉFÉRENCES BIBLIOGRAPHIQUES......................................................191
Conclusion...............................................................................................193Sylvain Houle et Marthe Hurteau
CE QUE NOUS AVONS APPRIS DE CETTE DÉMARCHE......................194
CE QU’IL NOUS RESTE À APPRENDRE.................................................196
RÉFÉRENCES BIBLIOGRAPHIQUES......................................................197
Notices biographiques...........................................................................199
AVIS AU LECTEUR | Chacun des chapitres a fait l’objet d’un arbitrage anonyme par les pairs, sous la supervision de François Guillemette.
Introduction
Plus qu’une introduction,
un énoncé
Marthe Hurteau Sylvain Houle
DEPUIS PLUSIEURS ANNÉES, SCRIVEN (1991) SOUHAITE ALLOUER À l’évaluation le statut de mégadiscipline, étant donné qu’un ensemble de domaines est concerné par l’acte d’évaluer, c’est-à-dire de détecter la qualité des choses (Eiseley, 1962). Stake (2011) illustre ce propos par un cercle, présenté à la figure 1.
Figure 1. Les différentes utilisations de l’évaluation
La loi : évaluation de la légalité
La médecine : évaluation de la santé
L’éducation: évaluation de l’enseignement
et de l’apprentissage
Le journalisme:reportage d’enquête
Les affaires :évaluation de la gestion
et du profit
Les agences de régulation:évaluation de la sécurité
et du respect du code
Les affaires militaires :évaluation des stratégies
et tactiques
Source : Scriven (2011).
L’évaluation de programme axée sur le jugement crédible2
Que l’on évalue ou que l’on établisse la qualité de quelque chose, dans tous les cas, il résulte de cette opération un jugement, une synthèse ou une conclusion évaluative (Scriven, 2006). C’est probablement ce qui a amené Fitzpatrick, Christie et Mark (2009) à établir que la raison d’être de toute démarche évaluative consiste à porter un jugement. Stake (2011) fait un pas supplémentaire en définissant l’éva-luation comme une discipline consciente (conscious disciplining) qui permet d’établir la qualité des objets, tout en mettant en relief leur complexité.
Le lecteur comprendra dès maintenant pourquoi nous conférons au jugement le statut de fondement à toute forme d’évaluation. Traditionnellement, on a considéré que, pour être acceptable aux yeux des parties prenantes (stake holders), sa validité s’avérait une condition essentielle. Cependant, devant un rejet assez massif des résultats de plusieurs évaluations par celles-ci, praticiens et théoriciens en sont arrivés à la conclusion que cette condition s’avérait insuffisante pour rendre le jugement acceptable et gagner la confiance des parties. De plus, ils se sont rendu compte que ce rejet n’était pas non plus lié à la nature du jugement, c’est-à-dire, s’il plaisait ou non. Ce constat nous a amené à considérer le concept de crédibilité tel qu’énoncé par Grinnell (2009). En effet, il semble constituer un passage obligé pour toute conclusion d’une recherche ou d’une évaluation, à savoir la rendre acceptable aux yeux des personnes concernées. C’est une juge interviewée dans le cadre de la recherche de Hurteau et Houle (2008) qui introduit le mieux l’opérationnalisation du concept de crédibilité : « Je me souviens de quelqu’un qui avait été débouté en cour et
qui est sorti en disant qu’il était satisfait parce qu’il avait été écouté. Je me dis que j’ai bien
rempli ma fonction. » Ainsi, même si le présent ouvrage traite plus particulièrement de la pratique évaluative, il n’en demeure pas moins qu’il pourrait convenir à tout professionnel qui est appelé à porter un jugement dans le cadre de l’exercice de sa profession.
Si nous revenons à l’évaluation de programme, il semblerait que l’accep-tabilité du jugement reste problématique, et ce, malgré toutes les percées réalisées dans le domaine. Plusieurs raisons ont été invoquées : 1) la démarche a failli à sa responsabilité d’identifier les besoins des principaux utilisateurs et elle n’a pas été en mesure de s’adapter au contexte ; 2) elle n’a pu cerner les problématiques les plus significatives afin de générer des résultats pertinents ; 3) elle s’est avérée peu acces-sible aux parties prenantes ; 4) elle n’a pas assumé sa responsabilité d’intégrer les parties prenantes dès le début de la démarche ainsi que de les tenir informées tout au long du processus. Malgré tout, le problème demeure entier, et c’est la raison pour laquelle nous lui avons consacré les 20 dernières années de notre temps.
Pourquoi avons-nous intitulé la présente introduction « Plus qu’une intro-duction, un énoncé » ? Parce que nous voulons aller au-delà de la présentation des objectifs de l’ouvrage et des diverses contributions pour exposer la genèse du produit actuel, soit le développement d’une modélisation des processus de production et de crédibilisation du jugement en évaluation de programme. Pour y parvenir, nous avons divisé l’introduction en deux parties. Dans la première partie, nous allons présenter la genèse de notre point de vue, c’est-à-dire d’où nous venons et ce que
Extrait de la publication
Introduction 3
nous avons accompli dans le domaine à ce jour. Cela nous apparaît important afin que le lecteur puisse replacer notre propos dans son contexte. Dans la seconde partie, nous présentons les différentes contributions à l’ouvrage qui, contrairement à un collectif, sont toutes interreliées puisqu’elles complètent le chapitre pivot qui consiste à présenter les processus de production et de crédibilisation du jugement en évaluation de programme.
LA GENÈSE DE NOTRE POINT DE VUE
Avant de développer la genèse, mentionnons qu’au cours des 30 dernières années, la plupart des développements en évaluation de programme ont constitué des avis émanant d’une connaissance théorique qui s’appuie en grande partie sur l’expé-rience et la réflexion des théoriciens, comparativement à la connaissance pratique qui repose sur une collecte d’information et qui s’inscrit dans la tradition scienti-fique (Donaldson et Lipsey, 2008 ; Schwandt, 2007). Ces mêmes auteurs soulignent que cela a constitué le talon d’Achille du domaine et l’urgence d’entreprendre des recherches. Il s’avère que la présente genèse se divise en deux phases, une première phase de réflexion qui a généré une connaissance théorique et une seconde qui s’ins-crit au sein de notre programme de recherche et qui génère depuis plusieurs années une connaissance pratique si l’on considère les diverses présentations et publications scientifiques qui en découlent.
La phase de réflexion
L’élément déclencheur de cette phase de réflexion a eu lieu au début des années 1990 alors que Hurteau est invitée par la Société canadienne d’évaluation (SCÉ) pour animer la session de formation Les objets et critères en évaluation de programmes
dans le cadre de sa conférence annuelle. Dans les mois qui suivent la conférence, elle est invitée à participer au premier Evaluation Methods Sourcebook (1991). L’auteure approfondit alors sa réflexion et débouche sur une conception de la production d’un jugement illustrée dans la figure 2.
Elle introduit alors les concepts de choix stratégiques et de choix métho-dologiques, concepts qui ont été étudiés par la suite dans les écrits. Les choix stra-tégiques incluent l’ensemble des éléments qui doivent être pris en considération dans la planification d’une évaluation : les enjeux, le mandat, la question, les critères retenus, etc. Ces choix constituent en quelque sorte l’âme de la démarche évaluative et il est essentiel qu’ils soient effectués par l’ensemble des groupes d’intérêt (parties prenantes) concernés afin d’assurer le succès de l’entreprise. Les choix méthodo-logiques, quant à eux, deviennent nécessairement évidents, puisqu’ils traduisent de façon opérationnelle les choix effectués antérieurement. Alors que l’évaluateur assume un rôle de facilitateur lors de la phase initiale, il joue un rôle plus actif dans
Extrait de la publication
L’évaluation de programme axée sur le jugement crédible4
Figure 2. La production du jugement en évaluation de programme
PRINCIPES DIRECTEURS
• Partenariat (responsabilisation/engagement)
• Considérations éthiques
• Justice sociale/équitéASPECTS MÉTHODOLOGIQUES
• Modèles méthodologiques
• Sélection des sujets
• Contrôle exercé sur le choix des variables et des sujets
• Méthodes et techniques de collecte et d’analyse de l’information
• Techniques assurant la rigueur de la démarche
ASPECTS STRATÉGIQUES
mandat contextes
valeurs modèles,définitions
objets critères
indicateurs
Source : Hurteau (1991).
la seconde et propose des façons de faire pour réaliser l’évaluation. À ces deux choix, s’ajoutent les principes directeurs que sont le partenariat, les considérations éthiques et la justice sociale. Le partenariat constitue une affirmation de la reconnaissance des compétences des parties prenantes qui sont mises à contribution dans le dérou-lement de la démarche évaluative. L’éthique s’inscrit dans la perspective d’une intro-spection sur ses actions, puisque la pratique professionnelle de l’évaluation n’est pas réglementée par une corporation professionnelle. Finalement, les préoccupations concernant la justice sociale et l’équité amènent l’auteure à se questionner sur la place qu’elles occupent dans une société qui est tiraillée entre, d’une part, le principe moral voulant que l’on aide les plus démunis et, d’autre part, le fait que les ressources collectives diminuent. Il faut noter que si elles constituaient un questionnement à cette époque, elles sont devenues les axes de la pratique professionnelle au fil du temps.
Ainsi, déjà à cette époque, tous les éléments apparaissaient dans le cadre de la réflexion de Hurteau et ils démontrent que l’intérêt de ces enjeux d’importance ne constitue pas une « mode » pour cette dernière, mais bien une préoccupation réelle
Introduction 5
qui s’inscrit aujourd’hui dans le cinquième principe directeur du code d’éthique (E5) élaboré par l’American Evaluation Association ou AEA (2004, p. 4) et rapporté dans les chapitres 1 et 3 du présent ouvrage, à savoir :
Les évaluateurs ont l’obligation de prendre en considération l’intérêt public et le bien public. Si cette obligation est d’autant plus importante lorsque les évaluateurs sont rémunérés au moyen de fonds publics, il n’en demeure pas moins qu’en aucun cas, des menaces au bien public ne devraient jamais être ignorées. Considérant que l’intérêt et le bien publics sont rarement conciliables avec les intérêts de groupes particuliers (incluant ceux des clients ou bailleurs de fonds), les évaluateurs doivent aller au-delà de l’analyse requise pour répondre aux intérêts de certains détenteurs d’enjeux et envisager le bien-être de la société en général.
En 1994, elle est d’ailleurs invitée à prononcer une allocution (presidential
trend) à la conférence annuelle de l’AEA, dont la thématique portait sur l’évalua-tion et la justice sociale (1994). Elle s’intéresse aussi à la question de l’éthique dans le domaine (Hurteau, 1992, 1993a, 1993b ; Hurteau et Trahan, 1993, 1994) et elle joue un rôle actif dans la mise sur pied des premières lignes en éthique pour la SCÉ (Hurteau et al., 1994). Cette contribution est d’ailleurs officiellement reconnue par Gwen Keith (2003), présidente de la société à l’époque.
La phase de la recherche scientifique
À son retour dans le milieu universitaire, Hurteau s’associe à Houle et entreprend d’élaborer avec lui un programme de recherche fondamentale en évaluation de programme, dont plusieurs phases seront subventionnées (2005, 2008).
La première phase : la modélisation du processus propre
à l’évaluation de programme
Cette phase initiale porte sur l’élaboration et la validation d’une modélisation du processus propre à l’évaluation de programme qui s’inspire du processus logique sous-jacent à l’évaluation (the logic of evaluation) mis en place par Scriven (1980) ainsi que des travaux de Fournier (1995) et Stake (2004). En plus des présentations dans des colloques scientifiques (Hurteau, Houle et Duval, 2005a, 2005b), elle a aussi fait l’objet d’une publication scientifique (Hurteau, Lachapelle et Houle, 2006).
La deuxième phase : une première définition du jugement crédible
en évaluation de programme
Les chercheurs précisent la nature du jugement en le qualifiant de crédible, c’est-à-dire qu’il doit être légitime et justifié. Alors que le jugement légitime s’appuie sur une ques-tion d’évaluation, de critères et de seuils de réussite, le jugement justifié, pour sa part, doit aussi documenter la procédure retenue pour analyser l’information et assurer sa production. L’étude démontre que peu d’évaluations génèrent des jugements et que, lorsqu’elles le font, ceux-ci sont rarement légitimés et encore moins justifiés.
L’évaluation de programme axée sur le jugement crédible6
L’étude a fait l’objet de plusieurs présentations (Mongiat et Hurteau, 2006 ; Hurteau et Arens, 2006 ; Hurteau et Mongiat, 2007 ; Hurteau, Houle et Mongiat, 2007) ainsi que d’une publication dans la prestigieuse revue Evaluation : The International Journal
of Theory, Research and Practice (Hurteau, Houle et Mongiat, 2009).
La troisième phase : le jugement « satisfaisant »
La recherche prend alors un tournant significatif. Pour être crédible, un jugement ne peut se contenter de présenter des qualités méthodologiques, il doit aussi être satis-faisant aux yeux des parties prenantes. Ce principe directeur des premières années (Hurteau, 1991) refait donc surface. L’étude de Bossiroy (2009) met en évidence la présence des conditions afin d’assurer un jugement crédible qu’elle qualifie de « satisfaisant », à savoir, une méthodologie rigoureuse, une information de qualité, la représentation de différents points de vue et une cohérence dans le développement de l’argumentation. Toutefois, il semble qu’en dépit de la présence de ces conditions, l’absence de balise pour encadrer la démarche évaluative – notamment en ce qui a trait au passage de l’intégration et l’harmonisation des informations à la produc-tion d’un jugement – semble être un frein significatif. Enfin, quoique nécessaire, le dialogue entre les différentes parties se transforme parfois en dialogue de sourds et l’argumentation qui soutient le jugement relève souvent plus de l’art qu’autre chose. En plus de plusieurs présentations (Hurteau et Bossiroy, 2009a, 2009b ; Hurteau, Houle et Bossiroy, 2009 ; Hurteau, Valois et Bossiroy, 2009 ; Hurteau et Valois, 2011), l’étude a fait l’objet d’une publication scientifique (Hurteau, Valois et Bossiroy, 2011).
La quatrième phase : les processus de production
et de crédibilisation du jugement
Cette phase de la recherche a été subventionnée par le Conseil de recherches en sciences humaines ou CRSH (Hurteau et Houle, 2008). Viennent se joindre alors à l’équipe de base, les chercheurs Ndinga, Schleifer et Guillemette ainsi que la docto-rante Marchand. Nous allons développer davantage cette quatrième phase que les autres parce qu’elle constitue le cœur du présent ouvrage.
L’étude visait à mieux comprendre les processus requis pour générer un jugement crédible en évaluation de programme, en s’attachant plus particulière-ment à comprendre l’argumentaire requis pour soutenir le jugement. Considérant que plusieurs professionnels doivent relever un défi similaire dans le cadre de leur pratique pour formuler un diagnostic médical, prononcer un verdict, rendre un jugement, etc., que cet acte est encadré par une pratique professionnelle bien définie, les chercheurs ont décidé de s’appuyer sur les témoignages de tels professionnels afin de mieux comprendre le processus sous-jacent à la production d’un jugement et établir les éventuelles applications à la pratique évaluative. Pour y parvenir, il a été décidé de procéder à la réalisation d’entrevues en profondeur. Un échantillon intentionnel, à variation maximale, a été élaboré à cette fin. Il regroupait 19 profes-sionnels issus de divers domaines d’intervention. Plus spécifiquement, furent
Introduction 7
interviewés trois gestionnaires, trois formateurs, trois intervenants psychosociaux, trois intervenants en situation urgente (policiers, pompier), deux enquêteurs, un médecin, une infirmière, un avocat et deux juges. Les entrevues duraient de 90 à 120 minutes et visaient principalement à relater et à comparer deux situations : 1) une expérience dans laquelle les participants jugeaient avoir fait preuve d’un « bon » jugement ; et 2) une expérience où les participants jugeaient avoir exercé un « moins bon » jugement. Chaque entrevue a été enregistrée et retranscrite, et chacun des chercheurs a analysé le verbatim à l’aide du logiciel d’analyse de données qualitatives NVivo. Par la suite, ils ont représenté leurs diverses analyses à l’aide du logiciel Inspiration 8, créateur de cartes et de schémas conceptuels. Les représenta-tions ont suscité de nombreuses discussions, en différentes phases puisque chaque chercheur reconsidérait individuellement son interprétation à la lumière de celle des autres et qu’il la présentait à nouveau à ses collègues dans un second temps. Ces diverses étapes ont permis l’émergence d’une modélisation des processus de production et de crédibilisation du jugement. Par la suite, elle a été soumise à une douzaine de théoriciens et de praticiens chevronnés en évaluation de programme afin d’assurer la transposition des résultats dans ce domaine. Cinq Américains ont répondu à l’invitation et leurs précieuses remarques se sont avérées très pertinentes. Ainsi, si les résultats bruts de la recherche ont une connotation québécoise, cette dernière démarche n’a pas seulement permis de vérifier l’application des résultats au domaine de l’évaluation, mais aussi, dans une certaine mesure, elle a pu obtenir une connotation significative pour nos collègues américains. Les résultats de cette recherche seront développés dans le cadre du chapitre 4 du présent ouvrage.
LES CONTRIBUTIONS DU LIVRE
La raison d’être du présent ouvrage est le chapitre 4, soit la présentation de la modé-lisation des processus de production et de crédibilisation du jugement, les autres chapitres contribuant à développer les différentes composantes. Comme nous l’avons mentionné précédemment, nous avons divisé l’ouvrage en deux parties. Une première qui présente les fondements et dans laquelle on retrouve les contribu-tions de Jody Fitzpatrick qui effectue un survol de l’évaluation de programme, de Michael Schleifer et Marthe Hurteau qui nous présentent les concepts entourant le jugement crédible en évaluation, ainsi que de Jennifer C. Greene qui introduit le propos en nous expliquant pourquoi et comment le jugement crédible va au-delà des données probantes. La seconde partie du livre présente la modélisation (Marthe Hurteau, Sylvain Houle, Marie-Pier Marchand, Pascal Ndinga, François Guillemette et Michael Schleifer) ainsi que ses différentes composantes, à savoir : le contexte et les contingences (Sheila A. Arens) ; la sélection des parties prenantes (Marthe Hurteau, Sylvain Houle et Marie-Pier Marchand) ; l’établissement des seuils de réus-site (J. Bradley Cousins et Lyn M. Shulha) et les compétences requises par l’évalua-teur (Marie-Pier Marchand). Finalement, Sylvain Houle et Marthe Hurteau nous proposent une démarche évaluative en guise de synthèse et closent le tout par une conclusion.
Extrait de la publication
L’évaluation de programme axée sur le jugement crédible8
Les fondements
Nous ne pouvions envisager de produire un ouvrage qui porte sur l’évaluation de programme sans introduire quelques considérations sur la façon de la traiter. Il n’est pas aisé de présenter le spectre de la pratique évaluative (chapitre 1), tout en faisant ressortir les aspects essentiels d’une pratique largement documentée. Nous avons confié cette délicate responsabilité à Jody Fitzpatrick qui a su relever le défi. En effet, l’auteure nous présente une définition de l’évaluation ainsi que de son objet en distinguant les notions de programme, de projet, de politique et de produit. Elle continue en nous détaillant les différentes visées de la démarche ainsi que les types d’évaluation, et ce, en adoptant une perspective historique, les évaluations axées sur les visées et sur les composantes du programme. Elle complète par une présentation des différents modèles ou théories et elle conclut par les six étapes requises pour réaliser une évaluation.
L’ouvrage traitant, à nos yeux, du fondement de la démarche évaluative, sa présentation devenait un passage obligé, au même titre que le chapitre précédent. Michael Schleifer et Marthe Hurteau (chapitre 2) mettent leur expertise en commun pour nous présenter ce que constitue un jugement (produit et compétence) et le distinguer du raisonnement et de la prise de décision, le raisonnement étant requis pour porter un jugement et ce dernier soutenant la prise de décision. Ils poursuivent en nous présentant le concept de crédibilité et de quelle façon celui-ci se distingue de l’argumentation et de la persuasion / conviction. Finalement, ils complètent leurs propos en nous exposant comment doit être envisagé le jugement crédible dans le contexte de l’évaluation de programme et plus particulièrement, la définition du jugement, du jugement crédible et la façon d’y parvenir.
Nous complétons cette première partie par un exposé tout aussi intéressant qu’indispensable de Jennifer C. Greene (chapitre 3). En effet, celle-ci nous démontre que si les données crédibles sont essentielles, elles ne sont pas suffisantes pour générer un jugement crédible. Elle s’attache à mieux comprendre la nature que revêtent les données probantes crédibles dans le contexte de l’évaluation de programme et plus particulièrement, de l’évaluation démocratique. En effet, contrairement à ce qui a pu être véhiculé jusqu’à ce jour, le recours aux méthodes expérimentales ne les garantit pas automatiquement. On y aspire en ayant recours à des façons de recueillir et d’interpréter les données qui s’avèrent inclusives, relationnelles et dialogiques, qui s’opérationnalisent sur le terrain, au sein de contextes particuliers et qui incluent les parties prenantes. C’est ce qui nous amène à affirmer qu’on ne peut qu’aspirer à produire des données probantes crédibles dans le contexte d’une évaluation démo-cratique. Afin d’appuyer cette affirmation, elle traite de l’évaluation démocratique au service du bien public, de la logique sous-jacente pour aspirer à produire des données probantes crédibles et complète par une étude de cas qui illustre ce propos.
Introduction 9
La crédibilisation du jugement
La seconde partie du livre commence par la présentation des processus de produc-tion et de crédibilisation du jugement en évaluation dans un chapitre signé Marthe Hurteau, Sylvain Houle, Marie-Pier Marchand, Pascal Ndinga, François Guillemette et Michael Schleifer (chapitre 4). Ces auteurs font état des résultats d’une recherche expliquée dans le cadre de la première partie de la présente introduction (quatrième phase de la recherche scientifique). Ils présentent ces résultats sous la forme de six principes : 1) la synchronicité des processus de production et de crédibilisa-tion du jugement ; 2) la production de données probantes valides pour appuyer ces processus ; 3) la flexibilité et l’adaptabilité de l’évaluateur ; 4) l’argumentation, qui est essentielle et non linéaire ; 5) l’évaluation qui constitue une expérience d’apprentis-sage qui inclut les parties prenantes ; et 6) les compétences de l’évaluateur qui vont bien au-delà de celles identifiées dans le cadre des divers référentiels élaborés au cours des 10 dernières années.
C’est dans cette perspective que le chapitre de Sheila A. Arens (chapitre 5) porte sur le contexte et les contingences. Après les avoir définis, l’auteure présente la complexité de leur prise en compte au sein d’une démarche évaluative, et ce, dans les différentes phases. Elle ne manque cependant pas l’occasion de nous présenter par la suite leur contribution significative. Tout comme Jennifer C. Greene, Arens se montre généreuse en illustrant son propos au moyen de sa riche expérience.
La modélisation présentée par Hurteau, Houle, Marchand, Ndinga, Guillemette et Schleifer met en évidence la contribution essentielle des parties prenantes. C’est ce qui amène Marthe Hurteau, Sylvain Houle et Marie-Pier Marchand (chapitre 6) à s’intéresser au problème de leur sélection. Après avoir identifié les parties prenantes, les auteurs nous présentent les différents critères qui peuvent être retenus pour les sélectionner. Ils finissent par nous présenter une cartographie facilitant par le fait même cette sélection.
Le texte de J. Bradley Cousins et Lyn M. Shulha (chapitre 7) s’inscrit dans la suite des choses puisqu’il traite de l’établissement des seuils de réussite au sein de l’évaluation collaborative. Après avoir pris connaissance de cette contribution dans le cadre de la publication dans Smith et Branton (2008), Hurteau entreprend les formalités requises auprès de la maison d’édition et obtient le droit de traduction de l’article. Dans un premier temps, les auteurs établissent leur conception de l’évalua-tion collaborative pour, par la suite, traiter de l’établissement des seuils de réussite et de la valeur selon une perspective normative et descriptive. Ils abordent par la suite la question des choix méthodologiques et de la sensibilité culturelle pour conclure avec une illustration bien détaillée.
Marie-Pier Marchand (chapitre 8) sort des sentiers battus pour nous exposer des compétences ignorées jusqu’ici par les référentiels, mais ô combien essentielles. En effet, la recherche de Hurteau et Houle (2008) met en évidence l’importance de compétences personnelles (des qualités, des talents, pourrions-nous dire) de tout professionnel qui intervient avec des personnes et qui doit émettre un jugement.
Extrait de la publication
L’évaluation de programme axée sur le jugement crédible10
Cela est aussi vrai chez l’évaluateur et, quoique essentielles, il faut avouer que les théoriciens ne se sont pas attardés à ces compétences parce qu’elles sont difficilement cernables et mesurables. L’équipe des chercheurs a confié à Marchand la difficile tâche de nous les présenter.
Sylvain Houle et Marthe Hurteau (chapitre 9) effectuent une synthèse des différentes contributions et nous proposent une démarche évaluative. Si celle-ci s’avère probablement insuffisante pour un novice, elle offre une réflexion intéres-sante pour les praticiens ayant plus d’expérience. Ces auteurs concluent en présen-tant au lecteur leur conception de l’évaluation.
Finalement, il est important de mentionner que le titre du présent ouvrage ne réfère qu’aux programmes alors que son contenu s’avère tout aussi pertinent pour les politiques, les produits, les services, les processus ou le fonctionnement d’organisations entières.
RÉFÉRENCES BIBLIOGRAPHIQUES
American Evaluation Association – AEA (2004). Guiding Principles for Evaluators, <http ://www.eval.org/Publications/GuidingPrinciples.asp>, consulté le 6 juin 2011.
Arens, S.A. (2005). Understanding Practice through Exemplary Evaluation Cases, Conférence du Joint Committee on Standards for Educational Evaluation, Toronto, American Evaluation Association.
Bossiroy, A. (2009). Mieux comprendre la pratique évaluative : les éléments qui contribuent à la produc-
tion d’un jugement fondé et argumenté, Mémoire de maîtrise en éducation, Montréal, Université du Québec à Montréal.
Donaldson, S.I. et M.W. Lipsey (2008). « Roles for theory in contemporary evaluation practice : Developing practical knowledge », dans I.F. Shaw, J.C. Greene et M.M. Mark (dir.), Handbook of Evaluation, Thousand Oaks, Sage Publications, p. 56-75.
Eiseley, L. (1962). The Mind as Nature, New York, Harper and Row.
Fitzpatrick, J., C.A. Christie et M.M. Mark (2009). Evaluation in Action : Interviews with Expert
Evaluators, Los Angeles, Sage Publications.
Fournier, D.M. (1995). « Establishing evaluative conclusions : A distinction between general and working logic », New Direction for Evaluation, vol. 68, p. 15-32.
Grinnell, F. (2009). Everyday Practice of Science. Where Intuition and Passion Meet Objectivity and
Logic, Oxford, Oxford University Press.
Hurteau, M. (1990). Les objets et critères en évaluation de programmes, Session de formation donnée dans le cadre de la conférence annuelle de la Société canadienne d’évaluation, Toronto.
Hurteau, M. (1991). « Strategic choices in program evaluation », dans J.A. Love (dir.), Evaluation
Methods Sourcebook, Ottawa, Publication de la Société canadienne d’évaluation, p. 106-125.
Hurteau, M. (1992). L’éthique en évaluation de programmes : une question de compétence, de respect
et de responsabilité, Exposé effectué dans le cadre du panel « L’éthique, au-delà de la compétence professionnelle », Ottawa, Conférence annuelle de la Société canadienne d’évaluation.
Hurteau, M. (dir.) (1993a). L’éthique en évaluation de programmes, Monographie en mesure et évaluation, Québec, Université Laval.
Introduction 11
Hurteau, M. (1993b). « L’éthique en évaluation de programmes : une question de compétence, de respect et de responsabilité », dans M. Hurteau (dir.), L’éthique en évaluation de
programmes, Monographie en mesure et évaluation, Québec, Université Laval, p. 49-56.
Hurteau, M. (2005). Comprendre les pratiques en évaluation de programme afin de les améliorer : un
retour aux fondements théoriques, Recherche subventionnée par le PARFAC (UQAM).
Hurteau, M. (2012). « Aspirer à un jugement crédible dans le cadre de l’évaluation de programme », dans M. Vantourout, R. Goasdoué et M. Romainville (dir.), Évaluation et enseignement
supérieur, Neuville la Louve, De Boeck.
Hurteau, M. et S. Arens (2006). The Impact of Credible Claims on the Practice of Evaluation, Conférence à l’American Evaluation Association, Portland.
Hurteau, M. et A. Bossiroy (2009a). Le jugement généré par l’évaluation de programme : une valeur
sûre ?, Colloque annuel de la SCÉ, Ottawa, mai.
Hurteau, M. et A. Bossiroy (2009b). « Mieux comprendre les enjeux d’un jugement ‘‘crédible’’ », Colloque Des mécanismes pour assurer la validité de l’interprétation de la mesure en éducation, 77e Congrès de l’ACFAS, Ottawa, mai.
Hurteau, M. et S. Houle (2008). Mieux comprendre la méthodologie requise à la production d’un juge-
ment crédible en évaluation de programme, Recherche subventionnée par le Conseil de la recherche en sciences humaines du Canada (CRSH).
Hurteau, M., S. Houle et A. Bossiroy (2009). Credible Judgment in Program Evaluation, Conférence annuelle de l’American Evaluation Association, Orlando, novembre.
Hurteau, M., S. Houle et J. Duval (2005a). Identifying a Core Body of Knowledge for Evaluators : A
Study of Program Evaluation Field Practices, Joint Committee on Standards for Educational Evaluation, Toronto, American Evaluation Association.
Hurteau, M., S. Houle et J. Duval (2005b). L’étude des pratiques évaluatives : un retour aux fonde-
ments de la discipline, Conférence du Joint Committee on Standards for Educational Evaluation, Toronto, American Evaluation Association.
Hurteau, M., S. Houle et G. Lachapelle (2006). Comprendre les pratiques en évaluation de programme
afin de les améliorer : un retour aux fondements théoriques, Montréal, Association franco-phone pour le savoir (ACFAS).
Hurteau, M., S. Houle et S. Mongiat (2007). The Relation between the Application of the Process Specific
to Program Evaluation and the Quality of Judgments and Recommendations, Conférence annuelle de l’American Evaluation Association, Baltimore, novembre.
Hurteau, M., S. Houle et S. Mongiat (2009). « How legitimate and justified are judgements in program evaluation ? », Evaluation, the International Journal of Theory, Research and
Practice, vol. 15, no 3, p. 309-317.
Hurteau, M., G. Lachapelle et S. Houle (2006). « Comprendre les pratiques évaluatives afin de les améliorer : la modélisation du processus spécifique à l’évaluation de programme », Mesure et évaluation en éducation, vol. 29, no 3, p. 27-44.
Hurteau, M. et S. Mongiat (2007). Au-delà des biais méthodologiques en évaluation de programme, Congrès annuel de l’ADMEE Canada, Trois-Rivières.
Hurteau, M. et M. Trahan (1993). L’éthique et les pratiques évaluatives, Coanimateurs de l’atelier donné dans le cadre de la conférence annuelle de la Société canadienne d’évaluation, Banff.
Hurteau, M. et M. Trahan (1994). Reflections and Recommendations on the Elaboration of a Code of
Ethics in the Search for a Professional Identity in Evaluation, Commandité par la Société canadienne d’évaluation.
L’évaluation de programme axée sur le jugement crédible12
Hurteau, M. et P. Valois (2011). Le jugement crédible en évaluation de programme, Colloque annuel de l’ADMEE Europe, Paris, janvier.
Hurteau, M., P. Valois et A. Bossiroy (2009). Le jugement « crédible » en évaluation de programme, Colloque annuel de l’ADMEE Canada, Québec, novembre.
Hurteau, M., P. Valois et A. Bossiroy (2011). « Le jugement crédible dans le contexte de l’éva-luation de programme ? », Revue canadienne en évaluation de programme, vol. 25, no 2, p. 83-101.
Hurteau, M., D. Williams et M.-P. Marchand (2011). Credible Judgment in Program Evaluation :
Evaluators Encounter Stakeholders, Conférence annuelle de l’American Evaluation Association, Anaheim, novembre.
Hurteau, M. et al. (1994). L’éthique en évaluation : l’état de la question en 1994, Panel donné dans le cadre de la conférence annuelle de la Société canadienne d’évaluation, Québec.
Hurteau, M. et al. (2010). Ensuring Evaluation Quality by Generating Credible Judgment, Conférence annuelle de l’American Evaluation Association, San Antonio, novembre.
Keith, G. (2003). Experience in Developing Standards for Evaluation and Ethical Issues, 5e Conférence annuelle européenne de l’Evaluation of Structural Funds, Atelier 6 sur le développement de standards pour l’évaluation et les problématiques éthiques, Budapest.
Marchand, M.-P. et M. Hurteau (2011). La rencontre entre l’évaluateur et les détenteurs d’enjeux : une
condition essentielle au jugement crédible, Colloque annuel de l’ADMEE Canada, Québec, novembre.
Mongiat, S. et M. Hurteau (2006). L’argumentation du jugement en évaluation de programme, Congrès annuel de l’ADMEE Canada, Trois-Rivières.
Schwandt, T.A. (2007). The Sage Dictionary of Qualitative Inquiry, 3e éd., Thousand Oaks, Sage Publications.
Scriven, M. (1980). The Logic of Evaluation, Inverness, Edgepress.
Scriven, M. (1991). Evaluation Thesaurus, 4e éd., Thousand Oaks, Sage Publications.
Scriven, M. (2006). Value-Driven Evaluation, Conférence de l’American Evaluation Association, Portland.
Silvern, L.C. (1972). System Engineering Applied to Training, Houston, Gulf Publishing Company.
Smith, N.L. et P.R. Brandon (dir.) (2008). Fundamental Issues in Evaluation, New York, Guilford Press.
Stake, R.E. (2004). Standards-Based and Responsive Evaluation, Thousand Oaks, Sage Publications.
Stake, R.E. (2011). Evaluation’s Generations : Veneration, Vituperation or Simply Divestiture, Conférence d’ouverture dans le cadre de la conférence annuelle de la Société canadienne d’évalua-tion, Edmonton, mai.
Extrait de la publication
Épine 0,4554 po / 11,6 mm / 218 p. / 120 M
L’évaLuation
de programme
axée sur le jugement
crédibLe
Préface de Steve Jacob
Sous la direction de Marthe Hurteau,
Sylvain Houle et François Guillemette
Sous
la d
irec
tion
de M
ar
th
e H
ur
te
au
,
Sy
lv
ain
H
ou
le
et F
ra
nç
ois G
uille
me
tte
L’é
va
Lu
at
io
n d
e p
ro
gr
am
me
ax
ée su
r le j
ug
em
en
t c
ré
dib
Le
Avec la collaboration de Sheila A. Arens, J. Bradley Cousins, Jody Fitzpatrick, Jennifer C. Greene, Marie-Pier Marchand, Pascal Ndinga, Michael Schleifer et Lyn M. Shulha.
GéNérer uN JuGeMeNt, et PLuS PArtiCuLièreMeNt uN JuGeMeNt qui suscite la confiance des personnes concernées, s’avère un défi de taille pour tout professionnel. L’évaluation de programme est d’ailleurs confrontée à de nombreuses remises en question concernant l’incapacité des évaluateurs à générer un jugement crédible. C’est ce qui a amené Marthe Hurteau et Sylvain Houle à consacrer leurs travaux de recherche à cette problématique.
en guise d’introduction, les auteurs présentent certaines notions fonda-mentales concernant l’évaluation, le jugement crédible ainsi que la contribution des données probantes crédibles au sein du processus de crédibilisation. Par la suite, ils élaborent le processus de production et de crédibilisation du jugement ainsi que l’influence exercée par les contextes et les contingences liés au programme à l’étude ; à la sélection des parties prenantes ; au choix des critères et des seuils de perfor-mance ainsi qu’aux capacités personnelles de l’évaluateur.
L’ouvrage propose, à ceux qui se préoccupent de porter un jugement crédible et digne de confiance aux yeux des gens à qui il est destiné, des balises pour encadrer leur démarche d’investigation. il constitue une source de réflexion inté-ressante pour tout professionnel appelé à porter un jugement (diagnostic, conclusion) dans le cadre de ses fonctions.
Marthe Hurteau est professeure au Département d’éducation et pédagogie à la Faculté des sciences de l’éducation de l’université du Québec à Montréal et elle détient le titre d’évaluatrice accréditée par la Société canadienne d’évaluation.
François Guillemette
est professeur au Département des sciences de l’éducation à l’université du Québec à trois-rivières.
Sylvain Houle
est professeur au Département des sciences comptables à l’école des sciences de la gestion de l’université du Québec à Montréal, qui héberge le DeSS en évaluation de programmes, projets et services.
puq.ca
ISBN 978-2-7605-3548-0
,!7IC7G0-fdfeia!
3548D-Couvert.indd All Pages 12-10-15 14:30
Extrait de la publication