1
Outil informatique pour évaluer la contribution individuelle dans les équipes de travail – Phase 1
Patrik Doucet
Professeur
Département de génie mécanique
2
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
Plan de la présentation
Problématique à l'origine du projet La solution proposée : la Matrice PME Objectifs du projet soumis au FAPU Résultats à ce jour :
Groupes de discussion Recueil de considérations pédagogiques Développement de l'outil informatique
Les suites du projet
3
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
Évaluationcollective
(65%)
Problématique à l'origine du projet
Contexte: évaluation des projets de conception en
génie mécanique : 35% pour la tenue d'un registre individuel; 50% pour le rapport de conception; 10% pour la revue de conception; 5% pour les rapports hebdomadaires.
Problème : comment évaluer la contribution individuelle dans les travaux collectifs?
Problème non adressé : l'évaluation de la «compétence travail en équipe».
4
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
Problématique à l'origine du projet
Jusqu'en 1997... autoévaluation, valant 10% de la session; = 9.8/10.
Autoévaluation (50%) et évaluation par les pairs (50%), valant aussi 10% de la session... ≈ 9/10; les «bons» étudiants se pénalisaient davantage...
Noteétudiant 8/10
Notepairs = 9.5/10
Notefinale = 8.75/10
Noteétudiant 10/10
Notepairs = 6/10
Notefinale = 8/10
5
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
Problématique à l'origine du projet
Facteur de pondération ()... solution amenée pour notamment accroître la
discrimination entre les résultats; noteétudiant = noteéquipe * (avec 0.90 < < 1.10); basé sur l'autoévaluation et l'évaluation par les pairs; les problèmes associés à ce mécanisme :
équipe > 1,00 (parfois, équipe = 1,05); les «bons» étudiants se pénalisaient davantage.
6
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
Problématique à l'origine du projet
Triple facteur de pondération ()... = 1 * 2 * 3 intérêts :
permet aux étudiants d'ajuster leur évaluation; incite ceux qui travaillent peu à contribuer
davantage (0.73 < final étudiant < 1.33); encourage la rétroaction et la gestion de l'équipe;
problèmes : moyennes toujours élevées; compilation très longue pour l'enseignant.
7
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
La Matrice PME
Cette matrice : permet de calculer rapidement un facteur de
pondération (); remplace le mécanisme d'autoévaluation couplée à
l'évaluation par les pairs; rend plus difficile la récompense entre amis; donne une lecture rapide de la «santé» de l'équipe.
Principe de base : distribution d'un nombre de points en fonction des contributions perçues...
8
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
La Matrice PME
Pour chaque critère, 1 point / membre.
Pour chacun des critères, l'étudiant doit évaluer si ses coéquipiers ont contribué : plus que lui (p); moins que lui (m); également à lui (e).
Proposer, entreprendre, organiser des actions pour l’avancement du projet (mot-clé: initiative).
Étu
dian
t 1
Étu
dian
t 2
Étu
dian
t 3
Étu
dian
t 4
Étu
dian
t 5
Étu
dian
t 6
6 points à distribuer...
Détail du calcul
9
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
Proposer, entreprendre, organiser des actions pour l’avancement du projet (mot-clé: initiative).
Poser une action ou suggérer une idée qui produit un résultat nouveau et utile (mot-clé: créativité).
Fournir et renouveler les efforts nécessaires pour atteindre les objectifs (mot-clé: persévérance).
Produire les meilleurs résultats possibles avec un minimum de ressources (mot-clé: efficacité).
Arriver à temps pour les réunions et les rendez-vous planifiés (mot-clé: ponctualité).
p p p p p
Étu
dian
t 1
Étu
dian
t 2
Étu
dian
t 3
Étu
dian
t 4
Étu
dian
t 5
Étu
dian
t 6
m m m m m
m p e m e
e e m p e
e m m e e1.02 1.03 0.94 0.96 1.04 1.02
Il avoue que tous ont contribué plus que lui. Il mérite...
Il avoue que tous ont contribué moins que lui. Il mérite...
Certains ont contribué plus, d'autres moins, d'autres également. Il mérite ...
m
p
e
10
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
La Matrice PME
Une version Excel de la matrice est utilisée depuis septembre 2002 par quelques professeurs.
Peu de résistance rencontrée chez les étudiants et, surtout, peu de plainte ou commentaire négatif : ses résultats sont acceptés par les étudiants.
Permet une discrimination appréciable. Toutefois :
la version informatique actuelle est peu exportable; processus de compilation fastidieux, lourd et propice
à des erreurs.
11
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
Objectifs du projet
Le projet proposé consiste à : développer un outil informatique rendant plus
conviviale, plus accessible, plus sûre et plus efficace, l’utilisation de la Matrice PME;
préparer son mode d'emploi; réaliser un guide pour l’intégration harmonieuse de
cet outil dans des mécanismes d’évaluation. Une demande particulière :
réaliser ce projet en gardant à l'esprit une institutionnalisation possible de l'outil.
12
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
Objectifs du projet
Les objectifs spécifiques :
A) Conduire une analyse de besoins auprès de professeurs de l'Université de Sherbrooke.
B) Consigner ces besoins dans un cahier de charges.
C) Préparer un mode d'emploi de l'outil.
D) Préparer un recueil de considérations pédagogiques pour l'intégration harmonieuse de l'outil dans l'enseignement.
E) Développer l'outil informatique.
Phase 1
Phase 2
13
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
Plan de la présentation
Problématique à l'origine du projet La Matrice PME Objectifs du projet Résultats à ce jour :
Groupes de discussion Recueil de considérations pédagogiques Développement de l'outil informatique
Les suites du projet
14
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
Groupes de discussion
Deux groupes de discussion ont été réalisés : 14 décembre 2005, 8 professeurs :
Faculté de génie; 19 janvier 2006, 7 professeurs :
Faculté d'administration Faculté d'éducation Faculté d'éducation physique et sportive Faculté des lettres et sciences humaines Faculté des sciences
Cahier de charges : Samuel Richard (étudiant génie).
15
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
Groupes de discussion
Scénario rêvé pour l'enseignant : informer une base de données (noms et équipes); choisir des critères à même une banque ou
énoncer ses propres critères d'évaluation; informer ses étudiants qu'ils peuvent accéder à
l'outil d'évaluation; extraire de la base de données les résultats des
évaluations, tous compilés!
16
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
Groupes de discussion
Scénario rêvé pour l'étudiant : se rendre à l'adresse URL spécifiée; saisir au clavier son CIP et son mot de passe; compléter la grille d'évaluation spécialement
construite pour son cours et son équipe; confirmer son évaluation en cliquant sur
«transmettre l'évaluation»; recevoir un message de confirmation de cette
transmission.
17
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
Recueil de considérations pédagogiques
Travail réalisé avec Marie Line Gagnon (étudiante à la Faculté d'éducation).
Table des matières : problématique ayant mené à la production de l'outil; présentation de la Matrice PME :
ce que l'outil évalue; explication du calcul;
considérations avant de décider d'utiliser l'outil : sa place, sa pertinence, les ressources requises;
18
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
Recueil de considérations pédagogiques
Table des matières (suite) : difficultés potentielles et pistes de solutions :
rébellion, zizanie, effet coercitif et effet couperet; aide à l'interprétation des résultats :
profil type de l'équipe en santé, du surfeur, d'un clan, des pactes entre étudiants;
annexes : banque de critères d'évaluation. notions de base sur le travail en équipe; modèle de rétroaction (CNV); contenu type à introduire au syllabus.
19
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
Développement de l'outil informatique
Développement en cours, avec Bernard Beaulieu (analyste informatique à la Faculté de génie).
Actuellement : base de données construite et fonctionnelle; interfaçage avec le serveur LDAP fonctionnel; les 3 pages pour les étudiants sont fonctionnelles; 2 des 3 pages pour les professeurs quasiment
fonctionnelles; 1re mise à l'essai : 22 février 2007; 2e mise à l'essai : 12 avril 2007.
https://www2.gel.usherbrooke.ca/xpeer/etudiant/tableau_de_bord.php
20
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
Les suites du projet
Développement de l'outil informatique : version complète disponible d'ici la fin avril; essais et validations au cours de l'été; diffusion auprès de quelques utilisateurs à l'automne; diffusion à la communauté universitaire au début
2008... en se croisant les doigts! Bref, prochain rendez-vous durant
l'édition 2008 du Mois de la pédagogie!
Détail du calcul
Modèles de pages
21
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
Détail du calcul
Calcul des fractions pour distribuer les points : Calcul du dénominateur commun :
p = 2; e = 1; m = 0.
Proposer, entreprendre, organiser des actions pour l’avancement du projet (mot-clé: initiative).
p m e m e
Étu
dian
t 1
Étu
dian
t 2
Étu
dian
t 3
Étu
dian
t 4
Étu
dian
t 5
Étu
dian
t 6
Total de 5...1 2 0 1 0 1
1/5 2/5 0/5 1/5 0/5 1/5Fractions
22
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
Détail du calcul
Calcul du score pour un critère donné :
Proposer, entreprendre, organiser des actions pour l’avancement du projet (mot-clé: initiative).
p m e m e
Étu
dian
t 1
Étu
dian
t 2
Étu
dian
t 3
Étu
dian
t 4
Étu
dian
t 5
Étu
dian
t 6
1/5 2/5 0/5 1/5 0/5 1/56 points x
1,2 2,4 0,0 1,2 0,0 1,2
1 2 0 1 0 1
23
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
Proposer, entreprendre, organiser des actions pour l’avancement du projet (mot-clé: initiative).
Poser une action ou suggérer une idée qui produit un résultat nouveau et utile (mot-clé: créativité).
Fournir et renouveler les efforts nécessaires pour atteindre les objectifs (mot-clé: persévérance).
Produire les meilleurs résultats possibles avec un minimum de ressources (mot-clé: efficacité).
p m e p e
Étu
dian
t 1
Étu
dian
t 2
Étu
dian
t 3
Étu
dian
t 4
Étu
dian
t 5
Étu
dian
t 6
e e m p e
e m m e e
e m e p e1,02 1,03 0,94 0,96 1,04 1,02
Détail du calcul
Calcul des prél. : calcul de la moyenne
des scores; distribution linéaire des
scores : Scoremoy. = 0.00
= min = 0.90
Scoremoy. = 1.00
= 1.00
24
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
Détail du calcul
Calcul des globaux :
1.00 0.98 1.00 1.02 1.001.00Étudiant 3
1.00 0.92 0.99 1.05 1.011.03Étudiant 4
1.01 0.91 0.98 1.07 1.011.03Étudiant 61.01 0.93 0.99 1.03 1.021.01Étudiant 5
1.01 0.91 0.99 1.05 1.011.01Étudiant 2É
tudi
ant 2
Étu
dian
t 3
Étu
dian
t 4
Étu
dian
t 5
Étu
dian
t 6
1.03 0.94 0.96 1.04 1.02
Étu
dian
t 1
1.02Étudiant 1
1,01 0,93 0.99 1,04 1.011,02globaux
8
20
25
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
26
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
27
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
28
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
29
Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007
20