aller plus loin avec les qcm grâce aux degrés de certitude
TRANSCRIPT
Aller plus loin avec les QCM grâce aux
degrés de certitude
S Abry — B Bailly — JL Castaigne — E Sylvestredimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Abraham Maslow
2
1943
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Objectifs de l’atelierÀ la fin de cet atelier, vous serez capable
de construire un argumentaire pour l'utilisation des QCM avec Degrés de Certitude
de différencier différentes méthodes d'utilisation des QCM avec Degrés de Certitude
de choisir la méthode la plus adaptée aux objectifs que vous vous fixez
3
À la fin de cet atelier, vous serez capable
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Introduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion
Plan
4dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
PlanIntroduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion5
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Question à Choix MultipleL’unité de mesure de la force d’un piment est le
1. scoville.
2.thermoptim.
3.cherit.
4.hauy.
6
Amorce
Propositions
Réponse correcte
Distracteurs
L’unité de mesure de la force d’un piment est le scoville.L’unité de mesure de la force d’un piment est le thermoptim.
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
2 étudiants ont 16 / 20Sont-ils égaux ?
À ce degré de finesse de mesure oui, mais…
si nous ajoutons la notion de certitude des réponses choisies, nous augmentons la finesse et dès lors, nous pouvons imaginer…
7
Castaigne, 2006
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
2 étudiants ont 16 / 20étudiant A
4 erreurs mais chaque erreur avec une certitude >60%
16 réponses correctes mais chaque fois avec une certitude <40%
étudiant B
4 erreurs mais chaque erreur avec une certitude <40%
16 réponses correctes mais chaque fois avec une certitude >60%
8
Castaigne, 2006
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Ce qu’il ne faut pas faireNe jamais utiliser des expressions verbales pour exprimer sa certitude comme sûr, très sûr, sûr et certain, peu sûr, pas sûr du tout, moyennement sûr...
9dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
2 stagiairesSur pour 10 questionsPas sur pour 6 questions
0
2
4
6
0 % 20 % 40 % 60 % 80 % 100 %
SurPas sur
10Castaigne, 2005dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Shuford, Albert & MassengillNe pas utiliser d’expressions verbales (pas sûr, peu sûr, moyennement sûr, très sûr, sûr et certain,...)
Utiliser des expressions numériques (probabilités subjectives) comme
certitude de 0%, 20%, 40%, 60%, 80% ou à 100%
certitude entre 0 et 25%, 25-50, 50-70, 70-85, 85-95 et entre 95 et 100%
11
Admissible Probability Measurement Procedures Emir H. Shuford, Arthur Albert and H. Edward Massengill
1966, PSYCHOMETRIKA, Volume 31, Number 2, 125-145
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
PlanIntroduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion12
Auguste Rodin, 1880Le Penseur, Bronze, Paris : Musée Rodin
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Lorsque l’on cote les réponses de l’étudiant, il reçoit plus de points pour une réponse correcte donnée avec une certitude plus élevée qu’une réponse correcte donnée avec une certitude plus basse.
Barème lié à chaque question
13
Certitude 0-25% 25-50% 50-70% 70-85% 85-95% 95-100%
RC +13 +16 +17 +18 +19 +20RI +4 +3 +2 +0 -6 -20
Leclercq, 1975
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Barème par test
14
Sur base d’un tarif pour les réponses correctes, les réponses incorrectes et les omissions, on calcule le score d’exactitude de l’étudiant.
Score d’exactitude
RI:-0,25RC:+1
Omis:-0,50dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Barème par test
15
Sur base d’un tarif pour les réponses correctes, les réponses incorrectes et les omissions, on calcule le score d’exactitude de l’étudiant. Ensuite, sur base de calcul d’indices à partir des DC portant sur l’ensemble des questions, on ajoute des points (pas de perte).
indicesScore
d’exactitudeScore de réalisme+
Leclercq, 2003
RI:-0,25RC:+1
Omis:-0,50dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Pas de barème
16
TarifRéponse Correcte (RC) = +1Réponse Incorrecte (RI) = - 0,25Omission = - 0,5
Les degrés de certitude n’influencent pas le score (certitude de 0%, 20%, 40%, 60%, 80% ou à 100%)
Castaigne, 2005
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
PlanIntroduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion17
Escher M.C., 1935 Mains avec sphère
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
4 règles d’utilisation DC 1. Une consigne probabiliste
18dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Probabilités de certitudeAdmissible Probability Measurement Procedures
Emir H. Shuford, Arthur Albert and H. Edward Massengill1966, PSYCHOMETRIKA, Volume 31, Number 2, 125-145
Ne pas utiliserd’expressions
verbales
Utilisez des pourcentages
0% 20% 40% 60% 80% 100%0-25% 25-50% 50-70%
70-85% 85-95% 95-100%19
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
4 règles d’utilisation DC 1. Une consigne probabiliste
2. Un barème respectant la théorie des décisions
20
Certitude 0-25% 25-50% 50-70% 70-85% 85-95% 95-100%
RC +13 +16 +17 +18 +19 +20RI +4 +3 +2 +0 -6 -20
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
PlanIntroduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion21
http
://a
ngie
mcg
over
n.fil
es.w
ordp
ress
.com
/201
0/01
/big
stoc
kpho
to_
we_
all_
mak
e_m
ista
kes_
_13
1640
.jpg
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
4 règles d’utilisation DC 1. Une consigne probabiliste
2. Un barème respectant la théorie des décisions
3. un feedback métacognitif (graphes, indices,…)
22dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Score avec les DCNombre de Réponses Correctes (RC)
23
Note et indices
Certitude 0-25% 25-50% 50-70% 70-85% 85-95% 95-100%
RC +13 +16 +17 +18 +19 +20RI +4 +3 +2 +0 -6 -20
Leclercq, 1975
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 24
Note et indices
Leclercq, 1975
+18
+4
Total = 22 / 40= 11 / 20
Pourcentage de RC = 1 / 2= 10 / 2O
FAUX
OK
0-25% 25-50% 50-70% 70-85% 85-95% 95-100%+13 +16 +17 +18 +19 +20+4 +3 +2 +0 -6 -20
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 25
Note et indices
Brown et Shuford (1973)Leclercq et Gilles (1994)
Droite de réalisme idéal
Certitude choisie
Réalisme idéal
Pour
cent
age
de
RC
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Réalisme par classe de certitude
26
Note et indices
Brown et Shuford (1973)Leclercq et Gilles (1994)Certitude choisie
Pour
cent
age
de
RC
Pour toutes les QCM où vous avez choisi une
certitude de 20%
Vous avez pour ces QCM 38% de
réponses correctes
Vous avez réussi plus (38%)
qu’annoncé (20%)
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Droite de réalisme idéal et sur- ou sous-estimation
27
Note et indices
Brown et Shuford (1973)Leclercq et Gilles (1994)Certitude choisie
Pour
cent
age
de
RC
Vous avez réussi moins qu’annoncé SUR estimation
Vous avez réussi plus qu’annoncé SOUS estimation
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Note et indicesSur base d’un tarif pour les réponses correctes, les réponses incorrectes et les omissions, on calcule le score d’exactitude de l’étudiant. Ensuite, sur base du calcul à partir des DC portant sur l’ensemble des questions, on ajoute des points (pas de perte de points).
Score d’exactitude
Score de réalisme+
Leclercq, 2003
indicesRI:-0,25RC:+1
Omis:-0,50dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Note et indicesScore de “réalisme” = bien utiliser les DC
DC élevés avec les RC
DC bas avec les RI
Indices : degré de certitude moyen
des Réponses Correctes (RC)
des Réponses Incorrectes (RI)
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Note et indices
11
FAUXOK
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Note et indices!"#$%&'& (%)$**')+'& ,'*+(+-.' )/$(&(' !"#$%&'& )$**')+'&
01 2()+$* 3-4$ '&+ 5&&$)(" 5- )$-*5%+ 6(++"*5(*'
!"" #" $" %" &" "' ()*+,-.),/ 0 -)**12+3-4,/ "5 &"5 %"5
" &" %" $" #" !""6 724)*2+3-4,/ 8 *9:2743.),/ $"5 #"5 !""5
71 85%& 65 9:+/$6$4(' 4*');-'< =%+(4$%' '&+ 65 >(66'
!"" #" $" %" &" "' ;, <)=34,*/ 0 ;) >=?37@/ "5 &"5 %"5
" &" %" $" #" !""6 ;AB;3=,/ 8 ;A':24,*2-)/ $"5 #"5 !""5
?1 @"*5*. .' A'*B56 5 &$->>'*+
!"" #" $" %" &" "' ;, C*3-,- ;, D9+3,/ 0 ;, +2 E*3==, F ,-=2E79+, G/ "5 &"5 %"5
" &" %" $" #" !""6 ;) >H'> I-J7;*9:, *,-=3*2493*, 23E) -1KL*,M/ 8 ;, -C?3N9=?*173,/ $"5 #"5 !""5
C1 D5*+(% E-+/'* F(%4 5 "+" 5&&5&&(%" '% 0GHI
!"" #" $" %" &" "' 2)@ O;,- ;, P2*-/ 0 Q P,:=?3-/ "5 &"5 %"5
" &" %" $" #" !""6 Q 82++2-/ 8 Q R2-?37E497/ $"5 #"5 !""5
J1 E5 .(B(&($% '&+ -%' 6$( .' )$9#$&(+($% ;-( K .'-L %$9M*'& 5&&$)(' 6' #*$.-(+ .- #*'9('* #5* 6N(%B'*&' .- &')$%.1 E' &')$%. '&+ %$99"
!"" #" $" %" &" "' +, ;3K3;,7;,/ 0 +, =*9;)34/ "5 &"5 %"5
" &" %" $" #" !""6 +, .)943,74/ 8 +, ;179:3724,)*/ $"5 #"5 !""5
H1 265.(9(* O6(+)/ P-6(5%$B '&+ #6-& )$%%- &$-& 6' %$9 .'
!"" #" $" %" &" "' S3T342 >,*E),U,K34C? V?*9)C?4C?,K/ 0 W1737,/ "5 &"5 %"5
" &" %" $" #" !""6 P3T?2U+ >,*E),U,K34C? X9*(24C?,K/ 8 >42+37,/ $"5 #"5 !""5
Q1 R% &'*#'%+ $#/($#/54' 95%4' .'&
!"" #" $" %" &" "' 93-3++97-/ 0 9=?39+34,-/ "5 &"5 %"5
" &" %" $" #" !""6 9,)D-/ 8 -,*=,74-/ $"5 #"5 !""5
I1 E5 )5#(+-65+($% 566'95%.' 5 "+" &(4%"' 6'
!"" #" $" %" &" "' $ Y)37 !Z%%/ 0 # :23 !Z%[/ "5 &"5 %"5
" &" %" $" #" !""6 \ :23 !Z%[/ 8 Z :23 !Z%[/ $"5 #"5 !""5
G1 =B5%+ 0GIG< 6NR%($% .' D:5%95*K &' %$995(+
!"" #" $" %" &" "' +, 627E+2;,-?/ 0 +, W29-/ "5 &"5 %"5
" &" %" $" #" !""6 +AO7;,/ 8 +, H9J2):, ;, >32:/ $"5 #"5 !""5
0S1 R% .'& 9$-B'9'%+& .' 4-"*(665 '% ,$6$9M(' &' %$99'
!"" #" $" %" &" "' +,- 0?9)27-/ 0 '(9) S3;2+/ "5 &"5 %"5
" &" %" $" #" !""6 +, ]2:2-/ 8 +,- ^2*C-/ $"5 #"5 !""5
001 E-.T(4 B5% U''+/$B'% 5 ")*(+ 6N$#"*5
!"" #" $" %" &" "' ^3;,+39/ 0 W, H93 >9+,3+/ "5 &"5 %"5
" &" %" $" #" !""6 W,- 79C,- ;, ^3E2*9/ 8 R,-4 >3;, >49*J/ $"5 #"5 !""5
071 A$-& 5(9'*($%& +$-& "B(+'* .' *'%)$%+*'* 6' 9$(%.*' #*$M6V9'
!"" #" $" %" &" "' =1C)73,*/ 0 =1C)73L*,/ "5 &"5 %"5
" &" %" $" #" !""6 =1C)731/ 8 =1C)7323*,/ $"5 #"5 !""5
0?1 E' B$6+ '&+ 6N-%(+" .'
!"" #" $" %" &" "' C9)*274 1+,C4*3.),/ 0 *1-3-427C, 1+,C4*3.),/ "5 &"5 %"5
" &" %" $" #" !""6 4,7-397 1+,C4*3.),/ 8 C2=2C341 1+,C4*3.),/ $"5 #"5 !""5
0C1 85%& 6' 9$%.' 9".()56< O1!1D1 &(4%(>(' (954'*('
!"" #" $" %" &" "' =2* *2;39E*2=?3, :1;3C2+,/ 0 =9)* *,C?,*C?,- :1;3C2+,-/ "5 &"5 %"5
" &" %" $" #" !""6 =2* *2J97- :2E7143.),-// 8 =2* *1-9727C, :2E7143.),/ $"5 #"5 !""5
0J1 E' #5&&54' .N-% )$*#& .' 6N"+5+ &$6(.' K 6N"+5+ 45W'-L &5%& #5&&'* #5* 6N"+5+ 6(;-(.' '&+
!"" #" $" %" &" "' +A1()++34397/ 0 +2 -)(+3:24397/ "5 &"5 %"5
" &" %" $" #" !""6 +A1K2=9*24397/ 8 +2 K2=9*3-24397/ $"5 #"5 !""5
0H1 E5 B56'-* .- #3 .- ,$)5 ,$65 '&+ .'
!"" #" $" %" &" "' &_`/ 0 [_`/ "5 &"5 %"5
" &" %" $" #" !""6 %_[/ 8 $_Z/ $"5 #"5 !""5
0Q1 E5 #'(%+-*' &-* +$(6' 65 #6-& )"6VM*' .- D-&"' .- E$-B*' '&+
!"" #" $" %" &" "' +2 W3(,*41 E)3;274 +, =,)=+, ;ab)EL7, 8,+2C*93@ / 0 +2 <9C97;, ;, W1972*; 8, c37C3/ "5 &"5 %"5
" &" %" $" #" !""6 O:=*,--397 -9+,3+ +,K274 ;, 0+2);, P97,4/ 8 +2 c17)- ;, P3+9/ $"5 #"5 !""5
0I1 A$-& 5B$%& .'& '-*$& '% #$)/' .'#-(&
!"" #" $" %" &" "' !ZZZ/ 0 &""!/ "5 &"5 %"5
" &" %" $" #" !""6 &"""/ 8 &""&/ $"5 #"5 !""5
0G1 X$6>45%4 =95.'-& D$W5*+< %" K Y56WM$-*4 '% 0QJH< '&+ .' %5+($%56(+"
!"" #" $" %" &" "' '++,:27;,/ 0 ]97E*93-,/ "5 &"5 %"5
" &" %" $" #" !""6 ')4*3C?3,77,/ 8 d9+9723-,/ $"5 #"5 !""5
7S1 E' &-))'&&'-* &-* 6' +*Z%' .' [/(6(##' 0'* '&+
!"" #" $" %" &" "' 0?2*+,- c/ 0 d1=37 +, 6*,D/ "5 &"5 %"5
" &" %" $" #" !""6 W9)3- cO/ 8 d?3+3==, OO ')E)-4,/ $"5 #"5 !""5
S9)- K9)- 37K3497- Q *1=97;*, Q +$-+'& +,- .),-4397-/ d9)* C?2.), .),-4397_ ,749)*,N +2 *1=97-, .)3 K9)- -,:(+, C9**,C4,/ R%' &'-6' #*$#$&(+($% '&+ )$**')+'1 ,749)*,N K94*, ;,E*1 ;, C,*434);, .), K94*, *1=97-, ,-4 C9**,C4,/ >3 K9)- 7, ;977,N
=2- ;, ;,E*1 ;, C,*434);,_ K94*, *1=97-, -,*2 C97-3;1*1, C9::, 37C9**,C4,/62*L:, e
!"#$%&' )$**')+' \ ]0 !"#$%&' (%)$**')+' \ S<7J P9(&&($% .N-%' *"#$%&' $- .- .'4*" .' )'*+(+-.' \ S<J
15 0 2 0 0 6 750 1 0 2 2 0
0 80 2000 80 40 0
0 x 100 = 01 x 80 = 80
1220 0 40 0 0 480 700
7 x 100 = 700
40 8140<50 : +1 81>50 : +1
200 ÷ 5 = 50 1220 ÷ 15 = 81
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
RI:-0,25RC:+1
Omis:-0,513,75
Note et indices
15
!"#$%&'& (%)$**')+'& ,'*+(+-.' )/$(&(' !"#$%&'& )$**')+'&01 2()+$* 3-4$ '&+ 5&&$)(" 5- )$-*5%+ 6(++"*5(*'
!"" #" $" %" &" "' ()*+,-.),/ 0 -)**12+3-4,/ "5 &"5 %"5
" &" %" $" #" !""6 724)*2+3-4,/ 8 *9:2743.),/ $"5 #"5 !""5
71 85%& 65 9:+/$6$4(' 4*');-'< =%+(4$%' '&+ 65 >(66'
!"" #" $" %" &" "' ;, <)=34,*/ 0 ;) >=?37@/ "5 &"5 %"5
" &" %" $" #" !""6 ;AB;3=,/ 8 ;A':24,*2-)/ $"5 #"5 !""5
?1 @"*5*. .' A'*B56 5 &$->>'*+
!"" #" $" %" &" "' ;, C*3-,- ;, D9+3,/ 0 ;, +2 E*3==, F ,-=2E79+, G/ "5 &"5 %"5
" &" %" $" #" !""6 ;) >H'> I-J7;*9:, *,-=3*2493*, 23E) -1KL*,M/ 8 ;, -C?3N9=?*173,/ $"5 #"5 !""5
C1 D5*+(% E-+/'* F(%4 5 "+" 5&&5&&(%" '% 0GHI
!"" #" $" %" &" "' 2)@ O;,- ;, P2*-/ 0 Q P,:=?3-/ "5 &"5 %"5
" &" %" $" #" !""6 Q 82++2-/ 8 Q R2-?37E497/ $"5 #"5 !""5
J1 E5 .(B(&($% '&+ -%' 6$( .' )$9#$&(+($% ;-( K .'-L %$9M*'& 5&&$)(' 6' #*$.-(+ .- #*'9('* #5* 6N(%B'*&' .- &')$%.1 E' &')$%. '&+ %$99"
!"" #" $" %" &" "' +, ;3K3;,7;,/ 0 +, =*9;)34/ "5 &"5 %"5
" &" %" $" #" !""6 +, .)943,74/ 8 +, ;179:3724,)*/ $"5 #"5 !""5
H1 265.(9(* O6(+)/ P-6(5%$B '&+ #6-& )$%%- &$-& 6' %$9 .'
!"" #" $" %" &" "' S3T342 >,*E),U,K34C? V?*9)C?4C?,K/ 0 W1737,/ "5 &"5 %"5
" &" %" $" #" !""6 P3T?2U+ >,*E),U,K34C? X9*(24C?,K/ 8 >42+37,/ $"5 #"5 !""5
Q1 R% &'*#'%+ $#/($#/54' 95%4' .'&
!"" #" $" %" &" "' 93-3++97-/ 0 9=?39+34,-/ "5 &"5 %"5
" &" %" $" #" !""6 9,)D-/ 8 -,*=,74-/ $"5 #"5 !""5
I1 E5 )5#(+-65+($% 566'95%.' 5 "+" &(4%"' 6'
!"" #" $" %" &" "' $ Y)37 !Z%%/ 0 # :23 !Z%[/ "5 &"5 %"5
" &" %" $" #" !""6 \ :23 !Z%[/ 8 Z :23 !Z%[/ $"5 #"5 !""5
G1 =B5%+ 0GIG< 6NR%($% .' D:5%95*K &' %$995(+
!"" #" $" %" &" "' +, 627E+2;,-?/ 0 +, W29-/ "5 &"5 %"5
" &" %" $" #" !""6 +AO7;,/ 8 +, H9J2):, ;, >32:/ $"5 #"5 !""5
0S1 R% .'& 9$-B'9'%+& .' 4-"*(665 '% ,$6$9M(' &' %$99'
!"" #" $" %" &" "' +,- 0?9)27-/ 0 '(9) S3;2+/ "5 &"5 %"5
" &" %" $" #" !""6 +, ]2:2-/ 8 +,- ^2*C-/ $"5 #"5 !""5
001 E-.T(4 B5% U''+/$B'% 5 ")*(+ 6N$#"*5
!"" #" $" %" &" "' ^3;,+39/ 0 W, H93 >9+,3+/ "5 &"5 %"5
" &" %" $" #" !""6 W,- 79C,- ;, ^3E2*9/ 8 R,-4 >3;, >49*J/ $"5 #"5 !""5
071 A$-& 5(9'*($%& +$-& "B(+'* .' *'%)$%+*'* 6' 9$(%.*' #*$M6V9'
!"" #" $" %" &" "' =1C)73,*/ 0 =1C)73L*,/ "5 &"5 %"5
" &" %" $" #" !""6 =1C)731/ 8 =1C)7323*,/ $"5 #"5 !""5
0?1 E' B$6+ '&+ 6N-%(+" .'
!"" #" $" %" &" "' C9)*274 1+,C4*3.),/ 0 *1-3-427C, 1+,C4*3.),/ "5 &"5 %"5
" &" %" $" #" !""6 4,7-397 1+,C4*3.),/ 8 C2=2C341 1+,C4*3.),/ $"5 #"5 !""5
0C1 85%& 6' 9$%.' 9".()56< O1!1D1 &(4%(>(' (954'*('
!"" #" $" %" &" "' =2* *2;39E*2=?3, :1;3C2+,/ 0 =9)* *,C?,*C?,- :1;3C2+,-/ "5 &"5 %"5
" &" %" $" #" !""6 =2* *2J97- :2E7143.),-// 8 =2* *1-9727C, :2E7143.),/ $"5 #"5 !""5
0J1 E' #5&&54' .N-% )$*#& .' 6N"+5+ &$6(.' K 6N"+5+ 45W'-L &5%& #5&&'* #5* 6N"+5+ 6(;-(.' '&+
!"" #" $" %" &" "' +A1()++34397/ 0 +2 -)(+3:24397/ "5 &"5 %"5
" &" %" $" #" !""6 +A1K2=9*24397/ 8 +2 K2=9*3-24397/ $"5 #"5 !""5
0H1 E5 B56'-* .- #3 .- ,$)5 ,$65 '&+ .'
!"" #" $" %" &" "' &_`/ 0 [_`/ "5 &"5 %"5
" &" %" $" #" !""6 %_[/ 8 $_Z/ $"5 #"5 !""5
0Q1 E5 #'(%+-*' &-* +$(6' 65 #6-& )"6VM*' .- D-&"' .- E$-B*' '&+
!"" #" $" %" &" "' +2 W3(,*41 E)3;274 +, =,)=+, ;ab)EL7, 8,+2C*93@ / 0 +2 <9C97;, ;, W1972*; 8, c37C3/ "5 &"5 %"5
" &" %" $" #" !""6 O:=*,--397 -9+,3+ +,K274 ;, 0+2);, P97,4/ 8 +2 c17)- ;, P3+9/ $"5 #"5 !""5
0I1 A$-& 5B$%& .'& '-*$& '% #$)/' .'#-(&
!"" #" $" %" &" "' !ZZZ/ 0 &""!/ "5 &"5 %"5
" &" %" $" #" !""6 &"""/ 8 &""&/ $"5 #"5 !""5
0G1 X$6>45%4 =95.'-& D$W5*+< %" K Y56WM$-*4 '% 0QJH< '&+ .' %5+($%56(+"
!"" #" $" %" &" "' '++,:27;,/ 0 ]97E*93-,/ "5 &"5 %"5
" &" %" $" #" !""6 ')4*3C?3,77,/ 8 d9+9723-,/ $"5 #"5 !""5
7S1 E' &-))'&&'-* &-* 6' +*Z%' .' [/(6(##' 0'* '&+
!"" #" $" %" &" "' 0?2*+,- c/ 0 d1=37 +, 6*,D/ "5 &"5 %"5
" &" %" $" #" !""6 W9)3- cO/ 8 d?3+3==, OO ')E)-4,/ $"5 #"5 !""5
S9)- K9)- 37K3497- Q *1=97;*, Q +$-+'& +,- .),-4397-/ d9)* C?2.), .),-4397_ ,749)*,N +2 *1=97-, .)3 K9)- -,:(+, C9**,C4,/ R%' &'-6' #*$#$&(+($% '&+ )$**')+'1 ,749)*,N K94*, ;,E*1 ;, C,*434);, .), K94*, *1=97-, ,-4 C9**,C4,/ >3 K9)- 7, ;977,N
=2- ;, ;,E*1 ;, C,*434);,_ K94*, *1=97-, -,*2 C97-3;1*1, C9::, 37C9**,C4,/62*L:, e
!"#$%&' )$**')+' \ ]0 !"#$%&' (%)$**')+' \ S<7J P9(&&($% .N-%' *"#$%&' $- .- .'4*" .' )'*+(+-.' \ S<J
0 2 0 0 6 750 1 0 2 2 0
2000 80 0 80 40 0 1220 0 40 0 0 480 700
40 8140<50 : +1 81>50 : +1
15,75
+1 +1
-1,25 +15
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 33
Note et indicesTarif
Réponse Correcte (RC) = +1Réponse Incorrecte (RI) = - 0,25Omission = - 0,5
Les degrés de certitude n’influencent pas le score
Castaigne, 2004
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
RI:-0,25RC:+1
Omis:-0,5
Note et indices
FAUXOK
7 0 0 1 0 3 3132 2 3 1 4 1
-3,25 +73,75
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Note et indices0 0 1 0 3 32 2 3 1 4 1
3,75
dʼaprès Hunt & Furustig (1989); Hunt (2003); Jans & Leclercq (1999); Leclercq (2003)
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
PlanIntroduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion36
"Escheresque Metacognition"1998, Timothy R. Haldane
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
4 règles d’utilisation DC 1. Une consigne probabiliste
2. Un barème respectant la théorie des décisions
3. Un feedback métacognitif (graphes, indices,…)
4. un entraînement des étudiants
37dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Entraînement
38
Test-Wiseness
Examen “blanc”
Banque de questions en ligne
0 5 10 20 30 40 50Samson, 1985Berliner, 1986
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Entraînement
39
Castaigne et Gilles, 2001
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
PlanIntroduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion40
"L'Angélus" 1858, Jean-François MilletCourant Réaliste
Huile sur toile, 55 × 66 cmMusée d'Orsay, Paris
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 41
Mét
acog
nition
rég
ulat
rice
(No
ël 199
1)
Castaigne, 2005
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Bruno De Finetti
42
“It is only subjective probability that can give an objective meaning to every response and scoring method.” (p. 111)
« Methods of discriminating levels of partial knowledge concerning a test item » Brit. Journ. of Math. & Statist. Psychol., 1965, 18, 87-123.
(1906-1985)
dimanche 13 décembre 2015
Maslow, A. H. (1943). A theory of human motivation. Psychological review, 50(4), 370.Castaigne, J.-L. (2006). Excel spreadsheet to support veterinary student’s metacognition. Presented at the Second bi-annual Conference of EARLI SIG Metacognition, Cambridge, United Kingdom. Retrieved from http://orbi.ulg.ac.be/handle/2268/23434Castaigne, J.-L. (2005). Recherches récentes sur l’utilisation des Degrés de Certitude Recherches récentes sur l’utilisation des Degrés de Certitude : Directions de recherches dans le calcul des notes liant exactitude et réalisme. In Actes du 18ème colloque international de l’ADMEE : Comment évaluer ? Outils, dispositifs et acteurs. Reims, France. Retrieved from http://orbi.ulg.ac.be/handle/2268/23416Shuford, E., Albert, A., & Massengill, H. (1966). Admissible probability measurement procedures. Psychometrika, 31(2), 125–145.Leclercq, D. (1975). L’évaluation subjective de la probabilité d’exactitude des réponses en situation pédagogique (Doctorat en Sciences de l’Education). Université de Liège. Retrieved from http://orbi.ulg.ac.be/handle/2268/10119Leclercq, D., & Poumay, M. (2003). Trois nouveaux indices de réalisme dans l’auto-évaluation des performances. Cahiers du Service de Pédagogie Expérimentale (SPE), 15-16. Retrieved from http://orbi.ulg.ac.be/handle/2268/27518Castaigne, J.-L. (2005). Un outil d’autoréflexion cognitive et métacognitive pour l’amélioration des performance. Presented at the Journée d’étude AIPU-CFB -- AdAPTE : L’accompagnement pédagogique : Un outil pour favoriser la réussite dans l’enseignement supérieur., Gembloux, Belgique. Retrieved from http://orbi.ulg.ac.be/handle/2268/23418Brown, T. A., & Shuford, E. H. (1973). Quantifying uncertainty into numerical probabilities for the reporting of intelligence. DTIC Document. Retrieved from http://oai.dtic.mil/oai/oai?verb=getRecord&metadataPrefix=html&identifier=AD0777063Leclercq, D., & Gilles, J.-L. (1994). GUESS, un logiciel pour s’entraîner à l’auto-estimation de sa compétence cognitive. In QCM et questionnaires fermés, actes du 3ème colloque international ESIEE (pp. 137–158). Marne-la-Vallée, France: Université Paris 7 Denis Diderot, Laboratoire d’Ingénierie Didactique. Retrieved from http://orbi.ulg.ac.be/handle/2268/8953Hunt, D. P., & Furustig, H. (1989). Being informed, being misinformed and disinformation: A human learning and performance approach. National Defence Research Institute, Technical Report PM, 56(238), 1–17.Hunt, D. P. (2003). The concept of knowledge and how to measure it. Journal of Intellectual Capital, 4(1), 100–113.Jans, V., & Leclercq, D. (1999). Mesurer l’effet de l’apprentissage à l’aide de l’analyse spectrale des performances. In L’évaluation des compétences et des processus cognitifs: modèles, pratiques et contextes (pp. 303–317). Bruxelles, Belgique: De Boeck Université. Retrieved from http://orbi.ulg.ac.be/handle/2268/27553Leclercq, D. (2003). Diagnostic cognitif et métacognitif au seuil de l’Université : le projet Mohican mené par les 9 universités de la Communauté française Wallonie-Bruxelles. Liège, Belgique: Editions de l’Université de Liège. Retrieved from http://orbi.ulg.ac.be/handle/2268/17837Samson, G. E. (1985). Effects of Training in Test-Taking Skills on Achievement Test Performance: A Quantitative Synthesis. The Journal of Educational Research, 78(5), 261–266. http://doi.org/10.1080/00220671.1985.10885613Berliner, D. C. (1986). In pursuit of the expert pedagogue. Educational Researcher, 5–13.Castaigne, J.-L., Gilles, J.-L., & Hanzen, C. (2001). Application du cycle gestion qualité SMART des tests pédagogiques au cours d’obstétrique et pathologie de la reproduction des ruminants, équidés et porcs. In Actes du 18e congrès de l’AIPU : Les stratégies de réussite dans l’enseignement supérieur. Dakar, Sénégal: Université Cheikh Anta Diop. Retrieved from http://orbi.ulg.ac.be/handle/2268/23014Castaigne, J.-L. (2005). Directions de recherches dans le calcul des notes liant exactitude et réalisme: illustration à travers une démarche en formation à distance. In Actes du 22e congrès de l’association internationale de pédagogie universitaire (AIPU) : L’enseignement supérieur du {XXIe} siècle : de nouveaux défis à relever. Genève, Switzerland. Retrieved from http://orbi.ulg.ac.be/handle/2268/23420Finetti, B. de. (1965). Methods for Discriminating Levels of Partial Knowledge Concerning a Test Item. British Journal of Mathematical and Statistical Psychology, 18(1), 87–123. http://doi.org/10.1111/j.2044-8317.1965.tb00695.x
dimanche 13 décembre 2015
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2014
Jean-Loup Castaigne, 04 78 79 43 24 [email protected]
Yvan Pigeonnat 04 76 82 82 56 [email protected]
Mis à disposition selon les termes de la licence Creative CommonsPaternité - Pas d'Utilisation Commerciale - Pas de Modification.
44dimanche 13 décembre 2015