htp://smart.ulg.ac.be smart@ulg.ac.be +32 4 366 20 78

htp://www.smart.ulg.ac.be

smart@ulg.ac.be+32 4 366 20 78

Le modèle CGQTS en action : le cas d'un examen certificatif standardisé

créé à l'aide dela plateforme « electronic

Construction & Quality Control in Standardized Testing »

Mainferme R.

Crahay V.

8 novembre 2006

Cours de Psychologie Éducationnelle

229 étudiants : quelle(s) modalité(s) d’examens ?

Cote finale Travail de groupe « présentation en octuor »= 50%

Test standardisé « papier crayon » = 50%

• Questionnaire à choix multiple

• Avec degrés de certitude

• Avec solutions générales implicites

• Avec possibilité de justifications écrites

Un exemple d’utilisation : l’examen du cours de Psychologie Éducationnelle (ULg)

Coordonner le travail en équipe

Assurer un suivi collectif des tâches réalisées

Centraliser le travail

Besoin d’une structure de travail collectif

Testing standardisé dans le cadre du cours de Psychologie Éducationnelle : Un travail collaboratif

La plateforme e-C&QCST : Un outil en ligne pour construire et gérer les évaluations

Répartition des tâches

La plateforme e-C&QCST : Un identifiant et un type d’accès pour chacun

Acteur 1

Acteur 2

Acteur 4

Acteur 5

Acteur 3

Testing standardisé dans le cadre du cours de Psychologie Éducationnelle : une volonté de qualité

Faire le point sur les objets du cours à évaluerAdoption de la démarche CGQTS

Assurer une cohérence et une vision partagée et centralisée de ces objets au niveau de l’équipe

Communiquer ces objets aux étudiants

Besoin d’un outil de communication central permettant de formaliser la matière à évaluer

La plateforme e-C&QCST : Étape 1 : Création d’une table de spécification

Relier les Points Enseignés et les Catégories de Performance [PE x CP]

Construction du binôme [PE x CP] Validité

CP Priorités

PE

Étape 2 : Les Modalités des Questionnement (MQ)

Définir les modalités de questionnement (MQ)

Choisir les modalités de questionnement selon les objectifs de l'évaluation

Les Modalités de questionnement sont composées de :

- Un Format de Questionnement [FQ] :

QCM, VF, VFG, QCL

- Une série d’Options de Questionnement [OQ]

SGI 6, SGI 7, SGI 8, SGI 9, DC, LO

CP x MQ

PE x CP x MQ

Étape 3 : La rédaction des questions

Répartir les tâches et les objets (ciblés et priorisés) à évaluer

Sept tests formatifs de 10 questions (1 par chap.)

Un test certificatif

Une nécessaire validation par le Responsable de l’Évaluation (RE)

Obtenir rapidement un nombre suffisant de questions afin d’alimenter une banque à

exploiter dans les évaluations formatives et sommatives

La plateforme e-C&QCST:La rédaction des questions

Étape 4 : Information/entrainement des étudiants :

Entraînement individuel

- à la Matière évaluée

- au dispositif d’évaluation (QCM, SGI, DC)

Permettre à l’évaluateur un suivi qualitatif des apprentissages de son groupe d’étudiants

Nécessité de préparer les étudiants à l’examen :

TESTS FORMATIFS / D’ENTRAÎNEMENT

La plate-forme e-C&QCST :Les tests formatifs

Informer les étudiants :

vers un « engagement docimologique »

La plate-forme e-C&QCST :Les tests formatifs

La plate-forme e-C&QCST:Un suivi des tests formatifs

Assurer un maximum de qualité à l’examen sommatif

Étape 5 : La construction de l’épreuve

35 questions dont 7 proviennent des tests d’entraînement (elles ont été validées sur base de leur r.bis)

Équilibrer l’examen (SGI vs Réponses classiques)

Impression des différentes formes (4)

L’examen

Examen « papier – crayon » (250 étudiants)

Feuilles de justification

Étape 6 : La correction

Obtenir de nouvelles informations sur la qualité des questions

Obtenir différents résultats :

- graphiques, moyennes, écart-type;

- résultats spécifiques en cas de suppression de question (s) ou de changement degré de sévérité

La plateforme e-C&QCST:La correction

Résultats et Statistiques :

La plate-forme e-C&QCST:La correction

Gestion Qualité du test :

La plateforme e-C&QCST:La correction

Gestion Qualité de l’évalué :

Conclusion

Travail collaboratif

Gain de temps au niveau de la création des questions (Impression)

Temps élevé de préparation mais gain de temps gagné pour les années prochaines

Feuilles de justification

Perspectives

Vers un outil AMS…