correction automatisée de qcm : tests, examens, etc
TRANSCRIPT
![Page 1: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/1.jpg)
C. Jacqmot E. Billat I. Lecroart ADEF/EVA [email protected]
CORRECTION PAR LECTURE OPTIQUE DE QCM : TESTS, EXAMENS, ETC.
![Page 2: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/2.jpg)
Plan
Introduction - Contexte
Concrètement, pour la prochaine session 1. Planification et préparation 2. Passation du test 3. Collecte des données 4. Reporting 5. Ajustements
Vos questions
![Page 3: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/3.jpg)
Introduction
![Page 4: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/4.jpg)
Contexte général
Correction par lecture optique Etape 1 :
reconnaissance optique des cases cochées + interprétation des lignes de cases cochées/corrigées/ …
Etape 2 + calcul de points bruts + mise « à l’échelle » (notes /20) + association à un NOMA+Nom+Prénom+An. Étud.
![Page 5: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/5.jpg)
Contexte UCL
Environ 400 tests corrigés par lecture optique par an (tests = QCM examens, interrogations, épreuves)
1 test 1 questionnaire par étudiant 1 questionnaire un formulaire de 1 ou 2 feuilles 1 test = entre 30 et 600 feuilles
1 test : entre 1h et 7h de travail pour EVA, tout compris; économie de temps pour l’enseignant : entre
3h et 3 jours.
Equipe : Etienne Billat, Isabelle Lecroart
![Page 6: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/6.jpg)
Choix d’un nouveau système
Octobre 2009 : Panel de 12 utilisateurs 3 systèmes (solutions complètes, questionnaires
papier, gestions des points et des cohortes, production de « feuilles de notes »)
Compatibilité avec les solutions déployées à LeW (Téléform)
Consilium process automation solutions
![Page 7: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/7.jpg)
Contest : un système en 5 étapes
1. Planification et préparation Créer un test un jeu de questions, les réponses, les versions (séries), les
points, la notation (/20)…
Créer un test encoder les métadonnées dans Contest : les réponses, les versions (séries), les points (score), les règles de notation (/20)…
les formulaires
2. Passation du test Distribution et collecte de formulaires aux étudiants
3. Collecte des données Reconnaissance optique (limiter les interventions manuelles)
4. Reporting Calcul des résultats : détail des points par étudiants, note finale par
étudiant, mais aussi éléments (détail des réponses, p.ex.)
5. Ajustements Questions invalidées, ajustements suite à l’examen des copies, bonus…
![Page 8: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/8.jpg)
![Page 9: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/9.jpg)
Etape, par étape : Qui, quoi, comment …..
Concrètement,
![Page 10: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/10.jpg)
1. Planification et préparation Prévoir un délai de 1 semaine pour encodage et validation par EVA
![Page 11: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/11.jpg)
1. Planification et préparation
Créer un test le décrire
Un questionnaire à choix multiples se compose d'un ensemble de questions : chaque question comporte un libellé (item) et plusieurs propositions de réponses.
Une option d’abstention explicite permet à l’étudiant d’indiquer qu’il ne connaît pas la réponse
Un barème définit comment pondérer les résultats d'un QCM. Il définit les règles d’attribution des points par item. Exemple :
Conformité stricte Réponse juste cochée = 1 point ; autre proposition cochée = 0
Conformité stricte avec pénalité Réponse juste cochée = 1 point ; autre proposition cochée = -1
Conformité stricte avec pénalité et abstention Réponse juste cochée = 1 point ; autre proposition cochée = -1/2; abstention = 0
Le score est le nombre total de points obtenus par un étudiant pour l’ensemble des items (score)
Une note finale (grade) est générée à partir du score lorsque l’on connaît à quelle « échelle » mettre le score : note finale /10, /15, etc.
![Page 12: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/12.jpg)
1a. Planification et préparation
Créer un test le décrire
![Page 13: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/13.jpg)
1a. Planification et préparation
![Page 14: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/14.jpg)
1a. Planification et préparation
![Page 15: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/15.jpg)
1a. Planification et préparation
Si plus d’une série : expliciter à partir de la description générale (qui correspond à la première série)
![Page 16: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/16.jpg)
1b. Planification et préparation
Créer un test l’injecter dans Contest (métadonnées)
l’associer dans Constest à un questionnaire prédéfini (standard) le plus adapté à la situation
![Page 17: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/17.jpg)
1b. Planification et préparation
x
![Page 18: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/18.jpg)
1c. Planification et préparation
Faire reproduire le formulaire (vous)
![Page 19: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/19.jpg)
2. Passation du test Elément indispensable : le NOMA !
Une bonne indication à donner aux étudiants : cocher avec un crayon NOIR + gomme
![Page 20: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/20.jpg)
2. Passation du test
Consignes : la possibilité de traiter ou non par lecture optique les grilles de réponses des étudiants dépend du respect de ces consignes.
Temps 1 : cartouche d’identification NOMA (sur la carte annuelle) Série (précochée à vérifier) L’identité et autres informations signalétiques (en cas de
problème, permet de retrouver qui est le bénéficiaire des points! )
NOMA : 01234599
![Page 21: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/21.jpg)
Passation du test
Consignes !
![Page 22: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/22.jpg)
2. Passation du test
Temps 2 + Temps 3
![Page 23: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/23.jpg)
3. Collecte des données NOMA , série
Coches en NOIR (idéal : crayon NOIR mine grasse)
![Page 24: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/24.jpg)
3. Collecte des données
EPC : NOMA Nom, Prénom, An. Et.
Certaines validations et rectifications manuelles
![Page 25: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/25.jpg)
4. Reporting Important pour valider les éléments du rapport Par série, comparer les résultats produits automatiquement avec 3 copies corrigées et notées manuellement
![Page 26: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/26.jpg)
4. Reporting : Exam analysis report
+ statistical details
![Page 27: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/27.jpg)
4. Reporting : Version mapping report
Items V1 « de base »
Position des items dans les versions
Si groupes utilisés (nous contacter)
Options = nbr de cases à cocher Keys = « bonnes réponses »
![Page 28: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/28.jpg)
4. Reporting : Grading report
NOMA Nom, prénom Sigle AnEt Nb Pts Grade q = pts ouverte mis à l’échelle
c
![Page 29: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/29.jpg)
4. Reporting – Result check report
Par étudiant, par formulaire scanné, par item V = version du participant (NOMA étudiant) . = bonne réponse cochée X = lettre de la mauvaise réponse cochée - = question ouverte
![Page 30: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/30.jpg)
5. Sur demande – Item analysis report
![Page 31: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/31.jpg)
5. Sur demande – Item analysis report
![Page 32: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/32.jpg)
5. Ajustements valider les éléments du rapport
![Page 33: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/33.jpg)
5. Ajustements
Scan des feuilles
Trace dans le système
Rapport final
![Page 34: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/34.jpg)
Ajustements : décisions pédagogiques
Supprimer une question Changer réponses, les barèmes, le grade Ajouter des bonus (ex : questions ouvertes, travaux
durant l’année)
Adapter un NOMA …
![Page 35: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/35.jpg)
Ajustements : lorsque tout est OK
Production du rapport final, de complet à très complets (sans doute trop complexe alors)
Clôture du test (verrouillage)
Avantage : Traçabilité
![Page 36: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/36.jpg)
DONC
-1
0
1
2
3
4
5
6
Semaine
WE
nbres examens
![Page 37: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/37.jpg)
En résumé – points d’attention
Planification (injection de métadata et liaison à un questionnaire) : formulaire de « description » : doit être en EVA 8 jours avant l’obtention de la grille des coches [email protected]; demander formulaire de description en indiquant
le nombre approximatif d’items Le sigle du cours et la date de l’examen
Formulaires standards : à reproduire par l’enseignant Rigueur pour compléter le formulaire : consignes pour surveillants, transparent pour
étudiants (rétroprojecteur ou data) – prendre le temps en début d’examen ! NOMA Séries à vérifier (précochées, feuilles de couleur OK) coches et correction des réponses / absentions encre noire ou crayon/gomme (prévenir les étudiants!)
Validation : très important ! Comparer avec 3 ou 4 examens corrigés « manuellement » A posteriori : par l’enseignant qui consulte le rapport et signale immédiatement toute anomalie
Plus tard : rôles et accès web au système pour les enseignants (décentralisation des accès) … autre
formation
![Page 38: Correction automatisée de QCM : tests, examens, etc](https://reader033.vdocuments.mx/reader033/viewer/2022050807/586e07111a28ab42788c19d3/html5/thumbnails/38.jpg)
Vos questions ….