meetfout in toetsrapportages. dorien... · 2019-10-09 · dorien hopster-den otter. cito ,...
TRANSCRIPT
Meetfout in toetsrapportages: Maakt het verschil?
DORIEN HOPSTER-DEN OTTER
CITO, UNIVERSITEIT TWENTE
Onderzoeksvragen
1. In hoeverre leidt weergave van meetfout vaker tot de beslissing aanvullende informatie te verzamelen dan weergave zonder meetfout?
2. Welke voorkeuren hebben leerkrachtenmet betrekking tot de meetfoutweergaves?
Vier weergaves
Op cesuur
Klein
Groot
Klein
Groot
Klein
Groot
Binnen cesuur
Buiten cesuur
vervagingkleurintensiteit
foutenbalkgeen meetfout
vervagingkleurintensiteit
foutenbalkgeen meetfout
vervagingkleurintensiteit
foutenbalkgeen meetfout
geen meetfout
kleurintensiteitfoutenbalk
geen meetfout
geen meetfoutvervaging
kleurintensiteitfoutenbalk
vervagingkleurintensiteit
foutenbalk
vervaging
3 posities x 2 groottes x 4 vormen = 24 weergaves
Kies uit:o Groep IIIo Groep IIo Groep Io Voor deze beslissing wil ik aanvullende
informatie over de leerling
Methode
•Vignettenvragenlijst• 337 leerkrachten
•Hardop denk protocollen• 14 leerkrachten
•Focusgroepen• 8 groepen, 37 leerkrachten
Kies uit:o Groep IIIo Groep IIo Groep Io Voor deze beslissing wil ik aanvullende
informatie over de leerling
Resultaten - BeslissingenGeen meetfout Vervaging Kleurintensiteit Foutenbalk
1. Op cesuur
a. Groot 69.4 69.4 67.4 66.8
b. Klein 63.8 67.1 60.5 71.5
2. Binnen cesuur
a. Groot 46.0 47.2 51.0 53.4
b. Klein 51.6 43.9 32.3 54.6
3. Buiten cesuur
a. Groot 13.1 16.3 21.4 18.7
b. Klein 18.1 14.5 9.8 20.8
Totaal 43.7 43.1 40.4 47.6
Resultaten - BeslissingenGeen meetfout Vervaging Kleurintensiteit Foutenbalk
1. Op cesuur
a. Groot 69.4 69.4 67.4 66.8
b. Klein 63.8 67.1 60.5 71.5
2. Binnen cesuur
a. Groot 46.0 47.2 51.0 53.4
b. Klein 51.6 43.9 32.3 54.6
3. Buiten cesuur
a. Groot 13.1 16.3 21.4 18.7
b. Klein 18.1 14.5 9.8 20.8
Totaal 43.7 43.1 40.4 47.6
Resultaten - Misconcepties“Misschien afwijkende cijfers van methodetoetsen ten opzichte van Cito. Dus dat de leerling bijvoorbeeld de Cito-toets heel goed maakt en de methodetoetsen heel slecht.”
“Misschien heeft een leerkracht dit toegevoegd. Hij is niet zeker van de toetsscore of hij heeft niet hetzelfde beeld van de leerling.”
“De uitkomsten zijn wel goed, maar hoe hij het heeft gedaan niet, of andersom”
“Of verandert het kind vaker van antwoord ofzo? Dat het kind twijfelt aan zichzelf”
“Het zou ook te maken kunnen hebben met tijdsduur: hoe lang doet een kind erover om een vraag te beantwoorden?”
“Het kan ook zijn dat een leerling prima kan rekenen, alleen de vraag maakt hij fout omdat hij niet goed kan lezen. Dan vind ik het een niet zekere vraag. Dus dan zou je die marge groter kunnen maken op dat moment.”
Resultaten - Voorkeur
2.M = 2.63
3.M = 2.58
1.M = 3.06
4.M = 1.05
+ associatie- Breedte vervaging
+ Klein- Associatie
+ Associatie- Lange balken
+ Voldoende andere info- Inzicht betrouwbaarheid
Conclusies1. In hoeverre leidt weergave van meetfout vaker tot de beslissing aanvullende
informatie te verzamelen dan weergave zonder meetfout?
• Foutenbalk, maar precies afgelezen
2. Welke voorkeuren hebben leerkrachtenmet betrekking tot de meetfoutweergaves?
• Foutenbalk vervaging kleurintensiteit geen meetfout
• Misconcepties
Artikel:
Hopster-den Otter, D., Muilenburg, S. N., Wools, S., Eggen, T. J. H. M., & Veldkamp, B. P. (2019). Comparing the Influence of Various Measurement Error Presentations in Test Score Reports on Educational Decision-Making. Assessment in Education: Principles, Policy & Practice, 26(2), 123-142. doi:10.1080/0969594X.2018.1447908
Email: