meetfout in toetsrapportages. dorien... · 2019-10-09 · dorien hopster-den otter. cito ,...

Meetfout in toetsrapportages: Maakt het verschil?

DORIEN HOPSTER-DEN OTTER

CITO, UNIVERSITEIT TWENTE

Onderzoeksvragen

1. In hoeverre leidt weergave van meetfout vaker tot de beslissing aanvullende informatie te verzamelen dan weergave zonder meetfout?

2. Welke voorkeuren hebben leerkrachtenmet betrekking tot de meetfoutweergaves?

Vier weergaves

Op cesuur

Klein

Groot

Klein

Groot

Klein

Groot

Binnen cesuur

Buiten cesuur

vervagingkleurintensiteit

foutenbalkgeen meetfout

vervagingkleurintensiteit

foutenbalkgeen meetfout

vervagingkleurintensiteit

foutenbalkgeen meetfout

geen meetfout

kleurintensiteitfoutenbalk

geen meetfout

geen meetfoutvervaging

kleurintensiteitfoutenbalk

vervagingkleurintensiteit

foutenbalk

vervaging

3 posities x 2 groottes x 4 vormen = 24 weergaves

Kies uit:o Groep IIIo Groep IIo Groep Io Voor deze beslissing wil ik aanvullende

informatie over de leerling

Methode

•Vignettenvragenlijst• 337 leerkrachten

•Hardop denk protocollen• 14 leerkrachten

•Focusgroepen• 8 groepen, 37 leerkrachten

Kies uit:o Groep IIIo Groep IIo Groep Io Voor deze beslissing wil ik aanvullende

informatie over de leerling

Resultaten - BeslissingenGeen meetfout Vervaging Kleurintensiteit Foutenbalk

1. Op cesuur

a. Groot 69.4 69.4 67.4 66.8

b. Klein 63.8 67.1 60.5 71.5

2. Binnen cesuur

a. Groot 46.0 47.2 51.0 53.4

b. Klein 51.6 43.9 32.3 54.6

3. Buiten cesuur

a. Groot 13.1 16.3 21.4 18.7

b. Klein 18.1 14.5 9.8 20.8

Totaal 43.7 43.1 40.4 47.6

Resultaten - BeslissingenGeen meetfout Vervaging Kleurintensiteit Foutenbalk

1. Op cesuur

a. Groot 69.4 69.4 67.4 66.8

b. Klein 63.8 67.1 60.5 71.5

2. Binnen cesuur

a. Groot 46.0 47.2 51.0 53.4

b. Klein 51.6 43.9 32.3 54.6

3. Buiten cesuur

a. Groot 13.1 16.3 21.4 18.7

b. Klein 18.1 14.5 9.8 20.8

Totaal 43.7 43.1 40.4 47.6

Resultaten - Misconcepties“Misschien afwijkende cijfers van methodetoetsen ten opzichte van Cito. Dus dat de leerling bijvoorbeeld de Cito-toets heel goed maakt en de methodetoetsen heel slecht.”

“Misschien heeft een leerkracht dit toegevoegd. Hij is niet zeker van de toetsscore of hij heeft niet hetzelfde beeld van de leerling.”

“De uitkomsten zijn wel goed, maar hoe hij het heeft gedaan niet, of andersom”

“Of verandert het kind vaker van antwoord ofzo? Dat het kind twijfelt aan zichzelf”

“Het zou ook te maken kunnen hebben met tijdsduur: hoe lang doet een kind erover om een vraag te beantwoorden?”

“Het kan ook zijn dat een leerling prima kan rekenen, alleen de vraag maakt hij fout omdat hij niet goed kan lezen. Dan vind ik het een niet zekere vraag. Dus dan zou je die marge groter kunnen maken op dat moment.”

Resultaten - Voorkeur

2.M = 2.63

3.M = 2.58

1.M = 3.06

4.M = 1.05

+ associatie- Breedte vervaging

+ Klein- Associatie

+ Associatie- Lange balken

+ Voldoende andere info- Inzicht betrouwbaarheid

Conclusies1. In hoeverre leidt weergave van meetfout vaker tot de beslissing aanvullende

informatie te verzamelen dan weergave zonder meetfout?

• Foutenbalk, maar precies afgelezen

2. Welke voorkeuren hebben leerkrachtenmet betrekking tot de meetfoutweergaves?

• Foutenbalk vervaging kleurintensiteit geen meetfout

• Misconcepties

Artikel:

Hopster-den Otter, D., Muilenburg, S. N., Wools, S., Eggen, T. J. H. M., & Veldkamp, B. P. (2019). Comparing the Influence of Various Measurement Error Presentations in Test Score Reports on Educational Decision-Making. Assessment in Education: Principles, Policy & Practice, 26(2), 123-142. doi:10.1080/0969594X.2018.1447908

Email:

d.denotter@utwente.nl