meetfout in toetsrapportages . dorien...آ  2019-10-09آ  dorien hopster-den otter. cito ,...

Download Meetfout in toetsrapportages . Dorien...آ  2019-10-09آ  DORIEN HOPSTER-DEN OTTER. CITO , UNIVERSITEIT

Post on 05-Jul-2020

0 views

Category:

Documents

0 download

Embed Size (px)

TRANSCRIPT

  • Meetfout in toetsrapportages: Maakt het verschil?

    DORIEN HOPSTER-DEN OTTER

    CITO, UNIVERSITEIT TWENTE

  • Onderzoeksvragen

    1. In hoeverre leidt weergave van meetfout vaker tot de beslissing aanvullende informatie te verzamelen dan weergave zonder meetfout?

    2. Welke voorkeuren hebben leerkrachten met betrekking tot de meetfoutweergaves?

  • Vier weergaves

  • Op cesuur

    Klein

    Groot

    Klein

    Groot

    Klein

    Groot

    Binnen cesuur

    Buiten cesuur

    vervaging kleurintensiteit

    foutenbalk geen meetfout

    vervaging kleurintensiteit

    foutenbalk geen meetfout

    vervaging kleurintensiteit

    foutenbalk geen meetfout

    geen meetfout

    kleurintensiteit foutenbalk

    geen meetfout

    geen meetfout vervaging

    kleurintensiteit foutenbalk

    vervaging kleurintensiteit

    foutenbalk

    vervaging

    3 posities x 2 groottes x 4 vormen = 24 weergaves

    Kies uit: o Groep III o Groep II o Groep I o Voor deze beslissing wil ik aanvullende

    informatie over de leerling

  • Methode

    •Vignettenvragenlijst • 337 leerkrachten

    •Hardop denk protocollen • 14 leerkrachten

    •Focusgroepen • 8 groepen, 37 leerkrachten

    Kies uit: o Groep III o Groep II o Groep I o Voor deze beslissing wil ik aanvullende

    informatie over de leerling

  • Resultaten - Beslissingen Geen meetfout Vervaging Kleurintensiteit Foutenbalk

    1. Op cesuur

    a. Groot 69.4 69.4 67.4 66.8

    b. Klein 63.8 67.1 60.5 71.5

    2. Binnen cesuur

    a. Groot 46.0 47.2 51.0 53.4

    b. Klein 51.6 43.9 32.3 54.6

    3. Buiten cesuur

    a. Groot 13.1 16.3 21.4 18.7

    b. Klein 18.1 14.5 9.8 20.8

    Totaal 43.7 43.1 40.4 47.6

  • Resultaten - Beslissingen Geen meetfout Vervaging Kleurintensiteit Foutenbalk

    1. Op cesuur

    a. Groot 69.4 69.4 67.4 66.8

    b. Klein 63.8 67.1 60.5 71.5

    2. Binnen cesuur

    a. Groot 46.0 47.2 51.0 53.4

    b. Klein 51.6 43.9 32.3 54.6

    3. Buiten cesuur

    a. Groot 13.1 16.3 21.4 18.7

    b. Klein 18.1 14.5 9.8 20.8

    Totaal 43.7 43.1 40.4 47.6

  • Resultaten - Misconcepties “Misschien afwijkende cijfers van methodetoetsen ten opzichte van Cito. Dus dat de leerling bijvoorbeeld de Cito-toets heel goed maakt en de methodetoetsen heel slecht.”

    “Misschien heeft een leerkracht dit toegevoegd. Hij is niet zeker van de toetsscore of hij heeft niet hetzelfde beeld van de leerling.”

    “De uitkomsten zijn wel goed, maar hoe hij het heeft gedaan niet, of andersom”

    “Of verandert het kind vaker van antwoord ofzo? Dat het kind twijfelt aan zichzelf”

    “Het zou ook te maken kunnen hebben met tijdsduur: hoe lang doet een kind erover om een vraag te beantwoorden?”

    “Het kan ook zijn dat een leerling prima kan rekenen, alleen de vraag maakt hij fout omdat hij niet goed kan lezen. Dan vind ik het een niet zekere vraag. Dus dan zou je die marge groter kunnen maken op dat moment.”

  • Resultaten - Voorkeur

    2. M = 2.63

    3. M = 2.58

    1. M = 3.06

    4. M = 1.05

    + associatie - Breedte vervaging

    + Klein - Associatie

    + Associatie - Lange balken

    + Voldoende andere info - Inzicht betrouwbaarheid

  • Conclusies 1. In hoeverre leidt weergave van meetfout vaker tot de beslissing aanvullende

    informatie te verzamelen dan weergave zonder meetfout?

    • Foutenbalk, maar precies afgelezen

    2. Welke voorkeuren hebben leerkrachten met betrekking tot de meetfoutweergaves?

    • Foutenbalk vervaging kleurintensiteit geen meetfout • Misconcepties

  • Artikel:

    Hopster-den Otter, D., Muilenburg, S. N., Wools, S., Eggen, T. J. H. M., & Veldkamp, B. P. (2019). Comparing the Influence of Various Measurement Error Presentations in Test Score Reports on Educational Decision-Making. Assessment in Education: Principles, Policy & Practice, 26(2), 123- 142. doi:10.1080/0969594X.2018.1447908

    Email:

    d.denotter@utwente.nl

    Meetfout in toetsrapportages: �Maakt het verschil? Slide Number 2 Slide Number 3 Onderzoeksvragen Vier weergaves Slide Number 6 Methode Resultaten - Beslissingen Resultaten - Beslissingen Resultaten - Misconcepties Resultaten - Voorkeur Conclusies Slide Number 13