Online toetsing
• Kennistoetsing– Vooral spelend rondom inzet van gesloten vragen in
onderwijs (automatisch afhandelbaar)• Vaardigheden toetsing
– Geschikt voor hogere orde cognitieve kennis, probleemoplossing of zelfs vaardigheden, vb toets communicatievaardigheden Fontys
Wat is het belang van toetsing
Functies van toetsen• Als middel en/of als doel• Formatief en/of summatief• Summatieve toetsing stuurt het leerproces in sterke mate
• Met ICT middelen zou toetsing nuttiger, praktischer, doeltreffender, handiger, goedkoper kunnen worden?
• Wat is effectief en efficiënt toetsen• Vertrouwd rijtje criteria
– Betrouwbaarheid– Validiteit– Uitvoerbaar (evenwicht in baten en kosten)
Voor- en nadelen, kansen en bedreigingen van (online) toetsen met ICT
– Voordelen/kansen/baten• Meer tijd- en plaatsonafhankelijk• Integratie met e-learning• Gestructureerder itembanking -> hogere kwaliteit
toetsvragen en toetsen• Directe feedback• Multimediale elementen/simulaties• Adaptief toetsen
– Nadelen/bedreigingen/kosten• Arbeidsintensief• Afhankelijk van techniek• Andere organisatie noodzakelijk
Toetscyclus voor (kennis)toetsing
Toetsbeheer
Samenstellentoets
Sanctioneren
Scannen
Analyseren
Construerenitems/toetsen
Evalueren Ontwerpen
Afnementoets
Drie Organisatieregels
• ontkoppelen - specialisatie - schaalvergroting - continuïteit
– Ontkoppelen van toetsinhoud en toetsuitvoering – Ontkoppelen van onderwijs en toetsing– Ontkoppelen van toetsmateriaal en toetsmiddel
Organisatieregel A: ontkoppelen van toetsinhoud en toetsuitvoering
• Docent (of groep) verzorgt onderwijs, docent maakt toetsvragen, docent geeft opzet toets aan toets- en IT-specialist verenigd in ‘toetsservicecentrum’
→ toetsservicecentrum organiseert toetsafname / toetsverwerking / terugkoppeling
• Voordelen:– Uitvoeringskosten lager voor de organisatie– Docent meer tijd voor doceren (effectief voor docent)
Organisatieregel A: ontkoppelen van toetsinhoud en toetsuitvoering - pogingen
• HBO– Hanzehogeschool
• WO– Technische Universiteit Delft
• Mechanica onderwijs, toetsing met Tempo+ en Presto+
– KU Leuven en Dundee University
• Bank/Verzekering (Lamark)– Borging van kwaliteit toetsing bij Bank
Organisatieregel A: ontkoppelen van toetsinhoud en toetsuitvoering
• Problemen om dit op korte termijn op te lossen– Geen organisatie– Geen beveiligde toetszaal
• Toetszaal is duur?• Baten onduidelijk?
• Vergt:– Relatief weinig visie– Een redelijke dosis geld
Stelling A
• Het is noodzakelijk om toetsinhoud en toetsuitvoering van elkaar los te koppelen!
Organisatieregel B: ontkoppelen van onderwijs en toetsing
• Toetsing wordt door ‘extern’ lichaam vormgegeven en uitgevoerd (beroepsorganisatie, speciale commissie, speciale organisatie intern).M.a.w. naast uitvoering, ook inhoudelijke ontkoppeling docent-toetsing of zelfs opleiding-toetsing
• Waarom:– Een hogere kwaliteit van toetsing– Een onderling vergelijkbare kwaliteit en niveau van
toetsing– Uitvoeringskosten lager voor de organisatie– Docent meer tijd voor doceren
Organisatieregel B: ontkoppelen van onderwijs en toetsing
– Voortgangstoets (Maastrichts model)
– Gestandaardiseerde vaktoets (2e graads lerarenopleiding Ton Plug)
– Anders WO/HBO?
Organisatieregel B: ontkoppelen van onderwijs en toetsing
• Waarom moeilijk!– Vergt visie– Vergt beleid– Vergt doorzettingsvermogen– Vergt stabiel vakgebied– Vergt leiderschap– Vergt tijd– Vergt consensus– Vergt veel
Stelling B
• Onderwijs en toetsing moeten van elkaar losgekoppeld worden!
Aandeel diverse actoren in toetscyclus
inhoud
(toets)techniek
docent
toetsservice bureau (itembankbeheer,
toetsdeskundige, beveiligde toetsomgeving
docent
opleiding, beroepenveld
Gewenste ontwikkelrichting
Efficiëntie-gebied formatief toetsen
Individuele docent
Veel afnamesWeinig afnames
open vragenSerie MC
vragen, pen en papier
serie MC toetsen,
online met ELO
complexe vaardigheden toetsen met speciaal
toetsprogramma
Beveiligde toetsomgeivng met toetsservice bureau
toetsservice bureau
Efficiëntie-gebied summatief toetsen
Individuele docent
Veel afnamesWeinig afnames
open vragenSerie MC
vragen, pen en papier
serie individuele kennistoetsen, online met toetsprogramma in
kleine zaaltjes
serie individuele kennistoetsen, online met toetsprogramma in
beveiligde omgeving
serie individuelevaardigheden toetsen, online met
toetsprogramma in beveiligde omgeving
toetsservice bureau
Beveiligde toetsomgeving met toetsservice bureau
Organisatieregel C:Ontkoppelen toetsmaterialen en toetsmiddel
• Toetsmaterialen worden onafhankelijk van de “afspeelomgeving” (het toetsmiddel) opgeslagen
• Gebruik is mogelijk voor zowel online als offline toetsen (beeldscherm en papier)
Organisatieregel C:Ontkoppelen toetsmaterialen en toetsmiddel
• Voordelen / Kansen– Itembanking → uitwisseling– Voorkomt ‘vendor-lockin’
• Nadelen/bedreigen– Kleinste gemene deler (?)– Nog geen stabiele afspraken
Organisatieregel C:Ontkoppelen toetsmaterialen en toetsmiddel
• Waarom?– Levensduur items v.s. levensduur software– Diversiteit gebruikte software (= goed!)– Noodzaak van schaalvergroting
• Waarom niet?– Technisch niet eenvoudig– Cultuur
• Not invented here… (geloof ik niet)• Docent wil in ELO ontwikkelen (!)
Organisatieregel C:Ontkoppelen toetsmaterialen en toetsmiddel
Wie is er al mee bezig?
• Digitale Universiteit– Grafische integratie
• SURF– Tender 2004
• Thieme Meulenhoff– Onderzoek hergebruik toetsmaterialen
Organisatieregel C:Ontkoppelen toetsmaterialen en toetsmiddel
Wie is er al mee bezig?
• TOIA– QTI gebaseerd systeem voor HO in VK
• Fontys– Elektronische beheren en verwerken van
papieren toetsen
Stelling C
• Toetsmaterialen en toetsmiddel moetenmoeten van elkaar los gekoppeld worden!
Organisatorische en technische stellingen op een rij….
• Het is noodzakelijk om toetsinhoud en toetsuitvoering van elkaar los te koppelen!
– Sterker nog: onderwijs en toetsing moeten van elkaar losgekoppeld worden!
• Toetsmaterialen en toetsmiddel moeten van elkaar los gekoppeld worden!