owd2012 - 2 - voortgangstoetsen ervaringen en recente ontwikkelingen - arno muijtjens
TRANSCRIPT
De interuniversitaire voortgangstoets geneeskunde
-ervaringen en recenteervaringen en recente
ontwikkelingenontwikkelingen
Arno Muijtjens, Jean van Berlo, Jimmie Leppink, Annemarie Camp,Marieke van Onna, Theo Eggen, Jeroen Donkers
Universiteit Maastricht, iVTG, Cito Arnhem
InhoudInhoud
• Voortgangstoetsing
• Verbeteringen
• Aanpak
• Stand van zaken• Stand van zaken
i t i it i V t t t G k dinteruniversitaire Voortgangstoets Geneeskunde
• betreft komplete kennisdomein van een basisarts
• 4x per jaar afgenomen bij alle geneeskunde studenten van 5 NL universiteiten
• gezamenlijke constructie, gelijktijdige afname, dezelfde normen, regels en richtlijnendezelfde normen, regels en richtlijnen
• 200 meerkeuzevragen per toetsnieuw geconstrueerde toets bij elke afname• nieuw geconstrueerde toets bij elke afname
• 6-jarig curriculum, 24 meetmomenten
Voorbeeld VTvraagVoorbeeld VTvraagEen jongen van 15 jaar presenteert zich met recidiverende buikpijn en bloed en slijm bij de ontlasting. Tevens blijkt hij pneumaturie te hebben De meest waarschijnlijke diagnosepneumaturie te hebben. De meest waarschijnlijke diagnose is
A. coeliakie;B colitus ulcerosa;B. colitus ulcerosa;C. morbus Crohn;D salmonelloseD. salmonellose.
[Categorie spijsverteringsstelsel][Categorie spijsverteringsstelsel]
Blauwdruk VT geneeskundeBlauwdruk VT geneeskundeDisc Discipline Cat Category AN Anatomy 01 Respiratory System BC Biochemistry 02 Blood and Lymph System CH Surgery 03 Musculoskeletal SystemCH Surgery 03 Musculoskeletal SystemDE Dermatology 04 Mental Health Care EP Epidemiology 05 Reproductive System FA Pharmacology 06 Cardiovascular System FY Physiology 07 Hormones and MetabolismFY Physiology 07 Hormones and MetabolismGY Obstetrics and Gynaecology 08 Dermis and Connective Tissue HG Family medicine 09 Personal and Social Aspects IN Internal medicine 10 Digestive System KG P di t i 11 Kid d U i S tKG Paediatrics 11 Kidneys and Urinary SystemKN Ear, Nose, Throat 12 Nervous System and Senses MC Clinical Genetics 13 Molecular and Cellular Aspects ME Metamedical Sciences 14 Epistemology and Methodology NE Neurology 15 Stages of Life OH Ophthalmology 16 Knowledge of Skills PA Pathology 17 Preventative Health Care PS Psychology and PsychiatryPS Psychology and Psychiatry SG Surgery
Blauwdruk VT geneeskundeBlauwdruk VT geneeskundeDisc Categories g
01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 Total
AN 2 1 2 1 1 1 1 1 1 1 12 BC 1 1 1 1 1 1 1 1 1 9 CH 1 1 3 1 1 1 2 4 1 2 17CH 1 1 3 1 1 1 2 4 1 2 17 DE 5 5 EP 7 7 FA 1 1 1 1 1 1 1 1 8 FY 1 1 1 1 2 1 1 1 1 10 GY 4 2 1 1 2 10GY 4 2 1 1 2 10 HG 1 1 1 1 1 1 1 1 1 1 1 1 7 1 20 IN 6 1 2 6 1 2 3 3 1 1 1 1 1 29 KG 1 1 1 1 1 1 1 1 1 1 1 11 KN 1 3 4 MC 1 2 1 4 8MC 1 2 1 4 8 ME 2 4 2 1 9 NE 1 5 1 7 OH 2 1 1 4 PA 1 1 1 1 1 1 1 1 1 1 10 PS 9 5 1 1 16PS 9 5 1 1 16 SG 2 2 4
Total 16 10 13 12 11 15 10 10 12 12 14 19 9 9 7 15 6 200
ResultatenBerekening en1977 Start Voortgangstoets UM
1999 iVTG, 3 NL geneesk. facult.
Berekening en Rapportage
2005 Vosys toetsserv. systeem UM
2007 +2 5 (of 8)
Vosys DBExport naar ProF
2009 ProF longitudinale feedback Item/ToetsC t tiConstructie
&Beoordeling
Wat moet verbeterdWat moet verbeterd
• Technische infrastructuurTechnische infrastructuur• Faciliteiten docenten bij schrijven en beoordelen items• Duurzame interuniversitaire samenwerkingDuurzame interuniversitaire samenwerking• Kennis-uitwisseling
Oplossingen (project VGTogether)
• Centrale generieke technische infrastructuur• Item and toets constructie en beoordelingssysteemItem and toets constructie en beoordelingssysteem• Business model• Kennisomgeving – www.ivtg.nlKennisomgeving www.ivtg.nl
2011 VGTogether:Resultaten
Berekening en2011 VGTogether:Verbetering item constructie-en beoordelingsfaciliteiten
Berekening en Rapportage
Vosys DBExport naar ProF1. Workflow/Requirements
Item/Toets Update
q
Constructie&Beoordeling
UpdateVosys2. Inventarisatie bestaande
systemen
3 S l ti ‘b t ’ t
IMS DB
3. Selectie ‘beste’ systeem
Item Management System (IMS) ontwikkeld door de Universiteit
IMS Item/Toets
ontwikkeld door de Universiteitvan Heidelberg (Duitsland)
gebruikt door 50% van de D IMS Item/ToetsConstructie & Beoordeling
gebruikt door 50% van de D med. facult. voor itembanking
Problemen papieren VTProblemen papieren VTL i ti k• Logistiek: 4 x per jaar 7500 studenten tegelijkertijd t ttoetsen
• Inefficiente kennismeting: alle studenten dezelfde 200 vragen
• Multimediale mogelijkheden: gering
• Flexibiliteit in tijd en plaats: geringj p g g
Computergestuurd adaptief toetsen(CAT)
• Individuele toets, automatisch afgestemd h t k i i d t d top het kennisniveau van de student
• Toets kan gemaakt worden op willekeurige plaats en tijdplaats en tijd
• Uitgebreide multimediale mogelijkheden
Adaptief toetsen
Vraag 1
Vraag 2
Vraag 3
Vraag 4
Vraag 5
Vraag 6
Vraag 5
Vraag 7 Student
Kennisniveau/moeilijkheidKennisniveau Student
Nodig voor CATNodig voor CATG k lib d it b k• Gekalibreerde itembankmoeilijkheid (en andere item parameters)
t b k d ijmoeten bekend zijn
• Methodes&programmatuur voor– Kalibratie (IRT-model) – Selectie van geschikte vragen– Toetsafname– Normen– Rapportage van resultaten
Project AdaPT(Adaptive Progress Testing)
• Onderzoekt hoe CAT toegepast kan worden g pbij Voortgangstoetsing
• Nieuwe aspecten CAT-PT:veelomvattende toets (groot kennisdomein)veelomvattende toets (groot kennisdomein)longitudinale toets
AanpakAanpak• Kalibratie wordt gebaseerd op bestaande PT data:
items & scores van de december VT’s 2005-2011
• Prototype voor computergestuurde adaptieve voortgangstoetsing (CAT-PT)voortgangstoetsing (CAT PT)
• Pilot-experimenteno e pe e e
• Resultaten:Voor- en nadelen CAT-PT vs. papieren voortgangstoets,Pakket van eisen voor overgang van Papier naar CAT
Geschikte items voor CATGeschikte items voor CAT
• Criterium:profiel P-waarde over jaargroepenp j g p
• Groei items• Groei-items
• Sprong-items
BehandelmomentBehandelmoment
BehandelmomentBehandelmoment
December VTs 2005-2011 (totaal 1400 items)( )
TenslotteTenslotteProjecten VGTogether and AdaPT
V b t t t t i• Verbeteren voortgangstoetsing,stimuleren toepassing ervan elders in het hoger onderwijsonderwijs
• Stimuleren samenwerking tussen instituten op nationale S u e e sa e e g usse s u e op a o a een Europese schaal
• Gesubsidieerd door SURF, initiator van ICT-innovatie in het hoger onderwijs