De interuniversitaire voortgangstoets geneeskunde

-ervaringen en recenteervaringen en recente

ontwikkelingenontwikkelingen

Arno Muijtjens, Jean van Berlo, Jimmie Leppink, Annemarie Camp,Marieke van Onna, Theo Eggen, Jeroen Donkers

Universiteit Maastricht, iVTG, Cito Arnhem

InhoudInhoud

• Voortgangstoetsing

• Verbeteringen

• Aanpak

• Stand van zaken• Stand van zaken

i t i it i V t t t G k dinteruniversitaire Voortgangstoets Geneeskunde

• betreft komplete kennisdomein van een basisarts

• 4x per jaar afgenomen bij alle geneeskunde studenten van 5 NL universiteiten

• gezamenlijke constructie, gelijktijdige afname, dezelfde normen, regels en richtlijnendezelfde normen, regels en richtlijnen

• 200 meerkeuzevragen per toetsnieuw geconstrueerde toets bij elke afname• nieuw geconstrueerde toets bij elke afname

• 6-jarig curriculum, 24 meetmomenten

Voorbeeld VTvraagVoorbeeld VTvraagEen jongen van 15 jaar presenteert zich met recidiverende buikpijn en bloed en slijm bij de ontlasting. Tevens blijkt hij pneumaturie te hebben De meest waarschijnlijke diagnosepneumaturie te hebben. De meest waarschijnlijke diagnose is

A. coeliakie;B colitus ulcerosa;B. colitus ulcerosa;C. morbus Crohn;D salmonelloseD. salmonellose.

[Categorie spijsverteringsstelsel][Categorie spijsverteringsstelsel]

Blauwdruk VT geneeskundeBlauwdruk VT geneeskundeDisc Discipline Cat Category AN Anatomy 01 Respiratory System BC Biochemistry 02 Blood and Lymph System CH Surgery 03 Musculoskeletal SystemCH Surgery 03 Musculoskeletal SystemDE Dermatology 04 Mental Health Care EP Epidemiology 05 Reproductive System FA Pharmacology 06 Cardiovascular System FY Physiology 07 Hormones and MetabolismFY Physiology 07 Hormones and MetabolismGY Obstetrics and Gynaecology 08 Dermis and Connective Tissue HG Family medicine 09 Personal and Social Aspects IN Internal medicine 10 Digestive System KG P di t i 11 Kid d U i S tKG Paediatrics 11 Kidneys and Urinary SystemKN Ear, Nose, Throat 12 Nervous System and Senses MC Clinical Genetics 13 Molecular and Cellular Aspects ME Metamedical Sciences 14 Epistemology and Methodology NE Neurology 15 Stages of Life OH Ophthalmology 16 Knowledge of Skills PA Pathology 17 Preventative Health Care PS Psychology and PsychiatryPS Psychology and Psychiatry SG Surgery

Blauwdruk VT geneeskundeBlauwdruk VT geneeskundeDisc Categories g

01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 Total

AN 2 1 2 1 1 1 1 1 1 1 12 BC 1 1 1 1 1 1 1 1 1 9 CH 1 1 3 1 1 1 2 4 1 2 17CH 1 1 3 1 1 1 2 4 1 2 17 DE 5 5 EP 7 7 FA 1 1 1 1 1 1 1 1 8 FY 1 1 1 1 2 1 1 1 1 10 GY 4 2 1 1 2 10GY 4 2 1 1 2 10 HG 1 1 1 1 1 1 1 1 1 1 1 1 7 1 20 IN 6 1 2 6 1 2 3 3 1 1 1 1 1 29 KG 1 1 1 1 1 1 1 1 1 1 1 11 KN 1 3 4 MC 1 2 1 4 8MC 1 2 1 4 8 ME 2 4 2 1 9 NE 1 5 1 7 OH 2 1 1 4 PA 1 1 1 1 1 1 1 1 1 1 10 PS 9 5 1 1 16PS 9 5 1 1 16 SG 2 2 4

Total 16 10 13 12 11 15 10 10 12 12 14 19 9 9 7 15 6 200

ResultatenBerekening en1977 Start Voortgangstoets UM

1999 iVTG, 3 NL geneesk. facult.

Berekening en Rapportage

2005 Vosys toetsserv. systeem UM

2007 +2 5 (of 8)

Vosys DBExport naar ProF

2009 ProF longitudinale feedback Item/ToetsC t tiConstructie

&Beoordeling

Wat moet verbeterdWat moet verbeterd

• Technische infrastructuurTechnische infrastructuur• Faciliteiten docenten bij schrijven en beoordelen items• Duurzame interuniversitaire samenwerkingDuurzame interuniversitaire samenwerking• Kennis-uitwisseling

Oplossingen (project VGTogether)

• Centrale generieke technische infrastructuur• Item and toets constructie en beoordelingssysteemItem and toets constructie en beoordelingssysteem• Business model• Kennisomgeving – www.ivtg.nlKennisomgeving www.ivtg.nl

2011 VGTogether:Resultaten

Berekening en2011 VGTogether:Verbetering item constructie-en beoordelingsfaciliteiten

Berekening en Rapportage

Vosys DBExport naar ProF1. Workflow/Requirements

Item/Toets Update

q

Constructie&Beoordeling

UpdateVosys2. Inventarisatie bestaande

systemen

3 S l ti ‘b t ’ t

IMS DB

3. Selectie ‘beste’ systeem

Item Management System (IMS) ontwikkeld door de Universiteit

IMS Item/Toets

ontwikkeld door de Universiteitvan Heidelberg (Duitsland)

gebruikt door 50% van de D IMS Item/ToetsConstructie & Beoordeling

gebruikt door 50% van de D med. facult. voor itembanking

Problemen papieren VTProblemen papieren VTL i ti k• Logistiek: 4 x per jaar 7500 studenten tegelijkertijd t ttoetsen

• Inefficiente kennismeting: alle studenten dezelfde 200 vragen

• Multimediale mogelijkheden: gering

• Flexibiliteit in tijd en plaats: geringj p g g

Computergestuurd adaptief toetsen(CAT)

• Individuele toets, automatisch afgestemd h t k i i d t d top het kennisniveau van de student

• Toets kan gemaakt worden op willekeurige plaats en tijdplaats en tijd

• Uitgebreide multimediale mogelijkheden

Adaptief toetsen

Vraag 1

Vraag 2

Vraag 3

Vraag 4

Vraag 5

Vraag 6

Vraag 5

Vraag 7 Student

Kennisniveau/moeilijkheidKennisniveau Student

Nodig voor CATNodig voor CATG k lib d it b k• Gekalibreerde itembankmoeilijkheid (en andere item parameters)

t b k d ijmoeten bekend zijn

• Methodes&programmatuur voor– Kalibratie (IRT-model) – Selectie van geschikte vragen– Toetsafname– Normen– Rapportage van resultaten

Project AdaPT(Adaptive Progress Testing)

• Onderzoekt hoe CAT toegepast kan worden g pbij Voortgangstoetsing

• Nieuwe aspecten CAT-PT:veelomvattende toets (groot kennisdomein)veelomvattende toets (groot kennisdomein)longitudinale toets

AanpakAanpak• Kalibratie wordt gebaseerd op bestaande PT data:

items & scores van de december VT’s 2005-2011

• Prototype voor computergestuurde adaptieve voortgangstoetsing (CAT-PT)voortgangstoetsing (CAT PT)

• Pilot-experimenteno e pe e e

• Resultaten:Voor- en nadelen CAT-PT vs. papieren voortgangstoets,Pakket van eisen voor overgang van Papier naar CAT

Geschikte items voor CATGeschikte items voor CAT

• Criterium:profiel P-waarde over jaargroepenp j g p

• Groei items• Groei-items

• Sprong-items

BehandelmomentBehandelmoment

BehandelmomentBehandelmoment

December VTs 2005-2011 (totaal 1400 items)( )

TenslotteTenslotteProjecten VGTogether and AdaPT

V b t t t t i• Verbeteren voortgangstoetsing,stimuleren toepassing ervan elders in het hoger onderwijsonderwijs

• Stimuleren samenwerking tussen instituten op nationale S u e e sa e e g usse s u e op a o a een Europese schaal

• Gesubsidieerd door SURF, initiator van ICT-innovatie in het hoger onderwijs