owd2012 - 2,3 - studiesucces verhogen met learning analytics - jeroen donkers
TRANSCRIPT
![Page 1: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers](https://reader035.vdocuments.mx/reader035/viewer/2022062710/559ed26d1a28abb50b8b47dc/html5/thumbnails/1.jpg)
Jeroen Donkers, Universiteit Maastricht, O&O
Profanalytics.blogspot.nl
![Page 2: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers](https://reader035.vdocuments.mx/reader035/viewer/2022062710/559ed26d1a28abb50b8b47dc/html5/thumbnails/2.jpg)
Gefinancierd door Surf (Innovatieprogramma learning analytics)
Looptijd: maart-september 2012
Opdracht van WiV
Projectteam: ◦ Jeroen Donkers, Jean van Berlo, Daniëlle
Verstegen, Arno Muijtjens, Guido Tans, Peter Bex
![Page 3: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers](https://reader035.vdocuments.mx/reader035/viewer/2022062710/559ed26d1a28abb50b8b47dc/html5/thumbnails/3.jpg)
4 x per jaar, 8000 studenten geneeskunde in 5 instellingen tegelijkertijd
200 MCQ vragen (met vraagteken) over de hele stof
Relatieve normering
![Page 4: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers](https://reader035.vdocuments.mx/reader035/viewer/2022062710/559ed26d1a28abb50b8b47dc/html5/thumbnails/4.jpg)
![Page 5: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers](https://reader035.vdocuments.mx/reader035/viewer/2022062710/559ed26d1a28abb50b8b47dc/html5/thumbnails/5.jpg)
Relatie tussen het gebruik van ProF en de voortgangstoets-resultaten
◦ Bepalen wat te meten
◦ Aanpassen van het ProF systeem om te meten
◦ Verzamelen van data
◦ Analyse en datamining
◦ Vertaling van de resultaten
Vervolg: longitudinale effecten, visualisatie
![Page 6: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers](https://reader035.vdocuments.mx/reader035/viewer/2022062710/559ed26d1a28abb50b8b47dc/html5/thumbnails/6.jpg)
We hebben ProF aangepast zodat het met Piwik kan werken:◦ Piwik-koppeling is configureerbaar in ProF
◦ Navigatie via URLs is consequenter gemaakt
◦ User-defined variabelen voor o.a. Userid
◦ Piwik-sessie starten bij inloggen gebruiker
◦ Opt-out mogelijkheid
We gebruiken de piwik API om gedetailleerdegebruiksdata in XML vorm te downloaden
![Page 7: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers](https://reader035.vdocuments.mx/reader035/viewer/2022062710/559ed26d1a28abb50b8b47dc/html5/thumbnails/7.jpg)
![Page 8: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers](https://reader035.vdocuments.mx/reader035/viewer/2022062710/559ed26d1a28abb50b8b47dc/html5/thumbnails/8.jpg)
Data verzameld in periode mei-juni
De data uit Piwik is gekoppeld met de uitslagen van de voortgangstoets van mei
Analyse met behulp van Projet R
RapidMiner, Kmine, ProM 6.1 (process mining)
![Page 9: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers](https://reader035.vdocuments.mx/reader035/viewer/2022062710/559ed26d1a28abb50b8b47dc/html5/thumbnails/9.jpg)
Meer gebruikt in het eerste jaar
Veel gebruikt in jaar 1 Maastricht, voornamelijk door het portfolio
Gebruik van ProF in Mei-Juni 2012 onder reguliere studenten die de Mei-toets 2012 hebben meegedaan
jaar UM LUMC UMCN UMCG TOTAAL
1 72.1% 207 287 14.0% 31 222 28.0% 89 318 4.3% 15 345 29.2% 342 1172
2 11.5% 33 287 9.7% 22 226 27.5% 99 360 10.7% 38 354 15.6% 192 1227
3 14.9% 46 309 11.9% 26 219 11.4% 35 308 12.6% 47 373 12.7% 154 1209
4 11.1% 27 243 6.8% 15 220 7.3% 22 301 5.5% 22 398 7.4% 86 1162
5 27.8% 74 266 2.3% 4 175 5.6% 17 306 8.7% 26 298 11.6% 121 1045
6 16.0% 13 81 2.4% 5 207 10.2% 22 215 10.5% 31 294 8.9% 71 797
totaal 27.2% 400 1473 8.1% 103 1269 15.7% 284 1808 8.7% 179 2062 14.6% 966 6612
![Page 10: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers](https://reader035.vdocuments.mx/reader035/viewer/2022062710/559ed26d1a28abb50b8b47dc/html5/thumbnails/10.jpg)
Goede studenten gebruiken ProF meer dan studenten met een onvoldoende
In jaar 4-6 is dat niet significant
TOTAAL ALLEEN REGULIERE STUDENTEN ZONDER Vumc
TOTAAL toetsresultaat
jaar onvoldoende voldoende goed alles
1 14.9% 22 148 28.3% 196 693 37.5% 124 331 29.2% 342 1172
2 8.7% 18 206 11.7% 76 648 26.3% 98 373 15.6% 192 1227
3 10.8% 22 203 10.1% 69 684 19.6% 63 322 12.7% 154 1209
4 5.6% 10 179 6.1% 40 655 11.0% 36 328 7.4% 86 1162
5 6.8% 9 133 12.2% 72 588 12.3% 40 324 11.6% 121 1045
6 3.1% 4 127 8.8% 37 420 12.0% 30 250 8.9% 71 797
alles 8.5% 85 996 13.3% 490 3688 20.3% 391 1928 14.6% 966 6612
![Page 11: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers](https://reader035.vdocuments.mx/reader035/viewer/2022062710/559ed26d1a28abb50b8b47dc/html5/thumbnails/11.jpg)
0 20 40 60 80 120
0.0
00.0
50.1
00.1
5
ALLES
numactions
0 20 40 60 80 120
0.0
00.0
50.1
00.1
5
ONVOLD
numactions[outcome == 0]
0 20 40 60 80 120
0.0
00.0
50.1
00.1
5
VOLD
numactions[outcome == 1]
0 20 40 60 80 120
0.0
00.0
50.1
00.1
5
GOED
numactions[outcome == 2]
![Page 12: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers](https://reader035.vdocuments.mx/reader035/viewer/2022062710/559ed26d1a28abb50b8b47dc/html5/thumbnails/12.jpg)
Gamma is -0.246: Slechte studenten hebben langere sessies dan goede
Veel sessies met maar één actie!
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%
50%
1 2-5 6-20 >20
Perc
enta
ge v
an d
e se
ssie
s
Lengte van de sessie in aantal acties
Onvold
Vold
Goed
![Page 13: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers](https://reader035.vdocuments.mx/reader035/viewer/2022062710/559ed26d1a28abb50b8b47dc/html5/thumbnails/13.jpg)
Weinig patroon in volgorde: process miningleverde niet veel op
Daarom vooral naar tellingen gekeken: hoe vaak kijken studenten naar bepaalde deel aspecten
![Page 14: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers](https://reader035.vdocuments.mx/reader035/viewer/2022062710/559ed26d1a28abb50b8b47dc/html5/thumbnails/14.jpg)
(-Inf,0] (0.25,0.5]
Alles
0200
400
(-Inf,0] (0.25,0.5]
Onvold
05
15
25
(-Inf,0] (0.25,0.5]
Vold
050
150
(-Inf,0] (0.25,0.5]
Goed0
50
100
Verdeling fractie paginas met details
(-Inf,0] (0.25,0.5]
Alles
0400
800
(-Inf,0] (0.25,0.5]
Onvold
020
40
60
(-Inf,0] (0.25,0.5]
Vold
0100
300
(-Inf,0] (0.25,0.5]
Goed
0100
200
Verdeling fractie paginas met cumulatieve
(-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1]
Alles
0200
400
(-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1]
Onvold
010
30
(-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1]
Vold
050
150
(-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1]
Goed
050
100
Verdeling fractie paginas met momentaan vs longitudinaal
(-Inf,0] (0.25,0.5] (0.75,1]
Alles
0200
500
(-Inf,0] (0.25,0.5] (0.75,1]
Onvold
010
20
30
40
(-Inf,0] (0.25,0.5] (0.75,1]
Vold0
100
200
(-Inf,0] (0.25,0.5] (0.75,1]
Goed
050
150
Verdeling fractie paginas met goedscore
![Page 15: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers](https://reader035.vdocuments.mx/reader035/viewer/2022062710/559ed26d1a28abb50b8b47dc/html5/thumbnails/15.jpg)
Piwik is erg nuttig
Door koppeling van gebruik aan toetsdatakrijgen we nuttige informatie over hoe studenten met het systeem omgaan
Dit levert ons kennis om◦ Het systeem aan te passen: andere openingspagina
◦ Instructie te verbeteren: omgaan met cumulatieve, scoresoorten, ect
We gaan door met meten om longitudinale effecten te kunnen meten
![Page 16: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers](https://reader035.vdocuments.mx/reader035/viewer/2022062710/559ed26d1a28abb50b8b47dc/html5/thumbnails/16.jpg)
Je moet veel tools aan elkaar koppelen –kennis van (script)talen (php, perl, sql, R) is daarbij handig
Werken met R bleek handiger dan met mooie intractieve tools als RapidMiner, Knime en ook PROM 6.1
Privacy: mogen we dit zomaar allemaal doen?