Good Practices
Aspecten van Learning Analytics bij een digitale leeromgeving
André Heck
Universiteit van Amsterdam
SURF-project COACH
1. Context
2. Vormgeving van ICT Wiskunde
3. Learning Analytics
4. Resultaten
5. SIGs Digitaal Toetsen en Learning Analytics
• Matige basisvaardigheden wiskunde bij studenten die in hoger onderwijs starten
• Beperkte tijd beschikbaar om wiskunde kennis en vaardigheden van instromers op te frissen, omhoog te krijgen en te houden
• Grote aantallen studenten: 350 1stejaars Psychobiologie,250 1stejaars Bio-medische wetenschappen & Biologie
1. Context
• Heterogene instroom: N&G/N&T profiel, Wiskunde A/B• Wens bij levenswetenschappen UvA: Wiskunde leren in context• Beperkte contacttijd: Zelfstudie met feedback via de digitale leeromgeving • Wiskunde verplicht onderdeel van 1stejaars vak: score ³ 8 op elke digitale toets is een voorwaarde tot slagen; ook wiskundevragen op het tentamen
Cohort bij COACH experiment• 308 studenten psychobiologie 2013-2014• 253 studenten biologie & bio-medische wetenschappen 2014-2015• Gegevens van studenten zijn verzameld bij binnenkomst via digitale, thuis in te vullen enquete: leeftijd, geslacht, wiskundige vooropleiding, profielkeuze, eindcijfer vwo-wiskunde, mate van wiskunde- en toetsangst, etc.• Diagnostische toets algebraïsche vaardigheden op vwo-A niveau
Psycho-biologie 2013-2014
Biomedische wetenschap 2014-2015
Biologie2014-2015
aantal studenten
308 186 67
geslacht man / vrouw
86 / 222 72 / 113 41 / 26
vwo-wiskunde A / B
101 / 189 49 / 119 26 / 38
profiel NG / NT 184 / 103 110 / 63 41 / 23
gem. cijfer vwo-wisk. (SD)
6.8 (1.0) 6.7 (1.0) 6.6 (0.7)
gem. cijfer en-treetoets (SD)
6.6 (1.8) 7.0 (1.6) 6.8 (1.7)
2. Vormgeving van ICT Wiskunde
• College+(optioneel) werkcollege/vragenuur + digitale oefening en zelfstudie
• Digitale contextrijke lesmodules met theorie, gerandomiseerde voorbeelden en oefeningen
• Mengsel van gerandomiseerde context-sommen en kale wiskundesommen
• ±25 korte digitale formatieve toetsen(MAAR vereiste score ³ 8 voor elke toets)
• Digitale feedback voor student en docent• Forum + email-ondersteuning door docent
Feedback voor student en docent• Gerandomiseerde uitgewerkte voorbeelden• Formatieve en adaptieve feedback op
antwoorden in oefeningen• Eindeloze kans op verbetering bij toetsen
(MAAR vereiste score ³ 8.0 voor elke toets)• Summatieve feedback via score overzicht• Vorderingen bij te houden op allerlei niveaus• Student dashboard
(learning analytics experiment COACH)
Implementatie
• via SOWISO omgeving voor het leren, oefenen en toetsen van wiskundewww.sowiso.nl
• (desgewenst) toegankelijk via eigen cursus website
• SURF conext login met uvanet-id met automatische toewijzing aan cursus waarvoor met is ingeschreven
Enkele screen shots volgen
Oefening met feedback op maat
Computeralgebra systeem (Macsyma) is noodzakelijk
Invoer en weergave van wiskundige formules moet flexibel zijn en standaarden volgen
Een gerandomiseerd uitgewerkt antwoord
Herhaling van uitwerkingen in theorieblok
Hints en stapsgewijs oefenen
Computerscherm als werkblad
Vraag en antwoord op het forum
Verschillende voortgangsrapportages voor student en docent
3. Learning Analytics“Verzamelen, analyseren en rapporteren van data over studenten en hun omgeving ten behoeve van het begrijpen en verbeteren van het onderwijs en de omgeving waarin dit onder- wijs plaatsvindt” (SoLAR)
Duur van LA cyclus varieert van• 1 cyclus per cursus (vakevaluatie)
• Vele korte cycli (instant feedback)
Één cyclus: Registratie, verwerking en analyse (achteraf) van gebruikersdata
• Studentgegevens: profielkeuze (NG/NT); wiskunde-achtergrond (vwo A/B); eindexamencijfer(s) voor vwo wiskunde; resultaat van diagnostische entreetoets; deeltentamencijfer(s) en eindcijfer 1stejaarsvak; testresultaat m.b.t. wiskundeangst; testresultaat m.b.t. toetsangst
• Activiteitgegevens: (deel)scores; antwoorden; fouten; pogingen; tijdsduur
• Analyse van effecten van indicatoren op studiegedrag en studieresultaten
• Analyse van moeilijkheden in onderdelen
Kanttekeningen
• Dataverwerking tijdrovend • Analyses pas achteraf
Resultaten pas nuttig voor • cursus volgend studiejaar• bijspijkeren na de cursus • hergebruik verbeterde leerbronnen, c.q.
items uit vragenbank
Vele cycli: actuele inzichten in studiegedrag en studievoortgang
COACH project (juni 2013-2014) Sander Latour, Natasa Brouwer, Alan Berg, Chiel Kooijman, Steven Laan, Auke Wiggers SOWISO, Perceptum
• Uitgangsituatie: – studenten gebruiken verschillende online leeromgevingen– goede studenten starten tijdig met leren, anderen stellen uit
• Doel: Ontwerp en implementatie van – learning record store (opslag van studie data uit diverse bronnen)
– overkoepelend student dashboard (representatie van nuttige samengestelde data
Constructive Overview Aggregating Comparative Hits
Opzet experiment COACH• Student centraal
Onderzoeksvraag: Helpt het overkoepelend dashboard COACH de student een meer actieve studiehouding te ontwikkelen en leidt het gebruik tot een groter studiesucces?
• Stappen experiment– verzamelen data - drie leeromgevingen– opslaan data - Learning Record Store– visualiseren data - Student dashboard
• Experimentele groep / Controle groep – Random verdeling in twee groepen– Groep A ziet dashboard, groep B ziet geen dashboard
site met opgaven
Data flow tijdens experiment
COACHConstructive Overview Aggregating Comparative Hits
SOWISO
Khan Academie
LRS
Aggregatie
Patronen
Groep B “zonder”
Groep A “met”
COACH is:● een student dashboard dat● Data uit bronnen samenvoegt● TinCan / xAPI gebaseerd is● Expermenteel getoets is.
COACH dashboard geeft:● actueel activiteitenoverzicht● positionering t.o.v. anderen● aanbevelingen
● Relatieve voortgang in vergelijking met andere studenten● Gebaseerd op cumulatieve score op korte digitale toetsen● Bedoeld als informatie en niet als oordeel
Dit ben jezelfDit zijn andere studenten
Vergelijking met anderen
Aanbevolen leerbronnen● Suggestie van activiteiten om een bepaalde mijlpaal (toets) te halen● Gebaseerd op wat anderen gedaan hebben om de mijlpaal te halen● Activiteiten worden gewogen op basis van plaats, duur en uitkomst● Activiteiten worden niet aanbevolen als de student ze al gedaan heeft● Duidelijke aanbeveling bovenaan in de lijst; obscuurdere suggesties later
33
COACH Dashboard -videos
COACH Dashboard -toetsen
• Welke toetsen heb ik gedaan?• Wat heb ik daar gescoord?
COACH Dashboard - aanbevelingen
● Toets als context van de aanbeveling
● Gebruik voor de toets wordt geanalyseerd
● Volgorde wordt meegenomen
● Resultaten gesorteerd op bewijs en zekerheid
Analyse cursuscyclus• Participatie• Evaluatie
– Psychobiologie 2013-2014Inleiding Cognitieve Neurowetenschappen
– Biologie, Bio-medische wetenschappen 2014-2015Biochemie, bio-organische chemie en celbiologie
4. Resultaten
Participatie (308 psychobiologiestudenten)
In 4 weken tijd:• 11154 korte toetsen gemaakt
– gemiddeld 36 toetsen per student• 77666 toetsvragen
– gemiddeld 252 toetsvragen per student• 81371 oefeningen gemaakt
– gemiddeld 259 oefeningen per student
Werkverdeling in cursusperiode
Werkverdeling per dag
Werkverdeling per uur
naar evaluatie
Participatie (253 studenten biologie en biomedische wetenschappen)
In 7 weken tijd:• 8941 korte toetsen gemaakt
– gemiddeld 35 toetsen per student• 64066 toetsvragen
– gemiddeld 253 toetsvragen per student• 54609 oefeningen gemaakt
– gemiddeld 216 oefeningen per student• 22639 theorieblokken geopend
– gemiddeld 90 theorieblokken per student
Werkverdeling in cursusperiode
Werkverdeling per weekdag
Werkverdeling per uur
Evaluatie van ICT Wiskunde (beide vakken)
• Wiskunde niet populair, maar goed te doen• Weinig uitstelgedrag (studenten werken hard)
• Voldoende tijd voor het maken van opdrachten• Minder fouten in laboratoriumwerk met
wiskundige berekeningen(denk aan verdunningsreeksen, pH berekening, etc.)
• Studenten hebben behoefte of vinden prettig– Uitgewerkte voorbeelden – Uitleg door docent, tutoren & medestudenten– Contacttijd (voor moeilijkere onderwerpen)
• Digitale omgeving ondersteunt zelfstudie
“Als laatste wilde ik zeggen dat ik manier van toetsen en de feedback die bij de oefenvragen komt, wel erg fijn vond. Zo kon je snel dingen weer op halen en het anderen makkelijker uitleggen!”
• Studenten maken weinig of geen gebruik van kennisclips
Kennelijk volstaan gerandomiseerde uitgewerkte voorbeelden
• Geen verschil in tentamenscores studenten met/zonder dashboard
Ervaringen met COACH dashboard
• Technische hobbels (meer dan voorzien):e-mail accounts, schaalbaarheid LRS, dataverwerking
• Acceptatie van studentenook wat betreft van geven van achtergrondgegevens
• Neutrale respons t.a.v. bedoeling, werking en nut van student dashboard
• Weinig gebruik gemaakt van dashboard (nadelig beinvloed door duur en opzet cursus?)
Vervolgstappen
• Vervolgonderzoek in langere cursussen binnen levenswetenschappen
• Herimplementatie van learning record store
en COACH student dashboard
• Verdergaande digitalisering van wiskunde onderwijs en samenwerking met anderen
Wat doet de SIG Digitaal Toetsen?• Kennis bundelen: nieuwe ontwikkelingen in Nederland en daarbuiten volgen en
signaleren. • Kennis delen: bij elkaar brengen van experts, docenten en projectmedewerkers
maar ook uitwisseling van toetsmateriaal en het gebruik van standaarden die dit mogelijk maken stimuleren.
• Kennis verspreiden: de collectieve expertise over didactiek, technologie en organisatie beschikbaar stellen voor belangstellenden.
• Waar vindt u de SIG Digitaal Toetsen?• SURFspace: www.surfspace.nl/toetsen geeft een overzicht van kennisbronnen
en links over digitaal toetsen. Veel bijdragen op deze site zijn afkomstig van leden van de SIG. Op het forum worden discussies over digitaal toetsen gevoerd.
• Bijeenkomsten: de SIG Digitaal Toetsen organiseert regelmatig bijeenkomsten waar experts van de onderwijsinstellingen elkaar ontmoeten en actuele ontwikkelingen met elkaar delen.
SIG Digitaal Toetsen
Wat doet de SIG Learning Analytics?• Kennis delen: het uitwisselen van informatie, nieuws en best practices. • Kennis bundelen: bij elkaar brengen van experts, docenten, studenten
en andere belangstellenden.• Kennis genereren: samen nieuwe inzichten ontwikkelen op
bijeenkomsten en in focusgroepen.
• Waar vindt u de SIG Learning Analytics?• SURFspace: een online platform met nieuws, blogs en literatuur over
learning analytics: www.surfspace.nl/learninganalytics • Bijeenkomsten: de SIG Learning Analytics organiseert regelmatig
bijeenkomsten, bijvoorbeeld bij SURFacademy, het professionaliseringsprogramma van SURF.
SIG Learning Analytics