Learning Analytics: E-merging data into action

Wim SmitMaartje van den BogaardArno Knobbe

Er is veel bekend over studiesucces, maar dit is lastig te vertalen naar implicaties voor beleid.

We weten veel van studenten in relatie tot studiesucces.

Over de docent en over management-info en -sturing in relatie tot studiesucces weten we vrij weinig.

Kader

Onderwerpen

• Studeerbaarheid / Studiesucces

• Zoektocht naar key-factoren

• Interventie

• Zinvolheid van interventie (discussie)

Studie succes

Een taaie materie (zie volgende sheet)

Studiesucces in Delft

Oorzaken van (gebrek aan) studiesucces

• Het is een wet die niet aan verandering onderhevig is!

• Alles is al onderzocht! We weten alles al, het ligt nl. aan:

de student / de leerstijl / studentmotivatie / zittenblijven / opleiding ouders / VWO cijfers / geslacht / verwachtingen t.a.v. opleiding / academische integratie / woonsituatie / gebrekkige aansluiting met vooropleiding / intenties / gebrek aan financiële prikkels / de crisis / et cetera

Theoretisch model voor eerstejaars studiesucces in engineering

Student-dispositie variabelen Motivatie, Intenties, Academisch zelfvertrouwen

Kwaliteit van onderwijsklimaat

zoals ervaren door studenten. Docenten,

Assessment, Faciliteiten,

Onderwijsorganisatie

VoortgangBehaalde studiepunten

Onderwijs-kenmerken

Studiegedrag“Time on task”Studiestrategie

Student-kenmerken

Sociale omgeving

Input OutputThroughput

Maartje van den Bogaard 2011

Zoektocht naar key-factoren

Een aanpak, gebaseerd op aanpak in andere situaties

Zoektocht naar key-factoren

Een aanpak, gebaseerd op aanpak in andere situaties

De computer ideeën uit ruwe data laten halen, die je zelf niet (niet zo makkelijk) had kunnen verzinnen

Een paar begrippen:

• Big Data

• Datawarehouse

• Datamining

Big Data• Omvangrijk, heel veel data • Afkomstig van meerdere, verschillende bronnen• Ook van “nieuw soort bronnen” als social media• Ook real time data• In bedrijfsleven gebruikt om business voordeel te

behalen

Big Data dimensies (bron IBM)

Veracity

Volume Variety Velocity

Datawarehouse (klassiek model…)

Datamining

‘Extractie van interessante - niet-triviale, impliciete, vooraf ongekende en mogelijk bruikbare – patronen

of kennis uit grote hoeveelheden data’

Gekozen Datamining techniek• Clustering

• Classificatie

• Exploratief Subgroup Discovery

• Regressie

• Associatie

Subgroup Discovery‘In a database, find descriptions of subgroups that show

an unusual distribution compared to the entire population, with respect to a property of interest’

Oftewel: vindt groepen met afwijkende kenmerken t.o.v. de grote massa.

Subgroup Discovery

Hiermee kan je in een heterogene populatie homogene subgroepen ontdekken. Er zijn geen voor-gedefinieerde clusters aanwezig.

Doel: Vindt afwijkende (mogelijk onverwachte) subgroepen met overeenkomstige kenmerken als basis voor sturing

Voorbeeld (gehele populatie)

Verband:prijs huis oppervlak perceel

Arn

o K

nob

be,

2009

Voorbeeld database: details van verkochte huizen in Canada

Subgroep beschrijving: • oprit• geen kelder• max 1 badkamer

helling trend:prijs/m2 = 3.3 $

Rest van populatie

helling trend:prijs/m2 = 8.45 $

GevondenSubgroep Restant

Terug naar studiesucces

Van den Bogaard’s model: correlations cohort 2009

student

docent

management

ministerie

arbeidsmarkt

Vrij veel

Niet zoveel

Hoeveel weten we al over studiesucces en mogelijke meerwaarde van LA?

Wim Smit, Maartje vd Boogaart, Arno Knobbe Emerging data into action

student docent slb-er opl man CvB

- stakeholders -

individu

groep

cursus

opleiding

instituut

landelijk-

Ag

gre

ga

tie

niv

ea

u v

an

da

ta -

★

★

★ ★

★

★

★

★

★

★

★

★

Insteek bij LA

In dit project

Opzet van het project• Stap 1: data scraping, verzamelen en samenbrengen van

relevante en beschikbare data.• Stap 2: datamining, het bepalen van subgroepen met

bepalende kenmerken.• Stap 3: het analyseren van de – op basis van de datamining –

geïdentificeerde subgroepen van studenten; en het selecteren van die subgroepen die betekenisvol zijn in relatie tot het doel.

• Stap 4: het omschrijven van mogelijke acties en maatregelen op het niveau van de (onderwijs-) organisatie, van groepen studenten en van individuele studenten

Ambitie• in samenhang analyseren van een grote

verscheidenheid aan datasets• identificeren van patronen in studentengedrag die

een voorspellende waarde hebben voor hun studieresultaat

• met als doel het vroegtijdig doen van interventies die het studieresultaat verhogen

Beoogde resultaten• inzicht in de bruikbaarheid van de techniek van

datamining• inzicht in patronen in studentengedrag die van

invloed zijn op hun studieresultaten• inzicht in mogelijke interventies richting organisatie,

groepen en/of individuele studenten

Instellings-web

Studieloopbaan begeleider

BlackBoard

Studievoortgang registratie bijv. Osiris

Voetstappen

Werkwijze in beeld

databank

Eesysoft

studievoortgang

Blackboard, etc. Osiris, e.a.

acties op instellings-web

sub-groep

sub-groep

sub-groep

1. Data scraping

4. Acties / maatregelen

Onderwijskundig inzicht

Data-

Gezond verstand

individuen groepen organisatie

Studenten, kenmerken

Praktijkervaring van datamining

0. Voetsporen

2. Data mining

3. Interpretatie

Data Scraping

Datamining

Analyse

Sturing

Hobbels? Waar… En welke ???

varkentje

Dat varkentje wassen we wel even

Maar (1)…• “Echte” Big Data is er niet

(met features als welk tijdstip, hoelang gebruikt, in welke volgorde, door wie, met welke toepassing, in welke context, …..)

• In datasets die er zijn, is toegankelijkheid voor LA vaak niet meegenomen in de architectuur(toegangscontrole op verschillende niveau’s)

Maar (2)…

• Afspraken rond privacy vaak onduidelijk• Er wordt veel gelogd, maar weinig opgeslagen• Stap van losse datasets naar grote bak met data is in

de praktijk moeilijker te realiseren• Heeft i.h.a. geen prioriteit voor DBA’s

Osiris, e.a.Osiris, e.a.

Discussie