webináře 2014: martin hlosta, zdeněk zdráhal "ouanalyse: odhalování rizikových studentů...
TRANSCRIPT
Odhalování rizikových studentů v distančních kurzech na Open University
Datum: 01.12.2014
Autor: Martin Hlosta,
KMi – The Open University
• Knowledge Media institute
• The Open University
• Milton Keynes
Bletchley Park
(code breakers,
A.Turing)
VŠ v ČR vs. MOOC vs.
The Open University
Prezenční ČR ( = FIT VUT ) MOOC (Coursera) The Open University
Prezenční Distanční – Online Distanční (Online + ostatní zdroje)
>20 000 studentů na VUT (2010)
>10mil. uživatelů (10/2014) > 200 000 studentů (2013)
1 Kurz = 1 semestr cca 13týdnů obvykle do 10 kreditů
1 kurz = 4 - 8 týdnů 1kurz = Typicky >30 týdnů (60 kreditů)
Stovky Tisíce až stotisíce Stovky až tisíce
Úspěšnost předmětů: většinou > 70 % (2005 - 2010)
Většina < 13% Proměnlivá – ze začátku studia některé < 50%
Zdarma Zdarma (většinou) / signature track (30GBP = cca 1000 Kč)
Placené (2 632 GBP = cca 90 000 Kč)
Průběh kurzu
Exam/Project TMA n TMA2
FAIL
Start TMA1
Pass/Distinction
20
21
20
20
20 students / tutor
Student Support Team (SST)
Payment Payment
…
Tutor Marked Assignment (TMA)
VLE VLE VLE
VLE = Virtual Learning Environment
OU Analyse
• Data Prediktivní Aplikace
modelování a nasazení
Z jakých dat ?
• Statická –
Demografická
• Dynamická
– VLE
– Výsledky z
průběžných zkoušek
(TMA)
Data z VLE
• Interakce studentů ve výukovém prostředí
– Moodle
• Cca 30 různých „Activity types“
– Forum activity (F – forumng)
– Resource activity (R – resource)
– View of test assignment (OU – Oucontent)
– Online learning materials activity (U – url)
– …
Co predikovat?
We are here
History we know Future we can estimate
– Významnost zkoušek - v pozdějších fázích
výsledky předchozích TMA nejvýznamnější
ukazatele úspěchu v kurzu
– Predikce úspěchu v nejbližší TMA
Proč už 1. TMA ?
• Studenti, kteří selžou při 1. TMA mají
vysokou pravděpodobnost selhání celého
kurzu (>95%)
We need to start predicting before 1. TMA
Prediktivní modelování
• Z jakých dat trénovat modely ?
– Předchozí běh kurzu
– B (jaro) vs. J (podzim) běh
• Čištění dat, integrace – >80% času
• Výběr příznaků – pro každý týden
– mRMR: minimum-redundancy maximum-
relevance algoritmus
Prediktivní modely
VOTING
> 2 votes
≤ 2 votes
CART (Classification and Regression Tree)
kNN - Demographic - VLE
Bayes
Co dál s predikcemi?
TUTOR
Nasazení
• 2 pilotní kurzy (1 500, 3 000 studentů), různé obory, vysoký počet neúspěšných studentů
• evaluace pomocí klasifikačních metrik
• průzkum u tutorů, manuální vyhodnocení
• Další krok: Predikce a evaluace vzhledem k intervencím
Useful? Number Percentage Perc. of yes+no
yes 12 46.15% 70.59%
no 5 19.23% 35.71%
Don’t know 9 34.62% -
Total 26 26 (100%) 17 (100%)
Aplikace – dashboard
Module (celý kurz)
Aplikace – dashboard: Student
Analýza chování studentů
• Markovský řetězec – bez paměti
• Chování před 1. TMA
• Důležité aktivity ve VLE
– Př: Homepage (H), URL (U), Subpage (S),
OU_content (O)
HS H UHS OHS OUH N O S UH U OH OU OUS OUHS OS US
Start
Pass Fail No submit TMA-1 time
VLE opens
Start
Activity space
HS H UHS OHS OUH N O S UH U OH OU OUS OUHS OS US
HS H UHS OHS OUH N O S UH U OH OU OUS OUHS OS US
HS H UHS OHS OUH N O S UH U OH OU OUS OUHS OS US
HS H UHS OHS OUH N O S UH U OH OU OUS OUHS OS US
HS H UHS OHS OUH N O S UH U OH OU OUS OUHS OS US
HS H UHS OHS OUH N O S UH U OH OU OUS OUHS OS US
Start
Pass Fail No submit TMA-1 time
VLE opens
Start
HS H UHS OHS OUH N O S UH U OH OU OUS OUHS OS US
HS H UHS OHS OUH N O S UH U OH OU OUS OUHS OS US
HS H UHS OHS OUH N O S UH U OH OU OUS OUHS OS US
HS H UHS OHS OUH N O S UH U OH OU OUS OUHS OS US
HS H UHS OHS OUH N O S UH U OH OU OUS OUHS OS US
HS H UHS OHS OUH N O S UH U OH OU OUS OUHS OS US
VLE trail: successful student
Start
Pass Fail No submit TMA-1 time
VLE opens
Start
HS H UHS OHS OUH N O S UH U OH OU OUS OUHS OS US
HS H UHS OHS OUH N O S UH U OH OU OUS OUHS OS US
HS H UHS OHS OUH N O S UH U OH OU OUS OUHS OS US
HS H UHS OHS OUH N O S UH U OH OU OUS OUHS OS US
HS H UHS OHS OUH N O S UH U OH OU OUS OUHS OS US
HS H UHS OHS OUH N O S UH U OH OU OUS OUHS OS US
VLE trail: student who did not submit
PP. model: Markovský řetězec
time
TMA1
VLE
start
Lessons learned
– Odhalit rizikové studenty co nejdříve
– Neustále feedback od cílových uživatelů
– Rychle vyvinout prototyp aplikace, proof of concept, pro demonstraci
– Prezentace/výstavy zdánlivě berou čas, ale jsou výborné jako deadlines (ospravedlnění půlnočních prací)
– Začátek jde rychle, ale v málo lidech s rostoucím rozsahem projektu roztříštěnost lidí a přestává být čas na vývoj rozšíření týmu
Co děláme a co budeme dělat
• Škálování nasazení na více kurzů
• Zvýšení automatizace celého procesu
• Predikce
– Informace o intervencích
– Tuning modelů + nové modely
• Student Activity Recommender
• Frontend redesign
