Using the EdX Platform to Teach a Residential Course at Harvard: What 

We LearnedDan Levy, Mae Klinger and Teddy Svoronos

Harvard Kennedy School06‐05‐14

Agenda

1. Background

2. Using EdX Edge as the Course Page for a Residential Course 

3. Using EdX Edge for Hosting Online Modules

4. Wish List

5. Discussion 

Agenda

1. Background

2. Using EdX Edge as the Course Page for a Residential Course 

3. Using EdX Edge for Hosting Online Modules

4. Wish List

5. Discussion 

Audience Poll: Which aspect of the presentation topic interests you the most?

A. Using edX as the course page for a residential course

B. Using edX to host and deploy online modules

C. Interested in both

0% 0%0%

What is your role at the university?

A. ITB. Teaching & LearningC. Library ServicesD. FacultyE. StudentF. Finance/HR/Adminis

tration/Other

A. B. C. D. E. F.

0% 0% 0%0%0%0%

1 ‐ Background

Why did we do this?

• Experiment with edX

• Understand the potential and limitations of the edX platform to:• Teach a residential course• Host and deploy online modules

Course and Student Background

Course• Stats Course at the Kennedy School• Required for first year MPA‐ID 

students• Taught by Dan Levy

Students• 73 students• Heterogeneous academic 

background

Number of previous stats courses taken

2 – How We Used EdX Edge as the Course Page for a Residential Course

Criteria EdX Edge  Supplementary ToolsCourse‐page basics

Ease‐of‐use

Hosting Online Modules

Wiki

Quizzing

Data analytics

Surveying

Assessing Edx Edge at the Outset

Criteria EdX Edge  Supplementary ToolsCourse‐page basics

Ease‐of‐use

Hosting Online Modules

Wiki

Quizzing

Data analytics

Surveying

Assessing Edx Edge at the Outset

Criteria EdX Edge  Supplementary ToolsCourse‐page basics Dropbox

Ease‐of‐use

Hosting Online Modules YouTube

Wiki

Quizzing Qualtrics

Data analytics Qualtrics, YouTube

Surveying Qualtrics

Assessing Edx Edge at the Outset

1 – Platform was effective for providing access to announcements/schedule and course materials

2 ‐ Platform was effective for hosting and combining module content in different media (video, text, images, quizzes, links)

3 – Platform lacked a quick way to see real time data on student performance and activity

3 – Platform lacked a quick way to see real time data on student performance and activity

EdX Qualtrics

Quizzing Strategy

• EdX– Practice quizzing within module– Formative– Students see results

• Qualtrics– End‐of‐module quizzing– Summative– Teaching team sees results

3 – Using Edx Edge for Hosting Online Modules

Key Feature: Online Modules• 6 online modules on key concepts:

– 15‐20 min of video, chunked into 3‐8 clips– Interspersed, ungraded practice quiz questions– End‐of‐module quiz (Qualtrics)– Brief end‐of‐module feedback survey (Qualtrics ‐randomized, to deliver short or longer surveys) 

Anatomy of a Module• Table of Contents and Navigation

Anatomy of a Module (Cont.)• Practice Quizzing and Video

Anatomy of a Module (Cont.)• Final Quiz and Module Feedback

How We Used Online Modules

How We Used Online Modules

Question 1

Question 2

Question 5

Question 4

Question 3

• Inform class plans – just‐in‐time teaching

How We Used Online Modules• Inform class plans – just‐in‐time teaching

How We Used Online Modules• Inform class plans – just‐in‐time teaching

How We Used Online Modules• Clicker question with peer discussion 

Initial

True 54%

False 39%

I don’t know 7%

How We Used Online Modules• Clicker question with peer discussion 

Initial After Peer Discussion

True 54% 28%

False 39% 57%

I don’t know 7% 16%

How We Used Online Modules• Clicker question with peer discussion 

Initial After Peer Discussion

After classwidediscussion

True 54% 28% 18%

False 39% 57% 66%

I don’t know 7% 16% 16%

3 – Using Edx Edge for Hosting Online Modules

Student Feedback

Summary Statistics: Averages for Modules 1‐6

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Very easy Easy A Bit Difficult Difficult

Ease of Navigation

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

 Too slow Slow Adequate Fast Too fast

Module Pace

Feedback

• Students appreciated ability to self‐pace and customize their approaches to the modules

• Students saw the value of the class modules in maximizing class time

• The inability to ask questions in real time was seen as ineffective for learning

4 – Wish List

Wish List

1. A data dashboard– Summary statistics

Wish List

1. A data dashboard– Quiz results

Wish List

1. A data dashboard– Student views, time in module

Timestamp FirstName LastName Score PercentViewed Status Duration11/3/2012 11:37StudentFirst StudentLast 33 58 Passed 00:00:05

10/12/2012 2:08StudentFirst StudentLast 100 46Incomplete 00:00:03

10/11/2012 18:29StudentFirst StudentLast 67 58 Passed 00:14:27

10/11/2012 17:08StudentFirst StudentLast 100 56Incomplete 00:53:27

10/11/2012 8:04StudentFirst StudentLast 67 53 Passed 00:15:5610/7/2012 22:07StudentFirst StudentLast 100 25 Passed 00:01:49

Wish List

1. A data dashboard– Summary of use patterns

Wish List

1. A data dashboard2. AB testing

Wish List

1. A data dashboard2. AB testing3. Branching

Source: http://elearninguncovered.com/2012/04/the‐thinking‐behind‐a‐branching‐scenario/

5 – Discussion

Using EdX to Teach a Residential Course: What We Learned

Dan Levy, Mae Klinger and Teddy SvoronosHarvard Kennedy School