教育部教學實踐研究計畫基於人工智慧評價 MOOC+SPOC

翻轉教學之學習成效

計畫主持人: 黃能富教授國立清華大學電機資訊學院院長共同主持人: 曾建維博士國立清華大學教務處教發中心

2

大綱

研究問題源起

研究方法設計

學習成效評量

3

清華大學MOOC 簡介

清華大學辦理台灣第一批磨課師計畫並於2013年9月30日上線。

． 2014 / 9 兩岸清華MOOC合作 (學堂在線、清華磨課師合作 –兩岸課程首創互換交流)

． 2016 / 2 大陸中國大學慕課合作 (林哲群財務管理、楊佳嫻細讀張愛玲獲獎)

． 2017 / 9 英國FutureLearn合作 (全英文課程 - 主軸為服務科學)

． 2017 / 9 GCMS 課程應用工具金獎 (應用知識地圖於磨課師學習診斷)

． 2018 / 1 榮獲教育部磨課師標竿課程 (焦傳金、黃能富與楊佳嫻教授)

【2018年教育部標竿課程獎】

4

學生在MOOC學習上會遇到一些困難

學生需要在學習環境中找到最適合的學習資源

MOOC 平台通常並不完全符合學習者的需求

AI Tutor - MOOC智慧推薦系統基於學習概念診斷

課程素材推薦

•經由Learning Assistant Module分析的結果

•教師可以知道學生的學習狀態

MOOC AI Tutor

5

MOOC AI Tutor

使用診斷模組和分群模組來輔助AI tutor

診斷模組：判斷學生是否暸解知識節點

分群模組：將學生的學習行為分群

6

使用聊天機器人來告訴學生的學習狀態並推薦他們複習特定章節影片或練習題

會自動使用文字問答來和學生互動並搜集資料

MOOC AI Tutor

7

所需素材

知識地圖

影片與練習題標註知識節點

參考書與課程投影片

互動式知識地圖Knowledge map

8

研究問題源起

研究動機：

利用MOOC實現翻轉教室(SPOC)的理念與教學。

以往評價MOOC課程僅用線上滿意度問卷，翻轉課程僅使用實體授課滿意度問卷。

蒐集MOOC的相關資訊進行資料分析，掌握每位同學的多個學習面向，利用大規模的數據分析改善課堂成效(ShareCourse 2.0)。

9

個人學習成效案例分析(雷達圖)

10

研究問題源起

研究動機：

本研究依據學習者特徵(Feature)建構機器學習模式，藉由大數據分析、機器學習的技術來制訂學習資料與指標。

打造ShareCourse 3.0 (AI Tutor) 平台，強化線上教學模式，提升適性化教學 (Adaptive Learning)與學術研究助益，使師生間互動更直覺且頻繁。

11

研究問題源起

研究目的：

建置MOOC AI Tutor學習輔助與素材推薦系統，並建立課程推薦模組 (Recommend Module)，與影片 (Video)、練習題 (Quiz)等課程元素推薦模組。

研製學習大數據分析預測模組，將學習者分群，制訂課程整體指標、學生學習活動分析指標與老師教學回饋分析指標。

12

研究問題源起

研究目的：

驗證SPOC班級使用 AI Tutor 學生之學習成效，在研究設定的翻轉教室學習環境中，採用 AI Tutor之學習者（實驗組）與不採用 AI Tutor 之學習者（控制組）在課程結束後，兩組學生學習成效、學習態度與學習感知是否有顯著差異。

13

研究方法設計

研究說明：

以計算機網路為教學內容。

以MOOC平台作為教學工具。

以測驗試題 (Quiz、Exam)和學生學習行為 (影片指標、評量指標、討論區指標、學習成效指標等)作為評量工具。

以MOOC平台以及研發的AI Tutor當作研究工具。

14

研究方法設計

研究步驟說明：

研究架構：以目前學聯網平台 ShareCourse 為架構進行大規模線上系統開發，主要開發三項子系統，分別為：診斷系統、分群系統與推薦系統，詳細架構圖如下圖。

152018/9/21

16

研究方法設計

研究假設：

在磨課師輔助之翻轉教室學習環境中，採用AITutor系統之學習者（實驗組）與不採用 AI Tutor系統之學習者（控制組）在課程結束後，實驗組學生學習成效、學習態度與學習感知具有顯著差異。

17

研究方法設計

研究範圍：

預計使用清華大學資訊工程學系黃能富教授的

「計算機網路概論」課程 (三學分, 大二大三選修課程)。9/2018 開授, 約140 位學生選課. ShareCourse 線上總共約 600 位選課.

「物聯網概論」課程 (三學分, 大二大三選修課程)。2/2019 開授, 預計約 40 位學生選課. ShareCourse 線上總共約 400 位選課.

研究對象：

清華大學電機資訊學院學生。

實施程序：

如下圖之研究流程圖。

18

研究方法設計

研究流程圖

19

學習成效評量

預期完成之教學成果：

檢視實驗組與控制組測驗成績級距與顯著差異，作為教師改進教學與評量之參考指標。

透過AI Tutor提供學員學習指引與輔助，提升學習動機與完課率。

20

學習成效評量

預期達成之學生學習成效：

設定學習資料與指標分析之項目，包括研究選定之課程整體數據分析、學生回饋分析、老師回饋分析與MOOC平台數據分析設計做為重點工作項目。

開發輔助課程平台的數據分析技術，讓MOOC學習環境更友善。

建立學習成效指標做為資料分析之用，指標內容如下表。

21

學習成效評量

預期達成之學生學習成效：

項目 特徵

課程整體指標

選修人數 通過人數 註冊人數：所有學生註冊總人數 完課率：上完課人數/註冊總人數 通過率：課程通過人數/上課總人數 輟學率：未完課人數/註冊總人數

學生學習活動分析指標

課程影片指標：觀看總次數、觀看總時間、觀看完成度、平均影片續看率

課程評量指標：課程練習題完成度、練習題答對率 討論區指標：討論次數、討論區活躍度 學習成效指標：期中考、期末考、課程作業、總成績

老師教學回饋分析指標

教學教材類型下載次數統計 作業/練習題答錯次數統計 影片章節觀看次數統計 學習活動類型統計 論壇回覆課程章節主題統計

22

學習成效評量

預期達成之學生學習成效：

設定學習資料與指標分析之項目，包括研究選定之課程整體數據分析、學生回饋分析、老師回饋分析與MOOC平台數據分析設計做為重點工作項目。

開發輔助課程平台的數據分析技術，讓MOOC學習環境更友善。

建構MOOC智能輔助TA系統，預計作為國內將來發展大規模線上課程翻轉教學之參考指標。

23

學習成效評量

預計教學成果公開發表分享之規劃：

將邀請教育學院共同辦理「MOOC AI Tutor教師研習與工作坊」，分享應用人工智慧技術於磨課師課程學習大數據分析與其成效。

深化教學成效與其學術理論之驗證，並發表研究論文至國際重要大數據分析、學習科技研討會，進行資訊融入於數位技術議題之論文發表。

24

學習成效評量

教學成果對教學社群可能產生之影響與貢獻：

將廣邀MOOC授課教師，以「翻轉教學教師社群」招集並討論MOOC與SPOC教學之差異，並邀請成效優良SPOC課程教師分享其課程開授方法與帶領學生之經驗，協助有興趣發展翻轉教學之教師經驗傳承。