「解析報告」約 10年間分のデータを解析した結果…大学の退学者予兆の傾向が見えた！ 

（株）デジタル・ナレッジ代表取締役 COO 　吉田 自由児

弊社デジタル・ナレッジ　紹介

2

デジタル・ナレッジの使命

「育つ喜びを全ての人へ」を使命とし、ＩＴで教育を支援する「学びの架け橋」の役割を担っています。

4

弊社概要

会社名 株式会社デジタル・ナレッジ

設立 １９９５年１２月

従業員数 １００名

所在地 【本社】 東京都台東区上野 5-3-4 　　　　 e ラーニング・ラボ 秋葉原【西日本支社】 大阪府大阪市西区江戸堀 1-12-8【九州支店】 福岡市博多区博多駅東 2-5-19

事業内容 e ラーニングの開発、サービス提供

5

７つの「ワンストップ」メニュー6

構築

クラウド 運用

製品 教材

募集

コンテンツ制作・収録コース教材提供インストラクショナルデザイン

受講者募集リアル・ Web プロモ

教室・ IT 機器タブレットクラウド、 ASP

ストリーミング

カスタマイズシステム連携

LMS 、マルチデバイス学習プラットフォーム

環境

支援スタッフ常駐業務委託

e ラーニングしかやってませんが、e ラーニングなら全てやってます。

1,200 を超える事例

7

1,200 を超えるお客様と構築した、e ラーニングソリューション実例・ノウハウがあります。

合弁会社8

株式会社デジタル・エデュケーショナル・サポート　大手前学園との合弁会社。高等教育機関向け e ラーニング運営会社。

株式会社デジタル・ナレッジ・ユニバーシティ・ラーニング　八洲学園、デジタルハリウッドとの合弁会社。学校向け e ラーニングサービス。

株式会社ドコモ gacco　 NTT ドコモとの合弁会社。 MOOC サービス gacco の運営。

株式会社 N-Academy　 NTT グループと立ち上げた消費者向 e ラーニングサービスの事業継続会社。

株式会社 Z 会ラーニングテクノロジ　 Z 会グループとの合弁で初等中等学校向け教育 ICT サービス会社。e ラーニング市場にてご一緒にビジネスを進めて

いく際、合弁事業方式を採るケースもあります。

9

・韓国サイバー大学調査報告書・韓国 e ラーニングビジネス調査報告書・情報処理推進機構（ IPA ）「ライブ研修」調査報告書・ e ラーニングにおけるコミュニケーション戦略・教職員 ICT スキルアップ教育調査報告書・オンライン音楽レッスン調査報告書・不動産証券化専門家養成 e ラーニング調査報告書・伊藤忠テクノソリューションズ e ラーニング活用調査報告書・研修認定薬剤師制度インターネット研修　調査報告書・八洲学園大学調査報告書・ iPad に関する意識調査報告書・ 2010 年新社会人の学習に関する調査報告書・教員に対する iPad の意識調査報告書・企業における研修担当者・受講者の意識調査報告書

・教員の来年度 ICT 予算に関する意識調査報告書

・教員のタブレット端末の授業利用に関する意識調査報告書・企業等の研修担当者に対する 2011 年度新入社員の タイプと研修に関する意識調査報告書・ 2011 年に取り組むべき経営課題に関する 意識調査報告書・社会人の“今後挑戦したい学習内容と学習手法” に関する意識調査報告書・東日本大震災の事業への影響とテレワーク（在宅勤務）導入に関する意識調査報告書・東日本大震災の教育への影響に関する意識調査報告書・ iPad を活用した学習の効果検証報告書・ SOHO 事業者・在宅ワーカーへの 業務委託に関する意識調査報告書・製造業の技術教育における e ラーニング利用に関する意識調査報告書・ビデオ教材（映像コンテンツ）の教育利用に関する意識調査報告書

教育とＩＴに関するテーマで毎月調査した調査報告書を無償公開しています。

業界発展、市場拡大へ10

e ラーニングの市場を拡大するための活動をしています。お客様の PR や情報収集にも役だっています。

「退学予兆」プロジェクト前夜

11

退学予兆ニーズ背景12

■ 学校の退学問題 収入減（学費） 定員充足率の低下 口コミ 他の学生への影響

■ 学生個人の問題 学生の将来

八洲学園大学13

２００４年に開学した通信制大学 日本で初めての「インターネットを活用した一度も来校せずに大学の卒業単位が取得」できる大学 メディア授業が特徴。通学制大学同様、１限 /2 限・・・の時間割があり、この時間帯で横浜校舎で授業を実施。同内容をリアルタイムにライブ配信している。 卒業生： 615 名、科目等履修生終了者： 1,000 名以上

(2015/9現在 ) 開学当初よりデジタル・ナレッジがシステム (eLY ）を提供。 開学当初はデジタル・ナレッジが一部運用業務も実施。

どうして「退学者予兆検出」か？14

以前にも増して退学者が増えている。社会的問題はさておくとして本人にとっても不利益だろう。 Learning Analytics の価値を示すものとして退学者予兆検出はわかりやすい。→手がけてみよう

どうやって進めよう？15

未来の退学者を予知するなんて、そんな夢みたいなことできるのか？　　　　　　　（映画：マイノリティ・リポート） どうやって実現すればいいのだろう？ → この手のことに詳しそうな身近な人に相談してみる。

相談相手16

早稲田大学　人間科学学術院教授松居 辰則 先生 知識情報科学、感性情報処理がご専門（実は私の大学の研究室の先輩・・・）

やりたいことの趣旨をお話しすると、進め方について具体的にアドバイスをいただく。 せっかくなので共同研究ということでご一緒することに。

当プロジェクト17

八州学園大学・大手前大学のデータを活用し、早稲田大学 )松居先生と共に産学連携プロジェクトを発足。 ２０１５年４月に共同研究スタート Blog で紹介したところ、結構な反響をいただく。https://www.digital-knowledge.co.jp/blog/archives/154/

「退学予兆」プロジェクトの進め方

18

進め方19

社内で関心の高い人たちをメンバーとして会議体を設置 松居先生との定例会議を行う メンバーで実際のデータ収集・分析作業を実施 八州学園大学さんのシステム (eLY)から、分析に役立ちそうなデータを推測し、 eLYから収集する 現場の方の知見を得る

運営スタッフに聞き取り調査 教員にアンケート調査

（やや本題から外れるが）初期でつまづく20

稼働中の大学のシステムから想定のデータを抜くのが一苦労 稼働開始から１０年を経過したシステムで、データ項目が不明→当時システムをメンテナンスしていたスタッフに入ってもらって、データ項目を調整し、なんとか抜いてくる。

あまり有意なデータが出ない21

退学者のデータ件数がそんなに多くないこともあり、松居先生の分析でも退学と強い相関関係もある行動は見受けられなかった。→ 「目的変数：退学」の解釈を厳密にしよう→退学予兆のモデルを再考しよう

「退学」の拡大22

• 当大学の運営上、「退学」は「よほど本人の意志が固く退学した人」である。• つまり、他の学校では退学になるような人が「退学」とならずに留まる傾向がある。• 運用の都合上、「退学」に至らなくても、学校からの案内の応じて「休学」したり「履

修登録をしない」状態が続いたりする人もいる。• これら「休学」や「履修登録をしない人」も「退学」と同じ位置付けで扱うものとする。

学生退学・退学予備群

退学者 休学者未履修

「退学」を拡大解釈し、「予備群」も含める。

「退学」の厳密化23

退学した人のデータをすべて退学者のデータとして扱うのではなく、在籍期ごとに評価し、退学直前期のみを退学者のデータとして扱う。

単位修得在籍１期目

単位修得在籍２期目

単位修得在籍３期目

退学在籍４期目

■ ４期目に退学した Aさんの「退学」の定義※この期間は問題なく在籍していた ※この期間に何らかの問題が生じた

通常の学生のデータとして処理 退学として処理

「かくれ退学」の定義24

学籍上は「在籍」しているものの退学相当とみなす条件を定め、退学同等のデータ処理を行う。

履修登録あり３期前

履修登録あり２期前

履修登録あり１期前

履修登録ゼロ直前期

■直前期履修登録ゼロだった Bさんの扱い「かくれ退学」とみなす

退学予兆の基本的な仕組み25

退学者のデータを観察し、そこに非退学者と異なる顕著な行動（退学前兆行動）がなかったか調べる。 在校生のデータを観察し、退学前兆行動がないかを調べる。退学前兆行動がある人は退学可能性が高いと判断。

学生退学者

退学者のみが取る行動（退学前兆行動）

在校生

退学可能性 -大

退学可能性 - 低

ありなし

退学前兆行動が

退学

26退学に至る仮説：『姿勢』

人はどうして退学をするのか？　退学理由を探ると「履修数減少」「成績不振」「欠席」などの理由を挙げるでしょう。ただ、これら理由は『事実』ですが、往々にして本当の『原因』ではありません。当プロジェクトでは『姿勢』に注目しました。『姿勢』とは、学習に向かう意欲や態度を指します。退学は「やる気の低下」「経済的理由」「家庭環境の変化」などの『原因』が元で生じます。その本当の理由が、『姿勢の変化』に現れるという仮説のもと進めています。この『姿勢の変化』を検知することが、今回の退学予兆検出で着目する点です。

『姿勢』の変化

原因やる気の低下関心の低下

優先度の低下「面倒」

家庭環境の変化

進路の悩み将来への不安経済的理由

事実

姿勢『姿勢の変化』検知

がポイント

履修数減少 成績不振 欠席

『姿勢』の変化

27『姿勢』とは？

• 授業へ向き合う気持ち、学習を続けようという意欲、目標達成のために頑張ろうというモチベーション、このようなものを当プロジェクトでは『姿勢』と呼びます。• 対面授業では先生が経験則的に『姿勢の変化』を汲み取っています。例えば授業中に各学生の出席状況、遅刻の有無、顔色、頷き、授業態度、座席位置などをもとに、「この学生はちょっと意欲が落ちているな・・・」など判断しているでしょう。• 当プロジェクトでは e ラーニングシステムに記録された学習履歴・活動履歴といった教育ビッグデータから、先生方が汲み取るような『姿勢の変化』をどう紡ぎ出し、ノウハウとして顕在化させるかがポイントです。• 『姿勢』の裏には『姿勢』に相関した『行動』があります。たとえばアクセス頻度、授業入退室時刻、質問回数などです。これら『行動』の変化で『姿勢の変化』を検知します。

『行動』の変化

『行動』の変化

『行動』の変化

姿勢に相関した行動の変化で

姿勢の変化を検知する

「退学者」の厳格化で、退学に相関関係の高いデータ項目が得られそう

28

「退学者」を厳格化し、「退学予備群」まで拡張したうえでいくつかの項目をグラフ化してみると、使えそうなデータがありそうな感じがする。

テクニカルな話・・・

29

期（ 2016 年 -春学期 )

教科１コマ ２コマ ３コマ ・・・・

教科１コマ ２コマ ３コマ ・・・・

教科１コマ ２コマ ３コマ ・・・・

履修登録

期（ 2015 年 -秋学期 )

期（ 2015 年 -春学期 )

授業の構造

オープンソースの R言語という環境を利用することが多い。（今回の退学予兆でも R を利用）

31

一般的な Learning Analytics の流れ

データ収集 クレンジングデータ加工 分析

可視化

自動化

一番手間がかかり、創意工夫が必要なプロセス

解釈

マシンまかせではなく、一連の流れを通して

人の解釈が必要。（腕の見せどころ）

RStudio 32

無料で利用できます

退学予兆検知に利用したデータ①33

# regist_num 当該期の履修登録数 ( ライブ以外の科目も含む )# season_span 開始期からの経過期数 ( 入学時 =1,以降 2,3,4... と加算される )# new_status 補正後の退学状況 (1: 退学 2: 退学予備群 (途中履修歯抜け ) 3: 退学予備群 (直近履修なし ) 100: 学生 101:卒業生 )# last_season_span 最終 season_span の番号、つまり在籍何期目かわかる。# is_last_season 当該期が最終期かどうか (1/0)

# LIVE.attend_num 該当コマで、当該受講者が出席したライブ授業数# LIVE.attend_rate 該当コマの当該受講者の出席率（ %表記）# LIVE.enter_diff_mean 該当コマの当該受講者の入室時刻のズレの平均値（分）。# LIVE.exit_diff_mean 該当コマの当該受講者の退室時刻のズレの平均値（分）。# LIVE.regist_num 当該期のライブ授業の履修登録数# LOGIN.times 該当コマのシステムへのログイン回数# LOGIN.days 該当コマでシステムにログインした日数# LOGIN.login_per_day 該当コマの 1 日あたりのログイン回数# LOGIN.day_login 該当コマの日次ログイン率 (%)(毎日ログインしていれば 100 、 7 日の所 1 日だけログインで 14.3)

退学予兆検知に利用したデータ②34

# ENQUETE.Q2_answer Q2 の回答：この授業内容に対して、あなたの満足度合いを 1( 低い )～ 5(高い ) で選択してください。# ENQUETE.Q1_1_answer Q1 の 1 の回答：【機能】機能が安定していて、安心して受講できた。# ENQUETE.Q1_2_answer Q1 の 2 の回答：【機能】音声や映像により教室の雰囲気が十分伝わった。# ENQUETE.Q1_3_answer Q1 の 3 の回答：【機能】板書エリアに表示される背景教材や、教員の板書が有効だった。# ENQUETE.Q1_4_answer Q1 の 4 の回答：【機能】チャット発言、理解度 (!や ?)やクイズが、授業内で有効に利用されていた。# ENQUETE.Q3_1_answer Q3 の 1 の回答：【満足】授業に「夢中」で取り組めたから。（集中）# ENQUETE.Q3_2_answer Q3 の 2 の回答：【満足】スキルや知識が「身に付いた」から。（スキル）# ENQUETE.Q3_3_answer Q3 の 3 の回答：【満足】新しい視点を得て「考えが豊かに」なったから。（価値観）# ENQUETE.Q3_4_answer Q3 の 4 の回答：【満足】この授業で得たものを実生活で「実践」できそうだから。（行動）# QA.times 該当コマ期間で当該受講者が質問した回数# QA.span_mean 該当コマ期間で当該質問者の質問から回答までに要した時間の平均値（ hour ）。# QA.times_per_day 該当コマ期間で当該受講者が１日あたりに質問した回数# BBS.times_per_day 該当コマ期間で当該受講者が１日あたりに BBS に投稿した件数

いくつかのデータをグラフ化してみる35

退学者と通常学生の間には行動の変化がみられる項目も。

特徴量の計算36

授業回 出席時刻1 9:002 9:123 9:084 9:155 8:58

■Aさんの出席時刻

授業回 出席時刻1 8:552 9:023 8:484 9:015 9:02

■Bさんの出席時刻

たとえば出席時刻と退学の相関を調べるにしても、出席時刻の生データだと使いにくい。

演算

2

3なんらかの演算処理をして、１つの数字におきかえる。特徴量として、元のデータの意味を数値化

退学予兆検知に利用した特徴量算出のための演算処理

37

1. 入力ベクトルの平均値2. 入力ベクトルの標準偏差3. 入力ベクトルの増減数（増加）4. 入力ベクトルの増減数（減少）5. ゼロ /NA を含む入力ベクトルの要素出現率6. 前半と後半の値の変化量　（後半サマリ - 前半サマリ） ÷ベクトル要素数7. 特異点の数　（箱ひげ図のヒゲ範囲外）8. 特異点の数　（範囲拡大：箱ひげ図のボックス外 )9. 特異点の数　（範囲拡大・超過：箱ひげ図のボックス外 & オーバー )10. 特異点の数　（範囲拡大・減少：箱ひげ図のボックス外 & アンダー )

学習

38

八洲学園大学をはじめとするオンライン通信制大学の教育ビッグデータから、各学生・各在籍期ごとに全 23項目に整理し、検証用データを作成。（例：ログイン回数／ライブ授業入退出時間／質問件数／授業後アンケート回答結果／掲示板利用率・・・）この検証用データのそれぞれの項目に対し 10 通りの特徴量算出のための演算を行い、全 230パターンからなる行動モデルを構築。

学生学生学生

教育ビッグデータ

学習・行動履歴

教育ビッグデータの整理

検証用データの作成

各学生・各期ごとのデータ２３項目/ 学生・期

行動モデルの構築

行動モデル(230パターン )

特徴量演算処理(10 通り )

行動モデル

相関関係を調べる39

気温

ビール売上

相関関係： X が増加すると Y も増加する関係 逆相関関係： X が増加すると Yは減少する関係 相関係数：２つの変数の間の相関関係の強弱を数値で示したもの。－１　～　１の数字で表され、プラスだと相関関係、マイナスだと負の相関関係。絶対値の大きさで関係性の強さを表す。

40アソシエーション分析（相関関係のあぶり出し）

学習・行動履歴データ説明変数

結果：目的変数（退学）

相関関係

• 結果と相関関係の高い学習・行動履歴データを見つけ出す。• これにより、「結果」に誘導するためには、どの学習・行動履歴データに注目すればよいかがわかる。

指導のノウハウとして形式化で

きる。

230通りの行動モデルの相関をとってみた

41

２３項目のデータ×

１０通りの特徴量演算

退学 (withdraw) と強い相関関係にある項目は、

いくつかありそう。

42決定木による分析・予測

学習・行動履歴データ

結果のステータス

（退学）

• 退学にいき着くまでの遷移を学習・行動履歴データから導き出し、決定木を作成する。• これにより、現在の学習・行動履歴データをもとに先の退学の予測を行うことができる。

学習

43

八洲学園大学をはじめとするオンラインで教育を提供する正規大学の教育ビッグデータから、各学生・各在籍期ごとに全 23項目に整理し、検証用データを作成。（例：ログイン回数／ライブ授業入退出時間／質問件数／授業後アンケート回答結果／掲示板利用率・・・）この検証用データのそれぞれの項目に対し 10 通りの演算を行い、全 230パターンからなる行動モデルを構築。そして行動モデルをもとに有意な行動を選出し、マシンラーニング的手法で決定木を作成することで、退学につながる行動を特定し退学へのプロセスを解明しました。

学生学生学生

教育ビッグデータ

学習・行動履歴

教育ビッグデータの整理

検証用データの作成

各学生・各期ごとのデータ２３項目/ 学生・期

行動モデルの構築

行動モデル(230パターン )

評価用演算処理(10 通り )

退学につながる行動の算出

有意な行動の特定

決定木の算出（退学プロセス）

実証方法

結果

44

45

下記項目が退学につながる姿勢の変化と相関関係の高い行動であることが特定されました。1. 「授業終了後の退室時間、授業の回ごとに増加もしくは減少する傾向に要注意」→授業終了後も教室にダラダラと残ったり逆にサッサと早く退室する傾向が続くと、「姿勢」が悪化している傾向が見られます。

2. 「会議室での発言が突然増減するのは要注意」→普段会議室へ積極的に発言している人の発言数が突如減少したり、普段あまり発言しない人が突如発言数が増加した場合、「姿勢」が悪化している変化が見られます。

3. 「質問数の増減には要注意」→質問件数が徐々に増加もしくは減少することが「姿勢」の悪化につながる傾向が見られます。

4. 「授業後アンケートの特定質問と退学の相関関係が強い」→授業後毎回収集する授業後アンケートのうち、「姿勢」を大きく反映する有効な項目がありました。　　質問：「音声や映像により教室の雰囲気が十分伝わった。」

これら相関性の高い原因行動の条件を組み合わせ退学予兆検出ロボットアルゴリズムを開発しました

結果

46

決定木をもとに、 LMS のデータから退学予兆を検出するシステムを実装

システム実装

47

退学予兆は下記のように提供します。1. 導入校・導入企業ごとの個別システムチューニングの提供当プロジェクトで得た相関関係／退学プロセスのアルゴリズムをもとに、新たに導入される学校・企業様のデータを弊社のラーニング・データサイエンティストが分析の上、退学予兆検出システムをチューニングして実装し提供します。

2. 「退学予兆」以外の展開今回は「退学」の検出に利用したが、他の行動と絡めることも可能。例：退職予兆、資格取得行動、志望校合格行動・・・

3. 予備調査無料「現在運用中のシステムで有益なモデルが構築できるか？」そういう不安がある方は、無料にて予備調査を行うこともできます。データをお預かりし、弊社にて有用性を確認いたします。

提供方法

ご聴講ありがとうございました。

【 blog】 http://www.digital-knowledge.co.jp/blog/

@dk_plat 　 (http://twitter.com/dk_plat)

http://www.facebook.com/jiyuuji.yoshida

http://www.facebook.com/Digital.Knowledge.CO.LTD

よろしければ「いいね」おねがいします。

48