ir機能の全学的統合に係る検討iir.ibaraki.ac.jp/jcache/documents/2016/ir0223/h28-0223...1960,marketing...
TRANSCRIPT
1
IR機能の全学的統合に係る検討
~ 明治大学における Fact Book の作成業務を通じて
1 IRの現在地 - 課題解決策としての「全学統合型データベース」2 IRデータカタログのコンセプト - 統計レポートを“サンプル”として提案3 IRデータカタログの作成とIRのニーズ - 教職員の知見,意見,見解の積み上げ
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
2015年度 第4回IR実務担当者連絡会
2016年2月23日(火) 立命館大学 大阪いばらきキャンパス
明治大学 評価情報事務室 山本 幸一
2
報告の目的
IRは,問い(リサーチ・クエスチョン)あってこそ必要となるものであるが,実際には「上位者からの調査依頼がない」,「IR室の活動内容が定まらない」などの声もあり,大学間で温度差もあるようだ。
IRの必要性はどこにあるのか。多くの大学でIRに取組み始めている現況において,IRの必要性を帰納的に蓄積することも有意ではないだろうか。
この報告では,①必ずしもIRへの理解が全学的に浸透していない,②必ずしも上位者からの明確な指示(RQ)があるわけではない,③特定課題からIRを開始していない大学が,「IR機能の全学化」を開始した理由・方法,今後の見通し,実践から得た知見を報告するものである。
特に,現在,試行版として作成している「IRデータカタログ」の役割と内容に焦点をあてる。
このカタログは,学部執行部や事務担当者との意見交換を踏まえて作成しているため,学内のIRに対するニーズ(本音)についても考察する。
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
3
1 明治大学のIRの現在地~ 課題解決策としての「全学統合型データベース」
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
4
大規模10学部・12研究科・3専門職/法院
IRの背景となる文脈と統合型データベースの導入
複数キャンパス駿河台・和泉・生田・中野
1.明治大学におけるIRの現在地
ガバナンス体制と教学マネジメント法人理事長 と 学長(2長制度)大学執行部 と 学部執行部
情報マネジメント全学管理もしているが部門管理が優位
①生成・記録 ②蓄積・共有 ③利活用
問題は何かデータを蓄積・共有する仕組みがない。
解決策データベース(蓄積・共有の仕組み)を作る。
全学の課題は焦点が当たりにくい。 現状に不満なく,データの使い方,味方に慣れていない層も多い。
改善後の姿(多次元分析レポート「IRデータカタログ」)を示そう。
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
5
学長室におけるIR構想の段階的整備
部署データを集めて回るから脱却。⇒ 公式な大学データを持つ部署
データ定義(ローカルルールを少なく)⇒ 全学統合型データベースを持つ
収集から提供へ段階的に整備⇒ まず散在するデータを定義
2012年7月学長室IRプロジェクトの設置
2015年12月IR運営委員会の設置
統合型データベース(蓄積・共有)
データカタログ(IRは何ができるのか)
IR開始(定型・非定型レポート)
IR運用(データ案内所)
IRの中身を理解してもらうと,よりスムーズにコミュニケーションできるだろう。
データ・リクエストしやすい材料(サンプル,見本)の提供が必要ではないか。
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
1.明治大学におけるIRの現在地
6
用語の定義
ファクトブック
その大学の運営上、重要なデータ(経年、ときには他大学との比較)を見やすい表やグラフの形に整理し、大学執行部、学部執行部や各現場などへ意思決定や判断の支援のために供されるもの。 (嶌田,2015)
データカタログ
いつどの部署で、どのようなフォーマットでデータを作成しているのかをまとめたもの(嶌田・大野・末次・藤原,2015)
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
1.明治大学におけるIRの現在地
7
2 「IRデータカタログ」のコンセプト~ 統計レポートを“サンプル”として提案
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
8
「IRデータカタログ※」 の内容
※ Fact Book(網羅的なデータ集)ではなく,選択された内容を掲載したもの。明治大学固有の呼称として利用しています。
▼ 構成・ IRの使い方 ・ 統計レポート・ Q&A ・ データ定義集
▼ 統計レポート
1)紙面① グラフ(出典,データ定義)② 簡単な説明③ コラム(分析手法,グラフ種類等)
2)内容① 学生視点 入学/学習状況/進路② 大学視点 教育課程/科目/教員
3)点数 約40点(約40頁)
[画像は,昨年度作成のテスト版です]
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
2.「IRデータカタログ」のコンセプト
9
「IRデータカタログ」 作成のコンセプト (1)
IRの役割を理解してもらうこと
教育改善に向けた「議論の素材」を提供します。課題を聞く→データ作成→提供する。
IRの使い方を理解してもらうこと
欲しいデータではなく,実現したいこと,知りたいことを聞かせてください。
IRにリクエストを寄せやすくすること
カタログにある統計レポートは“サンプル”です。所属学部・学科の内容は気になりますか?
発行の趣旨
顧客志向
:顧客は商品を買うのではない。その商品のベネフィットを購入しているのだ(データが必要なのではなく,抱えている課題の整理や解決をしたいのだ)
1960,Marketing Myopia,Theodore Levitt
編集方針
IRの活用事例を入れる
IRデータは,「?」 を 「!」 にします。
+ 留年者のうち,問題のある学生と翌年には卒業できる学生の割合は?
統計レポートのデータ定義を明確にする
専任教員数が何種類もある?
+ 巻末にデータ定義表を付した
「教えたデータ」 から 「学んだデータ」 を重視する
エンロールメント・マネジメント,内部質保証システム,大学の方針
+ 学習成果の測定,検証に活用できる内容を想定
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
2.「IRデータカタログ」のコンセプト
10
「IRデータカタログ」 作成のコンセプト (2)
多元的な見方の提案(データ・マネジメントの教科書)
数字の羅列では,増減,充足,変化は分かりにくいですね。
→ 危機を見逃していませんか?
平均値だけで価値判断し,改善策を打っていませんか。
→ テコ入れにあたって,効果的な“テコ”を選択できていますか?
グラフの種類,見せ方の提案
散布図・点グラフ全体像と関係性を確認+ 単相関・相関比・クラメール連関係数 ヒストグラム平均値だけではなく幅を確認+ 中央値,最頻値,平均値 バブルチャート複数の要因を視覚的に判別
データの並べ方,読み方の提案
実数と比率による分析
経年推移による分析
ベンチマークによる分析+全国平均や他大学による比較分析+達成度や充足状況との比較分析
層別化による分析+ドリルダウン,分析軸(ディメンジョン)
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
2.「IRデータカタログ」のコンセプト
11
分析レポート例:散布図でざっくり (サンプルデータによるモデル)
入試形態別GPAと年間修得単位数1年
GPA平均 相関係数 r
2.17 一般 0.806
修得単位数平均 特別 0.824
35.35 推薦 0.825
2年
GPA平均 相関係数 r
2.15 一般 0.650
修得単位数平均 特別 0.627
37.25 推薦 0.825
3年
GPA平均 相関係数 r
2.22 一般 0.260
修得単位数平均 特別 0.396
36.51 推薦 0.510
4年(卒業)
GPA平均 相関係数 r
2.23 一般 -0.627
修得単位数平均 特別 -0.645
18.83 推薦 -0.645
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
2.「IRデータカタログ」のコンセプト
12
分析レポート例:特徴を説明 (サンプルデータによるモデル)
学習意欲の低い層もある修得単位が少なくGPAも低い層
学習意欲の高い層がある修得単位も多くGPAも高い層
学年進行によっての変化は・・・
学習を絞り込む層が増加修得単位が少ないがGPAは高い層
沢山履修しGPA低い層が増加する
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
2.「IRデータカタログ」のコンセプト
13
分析レポート例:層別分析 (サンプルデータによるモデル)
4年(卒業)
GPA平均 相関係数 r
2.23 一般 -0.627
修得単位数平均 特別 -0.645
18.83 推薦 -0.645
4年(原級)
GPA平均 相関係数 r
1.50 一般 -0.627
修得単位数平均 特別 -0.126
21.91 推薦 -0.611
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
2.「IRデータカタログ」のコンセプト
入試形態別GPAと年間修得単位数 4年生のうち卒業生と在籍原級生
14
分析レポート例:課題焦点化 (サンプルデータによるモデル)
*「5」は,4年生のうち,原級した者
級内変動 770.3591
級間変動 27.84231
相関比 0.034881
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
2.「IRデータカタログ」のコンセプト
学年別GPAの広がりと平均値
15
分析レポート例:ヒストグラムで問題発見 (サンプルデータによるモデル)
入試形態 4年終了時GPA
一般入試 2.25
特別入試 2.23
推薦入試 2.30
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
2.「IRデータカタログ」のコンセプト
16
分析レポート例:バブルチャート/マップ(サンプルデータによるモデル)
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
2.「IRデータカタログ」のコンセプト
17
分析レポート作成で留意した点
<統計レポート作成の実際>
1)1表で,データの意味を理解できる
(表を遷移させて結論を示す方法は,プレゼンテーションができる時のみ)
2)レポートの見方や読み方が、難しくなく,直感的に理解できる。
3)しかし、見慣れた数字の羅列ではなく,斬新なグラフ(見たことがない)である。
4)これは使える! 直感的にと思われる。
→ 思わず,何かを判断したり,推論したりするなど,発言がある。
→ ここに教育改善に向けた議論が生まれる。
<難しいこと>
前出のヒストグラムのように,「数字の羅列を、議論が生まれるレポートに転換する」こと。
データ操作や分析方法のスキル・アイデア,可視化ツールの技術が必要になる。
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
2.「IRデータカタログ」のコンセプト
18
データ定義の整理
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
データ定義表項目・分析レポート名称
・データ取得元
・取得データ内容の詳細
・データ基準日
・データ取得日
・分析軸
・分析軸定義
・分析軸詳細
・備考
(定義内容の具体例など)
19
IRデータカタログの課題と将来構想
<課 題> データベースが未整備で,出力の難しい分野がある。
→ 利用頻度を確認しながら,順次,必要に応じて整備
IRデータベースでは実現ができている「動的なレポート」(ドリルダウン,分析軸の増減,グラフ表現の変更,グラフ表示とマトリックス表示)が,体感できない。
→ 紙上「動的レポート」を再現
→ 執行部会議ストーリー
<将来構想> 定型レポート FACT BOOK(冊子),ダッシュボード(Web)
簡易版のリーフレット(インフォグラフィックス)
非定型レポート 個別提供・報告する他,この冊子で共有していく
(他の部門でも活用できるかも知れない)
→ 両レポートも,Webインターフェイスで動的レポートとして共有する(開発済)
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
2.「IRデータカタログ」のコンセプト
20
3 IRデータカタログの作成とIRのニーズ~ 教職員の知見,意見,見解の積み上げ
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
21
IRに対する学内ニーズをヒアリング
毎年,各学部執行部等との意見交換を実施
意見交換の記録(テキスト)から,要望と目的を示すキーワードを抜き出し,分類した
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
3.IRデータカタログの作成とIRニーズ
22
IRへのニーズ(1) 入試と進路
<目的・理由>• 入試制度の改善のため(選択科目,配点,設問難易度など)。• 他大学との比較から自学部のポジションを確認するため。• 多様な学生の確保(アドミッション・ポリシー)の現況を確認するため。• 初年次教育の妥当性を確認するため。• 進路とカリキュラムとの整合を確認するため。 etc.
<データ・分析内容>• 入学形態×GPA×学年• 出身地域・高校別×GPA×学籍異動状況×進路• 高校偏差値ランク別志願者・合格者・入学者比率• GPA×就職先(規模別,産業分類別)• 志望理由×進路 etc.
<探索的なRQ,仮説検証的なRQ>• GPAが高く,幅広い学びに積極的な学生群と入試の諸要素との相関の強さ• 選択科目と入学後の学習行動・成果との相関,カリキュラムの適合性の判断• 進路決定に成功する外国人留学生と失敗する外国人留学生の学習傾向の差• Uターンする学生の学習行動の特性
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
3.IRデータカタログの作成とIRニーズ
23
IRへのニーズ(2) 教育課程・授業の改善効果<目的・理由>
• 成績評価を平準化するため(GPAの甘辛の平準化)。• 最適な履修規模で科目を実施するため(教育資源と学習効果の最大化)。• 学科の定めた教育目標を達成する学習をしていることを確認するため。• 留学やインターンシップなどの効果を測定し改善するため。• 難関科目を改善するため etc.
<データ・分析内容>• GPA階級別度数分布×学年×入試形態×属性• 授業改善アンケート(自己評価)×GPA• 教育内容区分×授業形態区分×履修人員×単位修得率×成績分布×進路• 学生一人当たりの教育内容区分別比率• 特定の教育プログラムの参加者・未参加の比較データ(GPA,進路等)• 成績評価F・Tが一定割合以上となる科目×履修者GPA etc.
<探索的なRQ,仮説検証的なRQ>• 外部英語テストの向上を図る語学授業のクラス規模,成績基準の適切性• 学習特性(専門)別の進路に対する影響要因• カリキュラムポリシーに沿った履修をした学生と進路の満足度• 教室定員充足率と教育効果の相関
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
3.IRデータカタログの作成とIRニーズ
24
IRへのニーズ(3) 教育計画・学生支援・奨学金
<目的・理由>• より効果的な教育(カリキュラム,授業)を提供するため• 休退学者について,積極的理由を除き,問題のある学生群を特定するため。• 奨学金や留学などのGPAが選考基準となっている選抜の公正さを高めるため• 総合的な学生支援の計画立案のため etc.
<データ・分析内容>• 授業コマに対する専任教員比率(教育内容別,授業形態別,キャンパス別)• 休退学者GPAの推移×留学基準GPA・奨学金基準GPAによる区分• 学部別GPAの平均値,中央値,最頻値,分散• 奨学金や課外活動の所属サークルなどの学生支援データ×出身地域等の属性×GPAや学習成果の関係 etc.
<探索的なRQ,仮説検証的なRQ>• 専任教員に学んだ割合の高さと学習成果や進路との関係• 休学や退学に至る要因,時期,理由の特定• 正課外教育参加学生のGPAの高さ,進路決定との相関,因果関係• 奨学金支給と学業継続,学習成果との相関,因果関係
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
3.IRデータカタログの作成とIRニーズ
25
IRへのニーズの特徴とデータカタログへの反映
<特 徴> データ連携による業務の生産性の向上が期待されたこと。
国際センターと就職センターの両方から,「希望の就職を得た外国人留学生の学修傾向を知りたい」との要望があった。
縦割り業務をIRデータで連携させることで,教育改善や学生支援に貢献した。
現場での活用を視野に入れた場合に、分析手法やレポートの見方が単純なものから始めると、次はこの部分を確認したい,というデータリクエストが増えること。
統計学的にIRが主要因の特定は必要だが,分析したもの全てを依頼者に示す必要はない。依頼者が納得できるデータであることが重要になる。
依頼者への説明は「ざっくり確認したところ,この要因とこの要因が関係ありそうなので,こんなグラフを作成してみました」でOKだろう。
<課 題> こんな領域で,こんな分析をする時には,このような分析方法が有効で,こんなグラフが見やすい,といった蓄積が,大学間のコンソーシアムでできるとよい。
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
2.「IRデータカタログ」のコンセプト
26
参考文献・参考資料• 嶌田敏行・大野賢一・末次剛健志・藤原宏司(2015)「IR オフィスを運用する際の留意点に関する考察」『大学
評価とIR』(第2号)大学評価コンソーシアム
• 藤原宏司,大野賢一(2015)「全学統合型データベースの必要性を考える」『大学評価とIR』(第1号)大学評価コンソーシアム
• 嶌田敏行(2015)「ファクトブック作成に向けた大学概要の活用について」, 『大学評価とIR』(第1号)大学評価コンソーシアム
• 嶌田敏行,小湊卓夫他(2015)「評価・IR担当者に必要な知識・スキルに関する考察」 日本高等教育学会第18回大会 報告資料
• 大野賢一(2015)「データカタログ(試行版)の作成について」 平成27年度第2回IR実務担当者連絡会(平成27年10月16日実施)報告資料
• 藤原宏司(2015)「継続的改善活動におけるIRの役割」 第7回EMIR勉強会報告資料
• 山本幸一(2013) 「PDCA サイクルの基盤となるマネジメント志向IRの開発と定着」『大学マネジメント』(Vol.9,No.3)大学マネジメント研究会
• 藤原宏司(2013)「IRって何?」 大学評価コンソーシアム勉強会「米国におけるIR実践を通して考える日本型IR」報告資料
• 大学評価・学位授与機構IR研究会(2012)『IR実践ハンドブック-大学の意思決定支援-』 玉川大学出版部
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
Making Campus Decisions Better
Thank you for your attention.明治大学評価情報事務室 山 本 幸 一 [email protected]
27
教学企画事務室
教学企画部
評価情報事務室
長期構想・設置年度計画
大学評価・IR学生アンケート
A学部
B学部
・・・
Xセンター
【参考】 ガバナンスとIR
学 長
学長室専門員長 副学長8名
教務部,FD・・
学生部
国際連携機構
総合政策
研究知財機構
社会連携機構
広報センター法人理事会
IR委員会
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
28
【参考】 IRデータベース運用と各部門の役割
各部署の入力(通常業務)
留学生サブシステム(履修成績・学籍)
人事システム(教員)
Campusmate J(履修成績・学籍)
基幹データベース管理
IRデータベース管理・運用・データ作成
データ リクエスト部門①全学部門 ②学部など個別部門
・・・等
①定型レポートの提供
②非定型レポートの要求・学内からのデータ依頼・定型外のレポート提出
各部門(通常業務)
情報基盤本部(システム企画)
IR委員会(評価情報)
各部門(学長室,教務・FD,評価等)
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
29
【参考】 データ流通フローとIR担当者の役割
業務システム
入力
各部署の
通常業務
蓄積
基幹DBにあるデータ
抜出し
学生番号の暗号化
DWH
DM
分析RDB
出力
Excel
(PowerPivot)
IRデータベース
入力時:個別情報 出力時:統計情報
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
30
30
【参考】 IR関連の主なシステムの構成
• MS SQL Serverデータベース(DWHなど)
• SQL Server Analysis Service分析データベース(キューブ)作成
• MS Power Pivot (Excel)データソース・集計・分析
• MS Power View (Excel)グラフィカルで動的なレポート
• SQL Server Reporting Services定型帳票作成・出力
• MS Share Pointインターフェイス・共有
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved
31
出典)藤原宏司(2015)「継続的改善活動におけるIRの役割」第7回EMIR勉強会資料から作成
大学執行部や学部執行部等の企画や改善に向けた意思決定を行う組織に対して、大学の現況をデータの側面から説明し、必要な情報を提供すること。
【参考】 明治大学におけるIRとは・・・役割 メンバー
委員長 副学長兼学長室専門員長,国際日本学部教授
委員 副学長兼学長室専門員,広報センター長,経営学部教授
〃 副教務部長,教育開発・支援副センター長,理工学部教授
〃 学長室専門員,法学部教授
〃 学長室専門員,自己点検・評価企画編集部会長,理工学部教授
〃 情報基盤本部長,理工学部教授
〃 事務管理職(教学企画部長,教務事務部長,情報メディア部長)
事務部門 業務
評価情報IR設計・開発,分析レポート作成・提供,サーバー管理
教務学籍,履修成績,授業科目,教員任用,学校基本調査,FD
システム企画
学内データベース管理・運用,IRデータベースの開発支援
© 2016 Koichi YAMAMOTO ,MEIJI University All Rights Reserved