rm20140514 5key
TRANSCRIPT
母分散σ2が既知の場合の
１つの平均値の検定• [手順1]
• 帰無仮説: 県内平均より成績が良いとは言えない or 県内平均と差はない（≠悪い）。
• 対立仮説: 県内平均より成績が良い。
• [手順2] Z = (X －̅μ)/σ⁄√n
母分散σ2が既知の場合の
１つの平均値の検定• [手順3] α = 0.05、片側: 1.645 ≦ Z
• [手順4] X ̅ = 53, μ = 50, σx2 = 144, n = 25
• Z=(53-50)/12/5 = 1.25... ≦ 1.645
• [手順5] 帰無仮説を採択→良いとは言えない。
• 県内平均との有意な差は認められなかった。
母分散σ2が既知の場合の
１つの平均値の検定
• もしこのクラスの平均点が54点だったら…
• [手順4] Z=(54-50)/12/5 = 1.67... ≧ 1.645
• [手順5] 帰無仮説を棄却→県内平均より有意に良い成績だと言える（p ＜ .05)
母分散σ2が既知の場合の
１つの平均値の検定
• [手順1] A大学1年生42名のTOEICスコアは…
• 帰無仮説: 第187回TOEIC受験者全体と差はない
• 対立仮説: 第187回TOEIC受験者全体と差がある
• [手順2] Z = (X －̅μ)/σ⁄√n
母分散σ2が既知の場合の
１つの平均値の検定• [手順3] α = 0.05、両側: Z ≦ −1.96 or 1.96 ≦ Z
• [手順4] X ̅ = 520.60, μ = 571.70, σx=171.90, n=42
• Z=(520.6-571.7)/171.9/√42 = −1.93 ≧ −1.96
• [手順5] 帰無仮説を採択→受験者全体との差はない
• 受験者全体の平均との有意な差は認められなかった。
母分散σ2が既知の場合の
１つの平均値の検定• リスニングのスコアだけで見ると…
• [手順3] α = 0.05、両側: Z ≦ −1.96 or 1.96 ≦ Z
• [手順4] X ̅ = 249.29, μ = 315.0, σx = 86.0, n = 42
• Z=(249.29-315.0)/86.0/√42 = −4.95 ≦ −1.96
• [手順5] 帰無仮説を棄却→受験者全体と差がある
有意水準の解釈
• 便法として「そのデータがたまたまのものである確率」と考えてもよい
• 「５％水準で有意である」（p ＜ .05)
• ＝それがたまたま生じる確率は５％以下
• ＝対立仮説が95％以上の確率で成り立つ
第5回: リサーチのデザインと準備
• 前回の感想から
• タスク：要因の絞り込み／研究課題の設定・明確化
• 講義：効果量の測定／外国語教育研究のパラメータ／リサーチの準備段階／内的・外的妥当性
• 課題
Feedback
• 今日の授業で推測をするためにはできるだけ多くのサンプルから出した方が良いことが分かりましたが，実際にどれくらいの標本のデータ量が必要なのかと疑問に思いました。（後略）→テキストp.56
• （中略）学校の先生はテストを考えるときはかりたいことが全てカバーできているかどうか考えながら作っているということが分かり，テストをつくることは簡単ではないと思いました。
効果量の測定• Question
!
!
!
• この有意差にはどの程度意味がある？
• ×「p値が小さければ差が大きい」
文を掲載する傾向があるため，実質的な差を見ずに，ｐ値のみに注意が向いてしまいます。しかし，ｐ値のみを判断材料にするのは危険です。以下の表4 - 1 を見てください。これはあるプログラムの効果を証明するために，T O E I C ＠のスコアを使って，プログラム指導前後の平均点をj f 検定で比較した結果です。
▼表４１あるプログラムの効果を証明するデータ（人数5 , 6 2 6 名）
事前スコア事後スコア
平均値6 2 0 . 0 0 641.25
標準偏差１２７２２ 134.68
平均値の差(事後一事前）
21.25
ｐ値
ｐ＜, 0 0 1有意差あり
ｐ値を見ると，ｐ〈､ 0 0 1 であるため，有意差があるという結論になりますが，平均値と標準偏差( 事後は点数の散らばりが大きい）を見てみると，実質的な差は小さく，ほとんど差はないとわかるでしょう。つまり，有意差があるので，プログラムの効果があったと主張するのは，ふつうに考えれば間違いであるということがわかります。しかし，この例のようにｐ値( 有意差) ばかりを気にしていると，本当に意味のある差があるのか，常識的な判断ができなくなってしまうこともあります。そのため，心理学の分野では，研究における統計的検定の使用を全面的に廃止すべきという極論を持つ研究者もいました。現在では，統計的検定と効果量( 後述）の両方を報告するということで落ち着いています（A m e r i c a n
PsychologicalAssociation,2009,Ｐ３３)。このように，ｐ値はサンプルサイズによって変わるものなので，実質
的な差が大きいか小さいかについての情報は何も与えてくれません。そのため，「ｐ値が小さければ，差が大きい」という解釈は間違いとなります。そこで，サンプルサイズにあまり影響を受けない，標準化された指標である効果量( e f f e c t s i z e ) をもちいることになります。実験の条件によっては，有意差があっても( ｐ〈鵬) ，実質的効果があまりない( 効果量が小さい) 場合もあれば，有意差がなくても( ｐ〉. 0 5 ) ，効果量が大きい場合も考えられるため，有意差があろうがなかろうが，効果量は報告す
第4 章推計統計の基礎知識一データから母集団を推測するには５３
効果量の測定
• Cohen’s d = 標準偏差を単位として平均値がどれだけ離れているか
• Cf. とある期末テストの結果: http://www.urano-ken.com/research/works.html
効果量の測定• Cohen’s d = 標準偏差を単位として平均値がどれだけ離れているか
• 手順:
• http://www.mizumot.com/stats/effectsize.xlsからExcel
ファイルをDL→使用した検定に応じてシートを選択し、必要な数値を入力
• OR http://langtest.jp Effect Size Calculator 1を利用
研究計画を立てる（テキストp.5）
外国語教育研究のパラメータ• 概念レベル
• パラメータ1: 現象に対するアプローチは総合的か分析的か
• 総合的: 個々の部分の相互依存関係を重視
• 分析的: 現象を構成する個々の要素の役割に着目
パラメータ1: 現象に対するアプローチは
総合的か分析的か
• 「高等学校の受験対策のためにコミュニケーションが不足する問題を解決するために、洋画を題材にする英語学習をプラスするのはどの程度有効か。」
• 総合的: 洋画視聴による学習効果・影響全般
• 分析的: 機能・場面・ジャンル等の分類
外国語教育研究のパラメータ• 概念レベル
• パラメータ2: 目的は探索的か演繹的か
• 探索的: データ駆動的、仮説生成
• （結論・結果）記述・仮説
• 演繹的: 仮説駆動的、結果予測・仮説検証
• （結論・結果）理論
パラメータ2: 目的は探索的か演繹的か
• 「中学校英語教育の、英語使用が少なすぎるという問題点を解決するために、教師の英語使用頻度を増やすことはどの程度有効か？」
• 探索的: 教師の英語使用頻度の実態調査
• 演繹的: 「教師の英語使用頻度を増やせば学習者の英語使用も増える」の検証
外国語教育研究のパラメータ• 実行レベル
• パラメータ3: 研究条件の統制/操作の度合い
• 研究の範囲・焦点の限定: 低～高
• 変数の統制: 低～高
• 形式への注意、参加の意識: 低～高
• 研究者の主観性: 高～低
パラメータ3: 研究条件の統制と操作の度合い
• 「...教師の英語使用頻度を増やせば…」
• 研究の範囲・焦点の限定:
• 一回～３年間？、「話す」のみ？
• 変数の統制
• 授業/活動における教師の発話以外の影響
• 生徒の使用頻度？量？が増えたの判断法
• 形式への注意、参加の意識: 告知する？
外国語教育研究のパラメータ• 実行レベル
• パラメータ4: データとその収集
• 何がデータとなるか:
• 観察される全ての行動から被験者の意見、テストの得点まで様々
• どのようにデータを集めるか:
リサーチデザインとデータ収集• 言語習得のモデルに基づく: 例. 文法性判断
• 処理過程研究: 例. 反応時間計測、移動窓法、視線計測
• インタラクションに基づく: 例. 種々のタスク・パフォーマンス
• 方略・認知過程の研究: 例. 観察法、内観法
• 社会言語学的・語用論的研究: 例. 自然環境、談話完成テスト
• 既存のデータベース利用: 例. 母語話者コーパス、学習者コーパス
パラメータ4: データとその収集
• 「... 洋画を題材にする英語学習をプラスする...」
• 何がデータとなるか:
• 授業の記録、面接音声・映像、アンケート回答、テスト・スコア
• どのようにデータを集めるか:
• 授業観察、面接、アンケート、テスト
Task 1
Task 1
• 「なぜ学習者によって習得の進み方が異なるのか」
• 要因として考えられるものを可能な限り多く挙げる
例「なぜ学習者によって
習得の進み方が異なるのか？」• 考えられる要因:
• 以前の言語学習経験／授業・教師・教材に対する学習者の態度／言語についての学習者の適性
• 学習者の母語／学習者の性別
• 授業内および授業外での練習量／練習の種類
• 学習者の個性、認知スタイル…
リサーチの準備段階
• 第１相：おおまかな研究課題: 出所
• 第２相：研究課題を絞る…実行可能性（feasibility）
• 第３相：研究目的を決める
• 第４相：リサーチの計画や仮説を立てる
リサーチの準備段階• 第１相：おおまかな研究課題: 出所
• 研究者自身の経験や関心（…信念の知識）
• 他者による言語・外国語教育研究を読む（先験的知識A）:
• a) 理論的性格の研究
• b) 実証的研究
• 外国語教育研究以外（先験的知識B）
リサーチの準備段階• 第２相：研究課題を絞る…実行可能性
• どのようにして？
• 研究に先立って必要な前提知識
• 概念と用語の定義の統一
• 実施上の問題
リサーチの準備段階• 第３相：研究目的を決める
• 探索的: 研究手順の記述・観察、用語の概念的・操作的定義
• 演繹的: 用語や要因の操作的定義、（より限定された）研究課題や仮説の設定
• …なので実際は「探索的⇄演繹的」
リサーチの準備段階
• 第３相：研究目的を決める
• 概念的・構成的定義: 概念の意味・構成要素、構成要素が共通に持つ性質を記述したもの
• 操作的定義: 概念を操作可能なものと見なして、測定方法を記述したもの
リサーチの準備段階
• 第４相：リサーチの計画や仮説を立てる
• “A hypothesis ... is not supposed to lead to conclusions which cannot be tested further.... It is part of the ‘game’ of science to view research as the best possible ‘guess’ at a particular point in our state of knowledge.” …反証可能性
例「なぜ学習者によって
習得の進み方が異なるのか？」• 授業内および授業外での練習量
• 「英語の練習」とはどのように定義・測定されるか
• 「習得」とはどのように定義・測定されるか
• どういうタイプの練習が習得の進み方に影響すると考えられるか
• 練習量はどのように習得の進み方に影響すると考えられるか
• 練習の測定は、言語習得の測定とどのように関係しているか
Task 2
Task 2
• 自分の研究課題について、４つのアプローチのいずれかを選んだ場合に必要なデータや準備を考える
• 総合的・探索的:
• 総合的・演繹的:
• 分析的・探索的:
• 分析的・演繹的:
内的妥当性(internal validity)• 被験者のばらつき: 被験者群は母集団の代表か？
• 被験者の数: 必要なサンプルサイズは？
• データ収集または実験処理に当てる時間
• 被験者の比較可能性
• 時間の経過に伴う被験者の変質・減少・成熟
• 実験手段・タスクに対する感度
外的妥当性(external validity)• 被験者群の特性
• 被験者選択とリサーチ: 自己選択の問題
• 独立変数の記述の明示性
• リサーチ環境の影響: ホーソン効果
• 研究者・実験者の関与、データ収集の方法・性格
• 時間の影響
課題４• 自分の研究の第２～４相を簡潔にまとめる。
• 研究課題（第２相）
• 研究目的（第３相）
• リサーチの計画・仮説（第４相）
• 5月21日午前1時まで、LiveCampusまたはメールを通じて提出