統計モデリング 第二回配布資料 - osaka...
TRANSCRIPT
2019年4月16日＠統計モデリング
担当：田中冬彦
統計モデリング第二回 配布資料
文献:A. J. Dobson and A. G. Barnett:An Introduction to Generalized Linear Models 3rd ed.,
CRC Press.
配布資料のPDFは以下からもDLできます. 短縮URL http://tinyurl.com/lxb7kb8
今日の内容
０． （統計の復習） 分布記号＆データの分類１．統計分析の流れ２．統計モデル３．線形モデル（４．グループ分けアンケート）
統計の復習１～分布記号
分布記号
統計モデル ＝ モデル式で表現
↑ しばしば分布記号を使う
本講義でモデル式を使う理由
１． 統計・機械学習などのテキストで標準的に利用
２． WinBUGS, Stan などのツールで利用
分布記号の例１
ツボの中に k 色の小さいボールを大量に入れる.
その比率は
多項分布
意味：
kqqq ,,, 21
121 =+++ kqqq
n 個のボールを取り出す試行（復元抽出）を考えるとき, 各色のボールの個
数を
kXXX ,,, 21
とする. これらは確率変数であり, 多項分布に従うことを以下のように記載.
),,;(~),,,( 121 kk qqnMXXX
),,;( 1 kqqnM
ツボに赤（R）・青(B)・白(W)のボールを、５：３：２ の割合でいれてよく混ぜた. １００個のボールを取り出す試行を考えるとき, 各色のボールの個数を
練習してみよう！
問１：
~),,( WBR XXX
WBR XXX ,, とする. （復元抽出と考える）
)2.0,3.0,5.0;100(M
問２：
サイコロを１０回ふって出た目の数を数える.（１～６は1/6 の確率で出る.）
j の目が出る回数を とする (j=1,2,3,4,5,6).jX
~),,,,,( 654321 XXXXXX
61,
61,
61,
61,
61,
61;10M
分布記号の例２
二項分布
意味：
多項分布で k=2 (二色のボール)を二項分布と呼ぶ.
この場合, 片方の色のボールの個数のみに注目.
(成功か失敗かの試行を n 回繰り返す)
10 ≤≤ q
以下と同じ意味.
)1,;(~),( qqnMYX −
);( qnBin
);(~ qnBinX
nYX =+
分布記号の例３
正規分布
意味：
),(N~,,, 21 vmXXX n
確率変数 が正規分布に従うことを以下のように記載.
),(N vm
平均 m, 分散 v (>0) の正規分布（ガウス分布）
X
),(N~ vmX確率変数 が同一の正規分布に独立に従うことを以下のように記載. （n 標本を独立に抽出, サンプリングする）
nXXX ,,, 21
... dii
平均 162, 分散 25 の正規分布から１０個の標本を抽出
練習してみよう！
問３：
1021 ,,, XXX
~,,, 1021 XXX
... dii )25,162(N
１．分布記号のバリエーション
),(N~ vmX j
nj ,,1= はすべて独立で以下の確率分布に従うjX
補足
２．確率変数は通常、大文字だが、小文字で書いたり、混同して用いる
統計の復習２～データの分類
ここでの目標
データの形式と区別を理解
→ 統計モデルとデータの形式は密接に関連
＆ モデルを紹介する際にデータのイメージと実例が思い浮かぶようにする
変量（変数）とは
ｋ変量データも同様に定義 (k次元データとよぶことも)
(英語の点数, 統計の点数)
(88, 90)
(45, 78)
(56, 100)
(77, 85)
１変量データ
学食での摂取カロリー(kcal)
879
1047
760
779
845
nxxx ,,, 21
２変量データ ),(,),,(),,( 2211 nn yxyxyx
n を標本数 (サンプルサイズ)とよぶ （データサイズとよんだりすることもある）
データの分類(1/3)
データの分類(2/3)データの区分 (統計モデルを考える際の目安)
量的データ
（連続データ）
質的データ
（カテゴリカルデータ)
・名義尺度
・間隔尺度
男、女（性別）や職業など
◎、〇、△、×（評価）など；順序に意味があるが, 等間隔とは限らない
*参考：
永田靖. 他著: 多変量解析入門. サイエンス社, 1-1節.
東京大学教養学部統計学教室編: 統計学入門, 東京大学出版会, pp. 27-28.
温度のように順序も間隔も意味があるが原点はどこでもよい
・比率尺度
・順序尺度
間隔尺度だが原点が定まっている. (重さ、長さなど)
モデリングする上での分類
連続データ
カウントデータ
・上限あり
・正負をとる
ある条件下での種子の発芽数
交通事故件数；ツイート数；いいねの数
３種類のラーメンの注文数
(みそ、しお、とんこつ)
・正値のみ
・上限なし
温度
その他のカテゴリカルデータ
製品の寿命
データの分類(3/3)
１. 統計分析の流れ
理想論
実際には, 1,2,3,4 の順に進んで終了することはほとんどない！！
← 狭義にはここで「統計モデリング」
１．分析課題
３．データの統計分析
４．結論
２．データ収集
実際の所
IT関係では大量のデータ・記録を保存
→ そこから、面白い関係を見つけ出してほしい
（むちゃぶりデータマイニング！）
例１： まずはじめにデータありき
例２： 課題のすりかえ
分析したら、当初予定した結果が出なかった
→ 「１．課題」も変更することに！
１，２，４は完全に切り離して考えることはできない！
参考：
松浦健太郎: StanとRでベイズ統計モデリング, 共立出版,
Chap.3 「統計モデリングを始める前に」
2. 統計モデル
この解釈により, 確率論と統計学が結びついた！
標本の例：あるクラスの模試の点数 (72, 92, 91, 81, 73)
確率変数の実現値(未知の分布 F から無作為に５つ取り出した値)と解釈
0 20 40 60 80 100
0.00
0.01
0.02
0.03
0.04
0.05
クラス Bの受講者の点数分布(仮想
点数
F
72 92 91 81 73
標本と母集団【統計学の復習】
~,,, 21 nXXX
i.i.d. F
標本と母集団
記法
母集団(分布)観測される値の分布 （仮想的なものでもよい）
問題点Fの動く範囲は広すぎる→ ある程度, 分布の形を制限して考える
（だいたいの形がわかればよい）
統計学の究極的な目標
観測値からFが正確に把握できればよい
0 20 40 60 80 100
0.00
0.01
0.02
0.03
0.04
0.05
クラス Bの受講者の点数分布(仮想
点数
)|( θxp
統計モデル： いくつかのパラメータで指定される確率分布の集合
統計モデルの設定
確率分布の未知パラメータθ
i.i.d.
1, , ~ ( | )nX X p x θ
記法
( | )p x θ
( | )d 1, ( | ) 0p x x p xθ θ= ≥∫( | ) 1, ( | ) 0
xp x p xθ θ= ≥∑
確率密度/ 確率関数
サンプルサイズn の標本が独立同一に なる確率分布から発生していると仮定
( | )p x θ
最初の統計モデリング
廃棄携帯の基盤から金メダルに必要な金を回収する.２種類の方法A, Bで金を回収するとき, 基盤ひと山あたりの回収量[g] がA, Bで以下のようになった. ( 金 1 g= 約5000円)
シチュエーション
A: 73, 72, 66, 80, 75B: 71, 67, 68, 57, 68, 75, 60, 69
基本的な統計量
全体の平均 69.3 全体の分散 38.4
Aの平均 73.2 Aの分散 25.7
Bの平均 66.9 Bの分散 33.5
なんとなくAの方が回収量が多い？（金なので、差は無視できない）
最初の統計モデリング
二つとも連続値→ とりあえず, 正規分布からの標本と仮定
モデル式 （独立な２変量ガウスモデル）
~,,, 521 XXX
i.i.d.
),(N vAµ
821 ,,, YYY ~i.i.d.
),(N vBµ
統計モデルの設定
σµ,注意：統計モデルのパラメータは, p, q, f, t, など何を用いてもよい. ただし, 異なるものは のように区別すること. BA ,µµ
分散は等しい（解析を簡単化する仮定)
最初の統計モデリング
モデルパラメータ(母数)の推定値*
可視化の例
,2.73ˆ =Aµ
*計算公式は省略（統計のテキストに掲載）
パラメータの推定値を代入して分布を眺める
9.66ˆ =Bµ 7.30ˆ =v
Aの方がBより回収量が多め（本来はこの後, t 検定）
40 50 60 70 80 90 100
0.00
0.02
0.04
0.06
0.08
Ambition of TKK
yields
Pop
ulat
ion
パラメータの推定量(値)はハットをつけ、パラメータの真の値（神のみぞ知る）と区別する
73.2Aµ = ではない！
注意
ここまでのまとめ
１． データ（数値）の背後に母集団分布を想像２． 母集団分布を統計モデルで表現
→ パラメータ推定（点推定）や信頼区間、仮説検定、予測
統計モデリングの基本的な考え方
課題が先か手法が先か
分析手法： （ガウスモデルでの）平均の差の仮説検定
分析課題： 方法A, Bで回収量に差があるか？
仮説検定（統計手法）を知っていると、それに応じた課題設定が可能
練習してみよう！
O大学（数千人規模）から無作為に１００人の学生を選び出し, A, B,C三択のアンケートを行い以下のような結果を得た. 分析のためのモデル式を設定しなさい.
A: 85B: 13C: 2 合計: 100
1) O大学でA, B,Cと回答する人たちの割合を以下のように表す（分析者にとって未知のパラメータ）
( ), , , 1A B C A B Cq q q q q q+ + =
2) 無作為に一人を選んだ場合, その人がBと回答する確率はいくらか? パラメータで書きなさい.
( )0, 1, 0A B CP X X X= = = = Bq
3) 無作為に三人を選んだ場合, 一人がA, 二人がBと回答する確率はいくらか? パラメータで書きなさい. （復元抽出でよい）
( )1, 2, 0A B CP X X X= = = =23 A Bq q
さらに、無作為に選んだ学生がアンケートでA, B, Cと回答
する人数をそれぞれ とすると、これは確率変数と考えることができる
, ,A B CX X X
５） ４）の結果を分布記号を使ってモデル式で表しなさい
( )CBA XXX ,, ~ (100; , , )A B CM q q q
4)同様に 100人選んだ場合 , それぞれの回答数が
のようになる確率はいくらか？
( ), , , 100A B C A B Cx x x x x x+ + =
( ), ,A A B B C CP X x X x X x= = = =100!! ! !
CA B xx xA B C
A B C
q q qx x x
【参考】 学部１年で習う母比率の差の仮説検定の公式は上のような３項モデルで導出している.
補足
思想的な注意点
１．通常, モデルに正解はない/ 検証のしようがない物理などの自然科学
２． 独立同一性(i.i.d.)の仮定も含め、作業仮説３． 「よいモデル」は目的・課題依存
1. 母集団分布の正確な形状は知り得ない,だいたいの形で十分
2. 実験結果から分布の形状が既知の場合, 正当化できる(*)3. 仮説検定や信頼区間 【初等統計では, このことをあまり表に出さない】、ベイズ分析で必要
モデルを設定する理由
*精密科学/実験科学の状況だが, 本講義ではあまり考えないシチュエーション,
3. 線形モデル
ここでの目標
ある変数を別の変数で説明するモデルを提案
＆ モデルパラメータの推定
注：ここでの例は分析課題は提示しない
回帰分析（B-2/C-2資料より）
O大学 新入生のみずほさんは賃貸情報をネットで検索. 以下のようなデータを得ました.
例題： みずほの部屋探し
→ 傾向をみるため, 横軸に距離, 縦軸に賃料をとりプロット(点を打つ)
最寄り駅からの距離 (徒歩)： 3 5 6 10 11 17一カ月の賃料 (万円)： 8 7.3 6.2 4 4.2 3.5
豊中キャンパス近くの賃貸物件（１K）
データのプロット
0 5 10 15 200
24
68
10
Kaiki
Min Walk
10^4
YE
Nx <- c(3, 5,6, 10, 11, 17);y <- c(8, 7.3, 6.2, 4, 4.2, 3.5);plot(x,y, pch=18, col=2, xlim=c(0, 20), ylim=c(0, 10), main="Kaiki", xlab="Min Walk", ylab="10^4 YEN");abline(h=0, lty=2, col="gray"); # hori lineabline(v=0, lty=2, col="gray"); # vert line
R プログラム例
ペアになっている２変量データは
プロットしておおまかな傾向をつかむ！
ワンポイント
なんとなく右肩下がりの傾向が見える
説明変数と目的変数
0 5 10 15 20
02
46
810
Kaiki
Min Walk
10^4
YE
N
（データのばらつきはいったん無視）
簡単な関数 f で変数に以下のような関係が期待される時
説明変数と目的変数
)(xfy ≈
y 目的変数
x 説明変数
とよぶ.
(因果関係が既知の) 統計モデリング
今回はx, y は１次元(1変量)のみ扱う.
),,( 1 kxxfy ≈この f をうまく与える（モデル化）のがひとつの目標
x
y
統計モデルの導入
)(: iii xy βαε +−=
統計モデルの設定
??)(xfy ≈なんとなく右肩下がり → とりあえず, f として直線（一次式）を仮定
本来のモデル式
~,,, 621 εεε
i.i.d. ),0(N 2σ
分散は等しい（解析を簡単化する仮定)
→ とりあえず, 平均０の正規分布を仮定
xxf βα +=)(
6,,2,1 =i
x: 最寄駅からの距離(分：徒歩換算), y:一か月の家賃 (万円)
線形モデル
),0(~ 2σε Ni
iii xY εβα ++=
2;, σβαデータから推定値を出すには最尤推定法などを用いる
xxy 34.05.8ˆˆ −=+= βα
線形モデル（回帰モデル）
通常は, 以下のような形で記載 ( f(x) の形を明示)
5.8ˆ =α 34.0ˆ −=β
モデルのパラメータ
回帰直線
回帰直線
0 5 10 15 20
02
46
810
Kaiki
Min Walk
10^4
YE
N
x <- c(3, 5,6, 10, 11, 17);y <- c(8, 7.3, 6.2, 4, 4.2, 3.5);res <- lm(y~x);ahat <- res$coefficients[1];bhat <- res$coefficients[2];
R プログラム例 （回帰分析）
plot(x,y, pch=18, col=2, xlim=c(0, 20), ylim=c(0, 10), main="Kaiki", xlab="Min Walk", ylab="10^4 YEN");abline(h=0, lty=2, col="gray"); # hori lineabline(v=0, lty=2, col="gray"); # vert lineabline(a=ahat, b=bhat);
R プログラム例 （回帰直線）
xxy 34.05.8ˆˆ −=+= βα
ここまでのまとめ
・１Kの家賃は、最寄駅からの距離（徒歩換算）が増えるほど、減少する傾向がみてとれた。・だいたい一次式に従っている
今の例について
より踏み込んだ分析に向けて
・あてはまりのよさも議論（仮説検定）・最寄駅からの距離で、だいたいの家賃を予測
さまざまな拡張のアイディア
１．目的変数Y の期待値を x で表現 (確率の要素なし！)
参考：
たとえば, 多項式回帰など.2)( xxxf γβα ++=
2~ ( , )i iY N xα β σ+
: [ ] ( )i i iE Y f xµ = =
ixα β= +
２．Yの分布のモデル
解釈無視で, x, y をlog, べき乗で変換する方法もある
注：確率変数の期待値
複数のモデルがある場合*
本講義では, AIC, BICなどの情報量規準を機械的に使用してよい
pLAIC 2)ˆ(2 +−= θ
赤池情報量規準 (Akaike Information Criterion) を用いたモデル選択
尤度関数の最大値 (最尤推定は尤度関数を最大化)とパラメータ数からAICを計算; 相対的にAICの小さいモデルを選ぶ
p パラメータ数
)(max)ˆ( θθθ
LL =
)(θL 尤度関数
θ̂ 最尤推定での推定値
グループタスクでは統計研究室の学生に聞こう！