数理統計学 ( 第九回) 尤度比検定とは?
DESCRIPTION
数理統計学 ( 第九回) 尤度比検定とは?. 浜田知久馬. 胃がんのスクリーニング検査. 正常 胃癌 計 検査の 陽性 1497 16 1513 判定 陰性 8483 4 8487 計 9980 20 10000 α エラー 1497/9980=0.15 β エラー 4/20=0.20. 問題 1 2つの検査の α,β エラー どちらを選ぶ. 検査A 正常 胃癌 計 - PowerPoint PPT PresentationTRANSCRIPT
数理統計学第9回 1
数理統計学 ( 第九回)尤度比検定とは?
浜田知久馬
数理統計学第9回 2
胃がんのスクリーニング検査 正常 胃癌 計検査の 陽性 1497 16 1513
判定 陰性 8483 4 8487
計 9980 20 10000
α エラー 1497/9980=0.15
β エラー 4/20=0.20
数理統計学第9回 3
問題 1 2つの検査の α,β エラー
どちらを選ぶ検査A 正常 胃癌 計検査の 陽性 4990 20 5010判定 陰性 4990 0 4990 計 9980 20 10000
検査B 正常 胃癌 計検査の 陽性 50 10 60判定 陰性 9930 10 9940 計 9980 20 10000
数理統計学第9回 4
問題 2 2つの妊娠診断薬どちらを選ぶ
検査A 非妊娠 妊娠 計検査の 陽性 25 250 275判定 陰性 475 250 725 計 500 500 1000
検査B 非妊娠 妊娠 計検査の 陽性 250 475 725判定 陰性 250 25 275 計 500 500 1000
数理統計学第9回 5
妊娠診断薬1.アルミ包装されたテストスティックを箱から取り出し , 開封してください。 2.キャップを取り、テストスティックを下に向け、 サンプラーに少なくとも 5秒間直接尿をかけ サンプラー全体を尿で濡らします。 3.青い線が、「終了確認窓 ( 丸い窓 ) 」に現われたら、 テスト終了です (約 1分 )。「終了確認窓 ( 丸い窓 ) 」に 青い線が出ていなければ、正しくテストできなかったということです . 別のテストスティックで再テストしてください。 4.「判定窓 (四角い窓 )」に色の濃い薄いに関わらず、 青い線が出ていれば陽性、出ていなければ陰性です。
数理統計学第9回 6
妊娠診断薬この検査薬は、妊娠の早期判定の補助として
用いるもので、確定診断は、他の所見とともに医師により総合的になされるものです。
妊娠すると妊婦の尿中に分泌されるヒト絨毛性性腺刺激ホルモン (hCG) を鋭敏な抗原・抗体反応で検出する診断薬
尿が希釈され過ぎているか反対に濃縮されている場合 :妊娠してても陰性
病気の場合やホルモン値に影響を及ぼすお薬を飲んでいる場合:妊娠してなくても陽性
数理統計学第9回 7
問題3 麻原彰晃を無罪と判定した場合につい
て α エラー, β エラーの観点から論ぜよ4 美人は必ずしも幸せな人生をおくると
は限らない.この仮説について 背理法を用いて証明せよ .
数理統計学第9回 8
美人だけど不幸な人生を送った人達
数理統計学第9回 9
検定の構成法
・一様最強力検定は存在しないことが多い .
・推定問題の原理的構成法 最尤法 , 最小二乗法 , モーメント法 最尤法では確率が最大になるように母数推定・ネイマン・ピアソンの基本定理 確率の比 ( 尤度比 ) に着目すればよい .
最尤法に基づいた検定 ( 尤度比検定)
数理統計学第9回 10
尤度比検定の例ダーウィンのデータ仮説:自家受精群と他家受精群で 母平均 μが等しいか?帰無仮説:H 0: μ1= μ2
対立仮説:H 1: μ1≠μ2
σ2=32 (既知)
数理統計学第9回 11
仮説の母数空間における表現H 0 : (μ1 ,μ2) ∈ ω0
H 1 : (μ1 ,μ2) ∈ ω1
μ1
μ2
ω0
ω1
数理統計学第9回 12
尤度比検定統計量f (Y;θ) =f (θ; Y) Yを given として確率を θ の関数と考えたとき尤度 (likelihood) とよぶ .
maxH1 f (θ; Y) maxθ ω1∈ f (θ; Y)
───────= ─────────>cmaxH0 f (θ; Y) maxθ ω0∈ f (θ; Y)
log(maxH1 f (θ; Y))- log(maxH0 f (θ; Y)) > log c
ならば , H 0を棄却
数理統計学第9回 13
正規分布の確率密度関数
σ 2は既知n個Y1 ,・・・,Yn のn個のデータの得られる確率f
f =f (y 1 ) ・f (y2) ・・・f (y n ) = Π f (yi)
2
2
2 2exp
2
1)(
y
yf
n
i
i
n
n
i
i
y
yf
12
2
2
12
2
2
2exp
2
1
2exp
2
1)(
数理統計学第9回 14
尤度 ( H 0)H 0: μ1=μ2=μ
第h群(h=1:自家受精群,h=2:他家受精群)のi番目の観測値をyhi( i =1 ,2, ・・・ 15 )で表すことにする.
2
2
2 2exp
2
1)(
y
yf
2
22
1
15
1
30
2
15
12
2
2
2
10
2exp
2
1
2exp
2
1
hi
h i
i
hi
hH
y
yf
数理統計学第9回 15
対数尤度 ( H 0)
950.1830
02
2log
2)2log(15log
2
1
15
1
2
2
1
15
1
0
2
22
1
15
1
20
yy
y
d
fd
yf
h i
hi
hi
h i
H
hi
h iH
尤度最大 ⇒ 対数尤度最大
を代入するとlogf H 0 =- 76.458
数理統計学第9回 16
対数尤度 ( H 1) μ1≠μ2
15
12
22
2
1
15
12
11
1
1
15
12
222
15
12
2112
2
22
1
15
1
21
0log
0log
22)2log(15
2)2log(15log
i
iH
i
iH
i
i
i
i
hhi
h iH
y
d
fd
y
d
fd
yy
yf
数理統計学第9回 17
対数尤度 ( H 1) μ1≠μ2
20.19215
17.70815
15
12
22
15
11
11
i
i
i
i
yy
yy
logf H 1 に代入すると
logf H 1 =- 33.450( 自家受精 ) - 40.438( 他家受精) =- 73.888
数理統計学第9回 18
対数尤度比尤度比: maxH1f/ maxH0f
対数尤度比: log(maxH1f)- log(maxH0f)
2
1
15
12
22
2
22
1
15
1
2
2
22
1
15
1
2
01
2
2)2log(15
2)2log(15
loglog
h i
hhihi
hi
h i
hhi
h i
HH
yyyy
yy
yy
ffLR
数理統計学第9回 19
対数尤度比
2
1
15
1
2
1
15
1
22
2
1
15
1
22
1
15
1
2
h i h ihhhi
h ihhhi
h ihi
yyyy
yyyyyy
群内平方和 群間平方和対数尤度比 =(全平方和-群内平方和 )/2
σ 2
= 群間平方和/2 σ 2
2
2
1
15
1
2
2
h i
h yyLR
数理統計学第9回 20
対数尤度比
22
2/)(
2
22
2
22
2
2
221
2
2
212
2
211
2
2
2
2
1
212
2
1
15
1
2
Zyyn
yyyn
yyyn
yynyyn
yyy
yyLR h i
h
数理統計学第9回 21
Z 検定自由度∞ ,σ既知の平均値の差の検定
H 0の下で Zは標準正規分布 ,
Z 2 は自由度 1のカイ 2乗分布にしたがう .
Zが Zαを越えるときH 0を棄却2×対数尤度比が χ2
αを越えるときH 0を棄却
268.2
15
1
15
13
192.20708.17
11 22
21
nn
yyZ
数理統計学第9回 22
尤度の計算プログラム
data mle;set mle;do m1=16 to 22 by 0.1;do m2=16 to 22 by 0.1;s=3;f1=1/(2*3.141728*s**2)**.5 *exp(-(y1-m1)**2/s**2/2);f2=1/(2*3.141728*s**2)**.5 *exp(-(y2-m2)**2/s**2/2);logl=log(f1*f2);output;end;end;
数理統計学第9回 23
尤度曲面
数理統計学第9回 24
対数尤度曲面
数理統計学第9回 25
-102.3801
-99.3811
-96.3820
-93.3830
-90.3840
-90.3840
-90.3840
-87.3849-84.3859-81.3869-78.3879 -78.3879
-75.3888
16
18
20
22
m2
16 18 20 22
m1
等高線プロット
数理統計学第9回 26
帰無仮説 (μ1=μ2 ) の下での尤度
数理統計学第9回 27
尤度比検定likelihood ratio test
・ネイマン・ピアソンの基本定理の拡張 確率の比に基づいた検定・検定統計量 2×[log(maxH1 f (θ; Y))- log(maxH0 f (θ; Y))]
H0 の下で DF(H1) - DF(H0) のカイ 2 乗分布に従う .
ダーウィンの例) H0 : DF=1(μ), H1 : DF=2 (μ1, μ2) 自由度 1 のカイ 2 乗分布にしたがう .
数理統計学第9回 28
最尤推定量 (MLE) の復習
U = dlog f( θ ;y)/d θ :スコア関数とすると
MLEθ は log f( θ ;y) =0 の解となる .E[U]=0 , V [U]=E[U2]= E[-U’]=I( 情報量)V [θ]= 1/I1 ) nが大きくなれば, MLE は真値に一致する 2 ) MLE は,漸近的に正規分布にしたがう ( 漸近正規性) 3 ) 最尤推定量の分散は,漸近的に Fisher の情報量の逆数 (1/I) となる .
^ ^
^
数理統計学第9回 29
3 種類の検定尤度比検定, Wald 検定,スコア検定例 H0: μ = μ 0 の検定
1) 尤度比検定 L(μ) - L(μ0)
山の高さの違い2) Wald 検定 μ - μ0
MLE からの隔たり
3 )スコア検定 U (μ0)
μ0における傾きが 0 に近いか
^
^
数理統計学第9回 30
3 種類の検定の模式図
数理統計学第9回 31
山のてっぺんを捜すには.
(1)地図で位置を
確認する
(2) 高度を
測ってみる.
(3) 傾斜角度を
測ってみる.
数理統計学第9回 32
三蔵法師が山の最高点に
誘拐された.
最尤解を探せ.
数理統計学第9回 33
孫悟空 尤度比検定
觔斗雲でひとっ飛び,如意棒で山の高さを測る.
数理統計学第9回 35
Wald 検定 猪八戒
地図を頼りにひたすら掘り進む
数理統計学第9回 36
正規分布の確率密度関数
σ 2は既知n個Y1 ,・・・,Yn のn個のデータの得られる確率f
f =f (y 1 ) ・f (y2) ・・・f (y n ) = Π f (yi)
2
2
2 2exp
2
1)(
y
yf
n
i
i
n
n
i
i
y
yf
12
2
2
12
2
2
2exp
2
1
2exp
2
1
数理統計学第9回 37
対数尤度 (log likelihood)
2
2
12
2
12
2
12
2
12
2
12
2
2
22
222
2exp
2
1loglog
ynyy
yyyy
yfL
n
i
i
n
i
n
i
in
i
i
n
i
i
Lは μについての 2次関数尤度fの最大化⇒ 対数尤度 Lの最大化
⇒ d L/d μ= 0となる μを探す .
数理統計学第9回 38
正規分布の場合:一標本問題分散 σ 2が既知( 3 2 =9 )の場合対数尤度:
スコア統計量:MLE:情報量:
H0: μ = μ0 の検定は?
2
2
2)(
yn
L
2
)(
yn
U
y
2n
I
数理統計学第9回 39
尤度比検定
n
yyn
ynCL
Cyyn
CL
LL
LR
LR
2
20
2
202
2
20
0
2
2
02
)()(
2
)()(
2
)()(
))()((2
数理統計学第9回 40
尤度比検定
H 0: μ 0= 20 の検定 L(17.708 ) = -33.450
L(20 ) = -37.827
χ 2LR=2{ L(μ) - L(μ 0)}
= 2{ -33.450 - -37.827 }^
76.83
)20708.17(15)(2
2
2
20
yn
数理統計学第9回 41
Wald 検定
22
202
2
202
/
)(
)()(/1
)(
LRWald
Wald
n
nI
I
H 0 : μ 0= 20 の検定 (17.708 - 20) 2 = ─────── = 8.76 (32/15)
数理統計学第9回 42
ラオのスコア検定
22
4
2
0
2
4
2
02
0
202
20020
0
)(
)(
)]([)()(
LRWald
Score
ynn
yn
I
U
nUVI
ynU
H 0 : μ 0= 20 の検定= 15 (17.708-20)2 / (32) = 8.76
数理統計学第9回 43
3 種類の検定1 )漸近的に等価な検定 (nが大きくなると結果はほぼ等しくな
る)2 )各検定の特徴 尤度比:検定・信頼区間の 計算に反復計算が必要 Wald :対称性がある スコア:推定値が不明でも検定できる . 収束しない場合,総当たり法3)正規分布のときは完全に一致 対数尤度が2次関数となるため .
数理統計学第9回 44
スコア検定・ Wald ,尤度比検定は ,MLE が求まらない
と検定できない.・ MLE を求めるためには反復計算が必要・スコア検定はH 0 の下でのUとIがわかれ
ば 計算できる.・多くのモデルについての計算が必要な場
合 ,総当り法では , スコア検定が行われる.・スコア検定では収束しない場合でも ,
H 0 の検定が可能
数理統計学第9回 45
信頼区間の構成H 0: μ = μ 0を α 水準で検定して , 棄却されない範囲が信頼区間
尤度比検定ベースの 95% 信頼区間
自家受精群: 17.708±1.96×3 / 15 0.5
= 16.190 , 19.226
ny
ynLR
96.1
84.3)(
2
202
数理統計学第9回 46
信頼区間の模式図尤度比検定で有意とならない範囲
Lが 1.92までおちる範囲
数理統計学第9回 47
スコア検定と Wald 検定テーラー展開
正規分布の場合,近似は正確
2
))(())(()()(
2axafaxafafxf
≒
22
222
0
202
][
)(
)()(
)(
)(
)(
][')(][][
Wald
Score
V
II
I
I
U
I
UUU
≒
≒
数理統計学第9回 48
尤度比検定と Wald 検定
2
][2
)(
2
)()()()(
2
)()()(
2
)()())(()()(
2
22
2
2
Wald
VILL
IL
IULL
≒
≒
数理統計学第9回 49
尤度比検定と Wald 検定
対数尤度関数 L ( θ )= log f( θ )を MLEθ の周辺でテーラー展開して ,2 次式で近似できる
対数尤度は , θ の 2 次関数で近似されるWald 検定の結果は , 尤度比検定を近似する .
対数尤度比を2倍するとカイ2乗統計量正規分布の場合,近似は正確
数理統計学第9回 50
演習2項分布についてf( π ; y ) =nC y π y( 1 - π )n - y
1) 対数尤度を示せ .2) スコア統計量を計算せよ U =d log f( π ; y )/d π3) U = 0 となる π(π の最尤推定量 ) を求めよ4) 情報量 I=E[U2] を計算せよ .5) 1/I が何をあらわしているか述べよ .6)π=π0 の下で I と U を求め , スコアカイ2乗 (U2/I) を計算せよ .