東京大学 医学系研究科 M1 倉橋一成

1

3.2 カテゴリカルデータの例

欠測前の事象の確率を推定する

ノンパラメトリック bootstrap と MI を比較するために，（3.1）～(3.7)をノンパラメト

リックに解釈する．そのため，以下のようなカテゴリカルデータを想定する．

・ ( ){ }, 1,..., 4jX X x x∈ = =X ，

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )1 male, left , 2 male, right , 3 female, left , 4 female, rightX X X X= = = =

・ ( ){ }, 1,...,6jO O o o∈ = =O ，

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )1 male, left , 2 male, right , 3 female, left , 4 female, right ,O O O O= = = =

( ) ( ) ( ) ( )5 male,? , 6 female,?O O= =

これは性別と利き腕を示したものであり，X が完全データ（潜在変数）で O が欠測を含む

データ（観測値）である．そのため，X と O の集合関係は次のようになる．

( ) ( ){ } ( ) ( ) ( ){ }1 , 2 1 , 2 , 5X X O O O= ， ( ) ( ){ } ( ) ( ) ( ){ }3 , 4 3 , 4 , 6X X O O O=

また j 番目の人の潜在変数と観測値のペアを次のように簡単に表現する．

( ),j j jy x o=

さらに x と o が同一のものである，又は同一のものを指している可能性がある場合に 1 を

とる指示関数 ( ),x oδ を用意する．つまりこの指示変数は，y が取り得ることのできる x と

o のペアで 1 となる．

( ), 10

x o if x oif x o

δ = ∈

= ∉

　 　

　　　 　 　

具体的には ( ) ( ) ( ) ( )1,5 1, 3,6 1, 1,6 0, 3,5 0δ δ δ δ= = = = などである．さらに欠測メカニズ

ムを表す関数を設定する．

( ) ( )Pr j jc o x O o X x= = =

この関数は潜在変数が x である際に o が観測される確率を表しているので，観測確率又は

欠測確率を表現していることになる．以下に全例を挙げる．

東京大学 医学系研究科 M1 倉橋一成

2

観測確率： ( ) ( ) ( ) ( )11 , 2 2 , 3 3 , 4 4c c c c

欠測確率： ( ) ( ) ( ) ( )5 1 , 5 2 , 6 3 , 6 4c c c c

確率 0：その他の組み合わせ

つまり関数 c は，指示関数が 1 であると観測確率又は欠測確率を表し，指示関数が 0 であ

る場合は確率が 0 となる関数である．また各 x，o が取る確率を f，g で表す．式で書くと次

のようになる．

( ) ( )Pr ,Prj x j oX x f O o g= = = =

よって先に述べた c を用いて，f と g の関係を以下のように記述することができる．

( )o xx

g c o x f=∑

これを観測値と欠測に分けると次のようになる．

観測： ( ) ( ) ( ) ( ) ( ) ( ){ }( )for , 1,1 , 2, 2 , 3,3 , 4,4o xg c o x f x o= =　　 ，

欠測： ( ) ( ) ( ) ( ) ( ){ }( )1 21 2 1 2for , , 1, 2,5 , 3, 4,6o x xg c o x f c o x f x x o= =+　　

また、以上の関係を図示すると次のようになる．

さらに，以上を行列で表現すると以下のようになる．

=g fC

この f が MI でのηの役割を担っている．行列表現を要素で書き下すと次のようになる．

X(1) X(2)

O(1) O(2)

O(5)

1Pr( 1)x f= = 2Pr( 2)x f= =

( )1 1Pr( 1) 11o g c f= = =

( ) ( )5 1 2Pr( 5) 5 1 5 2o g c f c f= = = +

( )2 2Pr( 2) 2 2o g c f= = =

東京大学 医学系研究科 M1 倉橋一成

3

( ) ( )

( ) ( ) ( )( )

( ) ( )

1 6 1 4

11 2 1 6 1

1 2,..., ,...,

1 4 6 4

c c c

cg g f f

c c

=

ここでベイズの定理より導かれる以下の条件付き確率を考える．

( ) ( ) x

o

c o x fd x o

g=f

この d を用いて f と g の関係をベクトルで表現すると以下のようになる．

T= ff gD

この行列を要素で書き下すと次のようになる．

( ) ( )

( ) ( ) ( )( )

( ) ( )

( )

( ) ( ) ( )

( )

( ) ( )

1 2 4

1 1 1

1

1 4 1 6 1 6 2

1 4

6 6

11 1 2 1 4

11 2 1 4 12 1

1 2,..., ,..., ,...,

1 6 4 66 1 6 4

c f c f c fg g g

d d dc f

df f g g g g g

d dc f c f

g g

= =

f f f

f

f f

C は f に依存していないと仮定すると，D は f に依存しているので，この表現は先の行列表

現とは同値ではない．ここで，観測値ベクトル ( )1,..., no o=o に応じた経験確率ベクトルを

( )1 6ˆ ˆ ˆ,...,g g=g とすると，それぞれの経験確率は以下のように表せる．

( ){ }#ˆ i

k

o O kg

n=

=

つまりこれは，全観測値のうち 1 6~o o が観測されている割合である．さらにこの経験確率

をもとにして f の推定を以下のように行う．

ˆˆ ˆ T=

ff gD

しかし，D が c の関数になっているのでこの計算は困難である．そのため ignorable な欠測

過程を仮定すると，以下の p と先の d が等しくなる．

東京大学 医学系研究科 M1 倉橋一成

4

( ) ( )( ) '

'

,',

x

xx

x o fp x o

x o fδδ

=∑f

ignorable な欠測過程では，x の値に限らず欠測確率は等しい．そのため欠測確率 c が等し

くなる．

( ) ( ) ( ) ( )5 1 5 2 6 3 6 4c c c c p= = = =

この欠測確率を p とおくと，d は以下のようになる．

( ) ( ) ( )( ) ( ) ( )

( ) ( ) ( ) ( ) ( ){ }( )

1 1 1 1

1 2 1 21 2

1 11 1

1 2

1 2for , , 1, 2,5 , 2,1,5 , 3,4,6 , 4,3,6

x x x x

o x x x xx x

c o x f c o x f pf fd x o p o x

g pf pf f fc o x f c o x f

x x o

= = = = =+ +

=

f f+　

　　　　　　　　　　　　　

また，x と o が上記以外の組み合わせでは p と d が欠測過程に寄らず等しくなるのは自明で

ある（欠測していない組み合わせでは p=d=1 であり，それ以外では p=d=0 である）．よっ

て ignorable な欠測では D を P で置き換え，以下のように表現することができる．

ˆˆ ˆ T=

ff gP

この関係により，g の経験確率から f の推定値（MLE）を得ることができる．

推定された確率を用いた MIと bootstrapの比較

ABB 法を用いた MI とノンパラメトリック bootstrap を比較する．bootstrap 法は，単純

に bootstrap サンプルによって MLE を推定する．ABB 法は bootstrap サンプルによって xの条件付き確率 p を推定し，この p から仮想的な実現値 x**を発生させる．この操作は xが連測量であれば乱数を発生させることになるのだが，今回はカテゴリカルデータの例な

ので確率ベクトル p によるリサンプリングに相当する．つまりこれは bootstrap であると解

釈でき，カテゴリカルデータの場合の ABB 法は 2回の bootstrap によって構成されている

と考えることができる．そのため ABB 法に比べてノンパラメトリック bootstrap 法の方が

単純であり目的パラメータを直接推定している．しかし ABB 法はパラメトリックな問題や

事前情報をベイズ流に用いる際に有用であると思われる．

MI を用いる際の一般的な仮定として，「欠測が無ければ目的パラメータに関する推測は

簡単である」というものがある．目的パラメータを得る際には積分計算を行うことになる

が，パラメータが高次元である場合は，欠測が無い場合でも積分計算は困難になる．その

点 BCa 法や ABC 法は自動的に周辺をとることになるのでその心配はない（？）．さらにベ

イズ流の解析では事前分布に無情報事前分布を仮定することが多いが，これもパラメータ

が多いと無情報事前分布によってバイアスが生じることが知られている（Bernardo and Berger 1991, Tibshirani 1989）．しかし次の 4章のような方法を用いると，簡単で正確な

東京大学 医学系研究科 M1 倉橋一成

5

結果を得ることができる．

4. MI bootstrap

MI の前提として，iteration によって計算された事後分布が適切でなければいけないが，

高次元パラメータの場合はこの前提を満たすことが難しい．そのためこの問題を解消する

ことができる bootstrap 法を紹介する．

( )θ αx を，データ x に基づいたθのα信頼限界とすると，θの信頼密度（確率密度）は

以下のようになる．

( ) ( )† 1d

dθ α

π θα

= xx

これはαがθの累積密度を表しているため，αをθで微分するとθの確率密度になり上の

様に表現できる（確率密度を積分すると累積密度になるため）．図で表現すると次のように

なる．

この確率密度を用いてパラメータの事後分布を得る方法が ABC 法による MI bootstrap 法

である． 図 5 の左は MI bootstrap 法の結果の一部，右の実線は MI 法の結果を，破線は ABC 法

の結果を示す．

5. ABC法

ABC 法と ABCq法

BCa 法の欠点は bootstrap サンプリングを行うために何千回ものコンピュータ計算をし

0 θ θ

1 α ：累積確率

0.5 1d d

ddα θπ

αθ= = ：θの密度関数

東京大学 医学系研究科 M1 倉橋一成

6

なければいけないことであった．そのため，bootstrap サンプリングを行わなくても

bootstrap 信頼区間を近似的に得ることができる方法が ABC（approximate bootstrap confidence）法である．これは指数型分布族のパラメータを求る際の微分計算によって導出

されたものである（詳細は DiCiccio and Efron 1992）．ABC 法には 2 種類の計算方法があ

り，それぞれ“ABC”と“ABCq”と呼ばれる．これら ABC 法と通常の信頼区間との大き

な違いは，second-order accuracy 又は first-order accuracy である点なので ABC 法の方が

より正確な信頼区間が得られると思われる． ABC の計算方法を理解するために最も重要な点は，パラメータの表現を観測値にかかる

重み（確率）を用いて表現する点である．例えば0 1 1,...,

T

Pn n

=

とすると，経験分布 G を

得ることと得られた観測値に0P で重みを付けることは同値であるため，パラメータを以下

のように表現することができる．

( ) ( )0ˆ ˆt G T Pθ = =

実際には T の引数が0P ではない場合の計算を行わなくてはならないが，詳しい説明は後で

行う． θは最終的に知りたいパラメータである．今回の例に照らし合わせると t や T は

「imputation→共分散行列の計算→その行列の最大固有値を得る」という操作に相当し，

計算の結果得られた最大固有値がθである．また表現上θを ( )~T P と表すこともある．この

関数については後述する． ここから ABC 信頼区間を得るために計算すべきものを列挙する（これらは Efron の教科

書より抜粋した）．

( ){ } ( )0 0

0

1lim i

i

T P e T Pt

ε

ε ε

ε→

− + −= ，

21

12

2

ˆ

= ∑

=

n

i

i

nt

σ ， 23

1

2

1

3

61

⋅=

∑

∑

=

=

n

ii

n

ii

t

ta ，

( ) ( ) ( )2

200

20

0

ˆ12

ˆ1

limε

σεε

σεε

ε

⋅−−+−

⋅+−

=→

ttn

PTPTn

PTc ，

∑=

=n

i

i

nT

b1

22ˆ

，( ){ } ( ) ( ){ }

2

000

0

121lim

εεεεε

ε

iii

ePTPTePTT

−−+−+−=

→ ，

cb−=

σγ

ˆ

ˆˆ ， γ0 −= az ， ( )αα −Φ= − 11z ， ( )0,...,0,1,0,...,0ie =

東京大学 医学系研究科 M1 倉橋一成

7

it はデルタ法によって求まる empirical influence function でり，a は BCa の時と同じく

歪度を表す． b は ( )0T Pθ = を二階テイラー展開することによって求まる近似バイアスを

表す．γ は ( ){ }ˆ:T θ=P P の曲率を表すため，これが大きいとθ のバイアスが大きい． 0z は

BCa の時と同じく bootstrap サンプルのバイアスを補正する項である．そのため BCa の際

の式{ }*

10

ˆ ˆ#z

B

θ θ− < = Φ

でも求まるが，この計算のためには bootstrap サンプルが必要で

あるため，コンピュータ計算に負荷がかかる．その点 ABC 法では 0z も数式計算によって求

めることができるのでコンピュータ計算の負荷は格段に小さくなる．

ここで， ( )~T P の説明を行う．

( )~T P の説明

これは引数ベクトル~P を重みとして計算される最大固有値である．具体的な計算方法を以下

に書く．

まず重み付き二乗和 ( ){ }∑∑= =

++−n

i

m

jiiiji

oP1 1

2

~βαν を最小にするパラメータを推定し，このパラ

メータをもとに欠側値を imputation する．Imputation を式で表すと次のようになる．

jiijx βαν ˆˆˆˆ ++=

この値をもとに，重み付き共分散行列を次のように計算する．

( )( )∑=

−−=Σn

i

Tiii

xxP1 ~~

ˆˆˆˆ µµ ， ∑=

=n

iii

xP1 ~

ˆµ

そしてこの共分散行列の最大固有値が ( )~T P である．

以上の計算結果を基に，最終的に次のような計算により 2種のABC 信頼区間が得られる．

ABCｑ（計算に必要なもの： cza ,,,ˆ,ˆ 0σθ ）

αzzw += 0 ，( )21 aw

w−

=λ ， 2λλζ c+= ， ( ) ζσθαθ ˆˆ1ˆ +=−ABCq

東京大学 医学系研究科 M1 倉橋一成

8

ABC（計算に必要なもの： 0,,ˆ,ˆ zaσθ ）

αzzw += 0 ，( )21 aw

w−

=λ ， ( )0ˆ Pt=δ ， ( )

+=−σδλαθˆ

ˆ1ˆ 0PTABC

ここで，これらの計算をする際に核となる部分は以下のものである． 方法 1)

( )0 0

0

0.001 0.0011lim 0.001

i

i

T P e T Pn nt

nε→

− + − = ，

( )2

000

0 001.0

001.0001.012001.0001.01lim

−

−+−

+

−

=→

n

en

Pn

TPTen

Pn

TT

ii

i ε ，

( )2

200

20

0 001.0

ˆ001.0001.012

ˆ001.0001.01

lim

⋅⋅−

−+−

⋅⋅+

−

=→

n

nnP

nTPT

nnP

nT

ctt

σσε

実際に計算する際にはεにごく小さい値を代入すれば良いかと思われる（例えば上の方法

では 0.001/n を代入している）が，SAS によってプログラミングを行うと極端な結果とな

った． 結果 1)

α=0.05σ a b c γ z0 w λ ξ ABCq

220.04 0.099 -632235 -27839991 27837118 -27837118 -27837119 -3.70E-06 -0.00039 633.16 α=0.95

σ a b c γ z0 w λ ξ ABCq220.04 0.099 -632235 -27839991 27837118 -27837118 -27837116 -3.70E-06 -0.00039 633.16

しかし Efron は S のプログラム abcnon において次のように計算を行うようにプログラミ

ングしている．

東京大学 医学系研究科 M1 倉橋一成

9

方法 2)

( )0 00.001itp T P e P

n = + −

， ( )0 00.001itm T P e P

n = − −

，

2 0.001itp tmt

n−

=⋅

，

( )( )2

0

001.02

ntmPTtpTi

+−= ，

2

1ˆ

n

ii

t

nσ ==

∑， 2 ˆ

itn

δσ

=

( )0 0 0

2

0.001 0.0012

0.001ˆ2

T P T P T Pn nc

n

δ δ

σ

+ ⋅ − + − ⋅ =

⋅

このような計算をおこなうように SAS でプログラミングすると結果は以下のようになった． 結果 2)

α=0.05σ a b c γ z0 w λ ξ ABCq

220.05 0.10 -22.85 -0.03 -0.07 0.18 -1.47 -1.12 -1.16 377.68

α=0.95σ a b c γ z0 w λ ξ ABCq

220.05 0.10 -22.85 -0.03 -0.07 0.18 1.82 2.70 2.47 1176.31

各信頼限界値

0.025 0.050 0.100 0.160 0.840 0.900 0.950 0.975337 378 430 476 946 1043 1176 1304

方法 1)を用いて計算すると a=0.0985 となり Efron の結果と一致したが，c が大きくなり

すぎるために最終的な信頼限界値は妥当なものとならない．さらにαの値を変えても信頼

限界値はほとんど変わらない．しかし方法 2)を用いたプログラミングを行うと結果は妥当

なものとなった．a の値は Efron の結果と一致し，z0 も Efron の結果にほぼ等しい（Efronは z0=0.19）．z0 の微妙な差異は S と SAS の丸め誤差の違いであろうと考えている．さら

にバイアスを表している b も値が-22.85 となっており，bootstrap サンプルによって得られ

たバイアスを良く近似していることがわかる．

東京大学 医学系研究科 M1 倉橋一成

10

MI bootstrap

MI bootstrap のアルゴリズムは以下のようになる．

1)欠測を含むデータ( )mo∗

を bootstrap サンプルする

2)欠測を imputation し，平均ベクトル( )ˆ mµ∗

と共分散行列( )ˆ m∗Σ を推定する

3) ( )ˆ mµ∗と

( )ˆ m∗Σ をパラメータとする多変量正規分布から( )mx を発生させる

4) ( )mx をもとに ABC 信頼区間を計算し，確率密度を得る 5)この操作を M 回 replicate し MI bootstrap 信頼区間を得る 以下結 果。。。。。。 6. まとめ

bootstrap 法

bootstrap サンプル：o*

imputation bootstrap

欠測を埋めた データ：x*

欠測を含む 観測データ：o

θ*

θ*

θ*

パラメータ推定

estimate

※推定されたパラメータの分布から直接推測を行う方法が nonparametric bootstrap 法 （first-order accurate） ※BCa 法は Z0 と a を使って信頼区間を補正する（second-order accurate） ※ABC 法は数値計算によって BCa 法と同等の信頼区間を得ることができる （second-order accurate）

東京大学 医学系研究科 M1 倉橋一成

11

full-mechanism bootstrap 法

MI bootstrap 法

欠測を含む

データ：o

bootstrap

bootstrap

サンプル：o*

infer imputation

†π

†π

†π

calcurate

※信頼密度の計算は ABC 法に基づくので MI bootstrap 法は ABC 法の拡張と思われる

η∗

η∗

η∗

欠測を埋めた

データ：x*

x*の分布を推測

generate

x

x

x

x を発生

信頼密度を計算

欠測を含む データ：o

imputation

欠測を埋めた データ：x

bootstrap

bootstrap サンプル：x*

conceal imputation

θ*

θ*

θ*

estimate

x*に欠測 を起こす

欠測を埋める パラメータ推定

※欠測を起こす際に欠測過程が分かっていなくてはならない ※nonparametric bootstrap，BCa，ABC に関しては bootstrap 法と同様の議論が可能

事後分布を得る