1章 離散型確率分布 - 日本大学文理学部 数学科mori/lecture_notes/...1.2....
TRANSCRIPT
1
目 次
第 1章 離散型確率分布 2
1.1 確率分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 多変数の確率分布 . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 期待値と分散 . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4 共分散,相関係数 . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.5 モーメント毋関数 . . . . . . . . . . . . . . . . . . . . . . . . . 11
第 2章 連続型確率分布 17
2.1 密度関数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2 高次元の密度関数 . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3 期待値と分散 . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.4 モーメント毋関数 . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.5 その他の連続型確率分布 . . . . . . . . . . . . . . . . . . . . . 33
2.6 Γ関数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.7 B関数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.7.1 e−x2 の積分 . . . . . . . . . . . . . . . . . . . . . . . . 39
2.8 精密法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.8.1 ポアソン分布の精密法 . . . . . . . . . . . . . . . . . . 45
2.8.2 2項分布の精密法 . . . . . . . . . . . . . . . . . . . . . 48
2.9 その他,統計に現れる確率分布 . . . . . . . . . . . . . . . . . 50
2.9.1 ガンマ分布,ベータ分布と他の確率分布の間の関係 . . 51
第 3章 条件付き確率,条件付き期待値 52
3.1 条件付き確率 . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.1.1 離散型 . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.1.2 連続型 . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.1.3 離散型と連続型の場合 . . . . . . . . . . . . . . . . . . 60
3.1.4 条件付き確率の性質 . . . . . . . . . . . . . . . . . . . 61
3.1.5 最良推定値 . . . . . . . . . . . . . . . . . . . . . . . . 63
3.2 Bayesの話 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.3 Markov連鎖 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.4 極限定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
3.5 吸収壁ランダムウォーク . . . . . . . . . . . . . . . . . . . . . 69
2
3.6 反射壁ランダムウォーク . . . . . . . . . . . . . . . . . . . . . 71
3.6.1 エーレンフェストの壷 . . . . . . . . . . . . . . . . . . 71
3.7 ランダムウォーク . . . . . . . . . . . . . . . . . . . . . . . . . 75
第 4章 極限定理 78
4.1 大数の法則 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.2 Weierstrassの多項式近似定理 . . . . . . . . . . . . . . . . . . 80
4.3 ポアソンの小数の法則 . . . . . . . . . . . . . . . . . . . . . . 81
4.4 Levyの反転公式 . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.5 中心極限定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
第 5章 推定,検定 86
5.1 導入 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
5.2 用語 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
5.2.1 母集団 . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
5.2.2 必要なこと . . . . . . . . . . . . . . . . . . . . . . . . 89
第 6章 その他 90
6.1 ジニ係数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
3
第1章 離散型確率分布
1.1 確率分布S を有限または可算集合とする.各 xi ∈ S に確率 pi を表にする.
値 x1 x2 · · ·確率 p1 p2 · · ·
pi ≥ 0と∑
i pi = 1をみたすとする.これを確率分布とよぶ.とくに Sが離散集合であるので,離散型確率分布
とよぶ.S は有限もしくは可算集合,確率分布は
• pi ≥ 0
•∑
i pi = 1
をみたす.
例 1 (等確率型)
#S = n, pi =1
n
例 2 (二項分布) B(n, p)とも表す (0 < p < 1),また q = 1− pを表す.
S = 0, 1, 2, . . . , n, pi = nCipiqn−i
例 3 (幾何分布) Ge(p)とも表す (0 < p < 1),また q = 1− pを表す.
S = 0, 1, 2, . . ., pi = piq
例 4 (ポアソン分布) Po(λ)とも表す (λ > 0)
S = 0, 1, 2, . . ., pi = e−λλr
r!
例 5 (負の 2項分布) NB(n, p) とも表す (0 < p < 1),また q = 1 − p を表す.
pk = n+k−1Ckpnqk
始めて n回目の失敗をするまでの成功の回数 kを表す.NB(1, p)は幾何分布になる.
4 第 1章 離散型確率分布
問題 1 負の 2項分布は
P (X = k) =
(−n
k
)pn(−q)k
と表すことができることを示し,さらに全体の確率が 1に等しいことを示してください.
解.
n+k−1Ckpnqk =
(n+ k − 1)!
k!(n− 1)!pnqk
=(n+ k − 1)(n+ k − 2) · · ·n
k!pnqk
=(−n)(−n− 1) · · · (−n− k + 1)
k!(−1)kpnqk
=
(−n
k
)pn(−q)k
ここで∞∑k=0
(−n
k
)pn(−q)k = pn(1− q)−n = 1
数学的に厳密な概念ではないが,Rに値をとる変数X を確率変数という.
pi = P (X = xi)
により,事象 xiが起きる確率 piを定めると,xi全体の集合 S の上の確率分布が定まる.
問題 2 X が次の式をみたすとき定数 C,Dを求めてください.
(1)
P (X = k) = nCkpk × Cn−k, (0 ≤ k ≤ n)
(2)
P (X = k) = Cpqk +D, (k ≥ 0)
(3)
P (X = k) = Cλk
k!, (k ≥ 0)
問題 3X −1 0 1
確率 16
12
をみたすとき,空欄を埋め,2X − 1,X2,tX,etX の確率分布を求めてください.
1.2. 多変数の確率分布 5
解.
X −1 0 1
確率 16
13
12
2X − 1 −3 −1 1
確率 16
13
12
X2 0 1
確率 13
23
tX 1t 1 t
確率 16
13
12
etX 1et 1 et
確率 16
13
12
1.2 多変数の確率分布X\Y y1 y2 · · · 和x1 p11 p12 · · · pX1
x2 p21 p22 · · · pX2...
......
. . ....
和 pY1 pY2 · · · 1
ここで
pXi = P (X = xi) =∑j
pij , pYj = P (Y = yj) =∑i
pij
これらにより,X と Y の確率分布が定まる.これを周辺分布という.
X x1 x2 · · ·確率 pX1 pX2 · · ·
Y y1 y2 · · ·確率 pY1 pY2 · · ·
問題 4 X,Y が確率分布
X\Y 0 1 2 和0 1
2416
13
1 112
2 18
724
和 524
にしたがうとき,まず穴を埋め,X + Y,XY,maxX,Y ,minX,Y の確率分布を定めてください.
解.
6 第 1章 離散型確率分布
X\Y 0 1 2 和0 3
24124
16
13
1 112
112
524
924
2 18
112
112
724
和 824
524
1124
X + Y 0 1 2 3 4
確率 324
324
924
724
224
XY 0 1 2 4
確率 1324
224
724
224
maxX,Y 0 1 2
確率 324
524
1624
minX,Y 0 1 2
確率 1324
924
224
問題 5 0 < p1, . . . , pn < 1,p1 + · · ·+ pn = 1について,X1, . . . , Xn の確率分布が
P (X1 = k1, . . . , Xn = kn) =n!
k1! · · · kn!pk11 · · · pkn
n (k1, . . . , kn ≥ 0, k1+· · ·+kn = n)
をみたすとき,多項分布という.これが確率分布になっていることを確かめてください.
解. ∑k1,...,kn : k1+···+kn=n
n!
k1! · · · kn!pk11 · · · pkn
n = (p1 + · · ·+ pn)n = 1
pij = pXi × pYj
をすべての i, jについてみたすとき,X と Y は独立であるという.言い換えれば,
P (X = xi, Y = yj) = P (X = xi)× P (Y = yj)
が成り立つとき独立である.2つ以上の確率変数の場合にも,
P (X = xi, Y = yj , Z = zk) = P (X = xi)× P (Y = yj)× P (Z = zk)
などと積となるとき独立という.無限個の確率変数 X1, X2, . . .のときには,任意の有限個を取り出すとき,それらが独立なとき,独立であるという.
問題 6 X と Y,Y と Z,Z とX はそれぞれ独立なのにX,Y, Z が独立でない例を作ってください.
1.2. 多変数の確率分布 7
解.
P (X = 1, Y = 1, Z = 0) =1
9, P (X = 1, Y = 0, Z = 0) =
1
9,
P (X = 1, Y = 0, Z = 1) =1
9, P (X = 0, Y = 1, Z = 0) =
1
9,
P (X = 0, Y = 1, Z = 1) =1
9, P (X = 0, Y = 0, Z = 1) =
1
9,
P (X = Y = Z = 0) =1
3
問題 7 (1) XとY が以下の表をみたすとき空欄を埋め,さらにmaxX,Y の確率分布を求めてください.
X\Y 0 1 和0 1
2416
1 18
和
(2) X と Y が独立なとき空欄を埋め,さらに X + Y の確率分布を求めててください.
X\Y 0 1 和0 1
2416
1
和
解.
(1)
X\Y 0 1 和0 1
24324
16
1 1124
324
2024
和 1824
624
maxX,Y 0 1
確率 124
2324
(2)
X\Y 0 1 和0 1
24324
424
1 524
1524
2024
和 624
1824
X + Y 0 1 2
確率 124
824
1524
8 第 1章 離散型確率分布
問題 8 (1) X1, . . . , Xnが独立ならば,そのうちの任意の有限個の確率変数も独立であることを示してください.
(2) 任意のX1, X2, . . . , Xn が独立ならば,X1, X2, . . .も独立であることを示してください.
解.
(1) X1, . . . , Xn−1 が独立なことを示せば,後はその繰り返しで示せる.
(2) 上の主張より明らか
1.3 期待値と分散確率変数X の期待値 (平均)とは
E(X) =∑i
xipi
問題 9 xiに確率 piの錘りを置いたとき,回転モーメントが 0に等しくなる点が期待値であることを示してください.
期待値の性質
(1) E(X + Y ) = E(X) + E(Y )
(2) E(aX + b) = aE(X) + b
(3) X と Y が独立ならば,E(XY ) = E(X)× E(Y )
分散とはV (X) = E[(X − E(X))2] =
∑i
(xi − E(X))2pi
また,標準偏差とはσ(X) =
√V (X)
分散の性質
(1) V (aX + b) = a2V (X)
(2) V (X) = E(X2)− (E(X))2
(3) X と Y が独立ならば,V (X + Y ) = V (X) + V (Y )
1.3. 期待値と分散 9
問題 10 サイコロ 2 個 X,Y を投げるとき,合計の目に対応する確率変数X + Y,大きい方の目に対応する確率変数maxX,Y , minX,Y の期待値と分散を求めてください.
解. E(X) = E(Y ) = 72,V (X) = V (Y ) = 35
12 で独立である.
E(X + Y ) = E(X) + E(Y ) = 7
V (X + Y ) = V (X) + V (Y ) =35
6
xについて
P (maxX,Y ≤ x) = P (X ≤ x, Y ≤ x) = P (X ≤ x)× P (Y ≤ x)
なので
P (maxX,Y ≤ 1) =1
36
P (maxX,Y ≤ 2) =1
9
P (maxX,Y ≤ 3) =1
4
P (maxX,Y ≤ 4) =4
9
P (maxX,Y ≤ 5) =25
36P (maxX,Y ≤ 6) = 1
maxX,Y 1 2 3 4 5 6
確率 136
112
536
736
14
1136
E(maxX,Y ) =161
36
V (maxX,Y ) =2555
1296
xについて
P (minX,Y ≥ x) = P (X ≥ x, Y ≥ x) = P (X ≥ x)× P (Y ≥ x)
なので
P (minX,Y ≥ 1) = 1
P (minX,Y ≥ 2) =25
36
P (minX,Y ≥ 3) =4
9
P (minX,Y ≥ 4) =1
4
P (minX,Y ≥ 5) =1
9
P (minX,Y ≥ 6) =1
36
10 第 1章 離散型確率分布
maxX,Y 1 2 3 4 5 6
確率 1136
14
736
536
112
136
ここで
E(minX,Y ) =6∑
k=1
kP (X = k) =6∑
k=1
P (X ≥ k) =91
36
と計算することもできる.
E(minX,Y 2) = 301
36
よりV (minX,Y ) = 35
6
問題 11 10種類のおまけが入っているお菓子がある.10種類全部集めるのに必要な個数の期待値を求めてください.n種類ならどうですか.
解. 1種類目は 1つ買えば必ず手に入る.2種類目を得る確率は 910,など
と 10種類目を得る確率は 110 などの幾何分布になっているので,期待値は
1 +10
9+ · · ·+ 10
1= 10
(1
1+
1
2+ · · ·+ 1
9+
1
10
)nならば
n
(1
1+
1
2+ · · ·+ 1
n
)≑ n(log n+ γ)
γ ≑ 0.57721はオイラー定数
γ = limn→∞
(n∑
k=1
1
k− log n
)
問題 12
Y =X − E(X)√
V (X)
とおくと,E(Y ) = 0かつ V (Y ) = 1
問題 13 X1, . . . , Xn は独立で,V (X1) = · · · = V (Xn) = vならば
V (X1 + · · ·+Xn
n) =
v
n
1.4. 共分散,相関係数 11
1.4 共分散,相関係数X と Y の共分散を
Cov(X,Y ) = E[(X − E(X))(Y − E(Y ))]
で定義する.さらにρ(X,Y ) =
Cov(X,Y )√V (X)V (Y )
を相関係数という.
問題 14 相関係数はX と Y を正規化した X = X−E(X)√V (X)
, Y = Y−E(Y )√V (Y )
の共
分散 ρ(X,Y ) = Cov(X, Y )であることを確かめてください.
問題 15 相関係数が次元によらないことを確かめてください.
解. ちょっと拡張して,a, c > 0について
ρ(aX + b, cY + d) = ρ(X,Y )
が容易に確かめられる.
問題 16 XとY が独立ならば,Cov(X,Y ) = 0をみたす.また,Cov(X,Y ) =
0をみたしても,独立でない例を作ってください.
解.
Cov(X,Y ) = E(XY )− E(X)E(Y )
より,明らかである.また,
X\Y −1 0 1 和−1 0 1
9 0 19
0 19
59
19
79
1 0 19 0 1
9
和 19
79
19
は独立ではないが,E(X) = E(Y ) = 0かつE(XY ) = 0なので,Cov(X,Y ) =
0
12 第 1章 離散型確率分布
問題 17 |ρ(X,Y )| ≤ 1であること,およびρ(X,Y ) = ±1ならば,Y = aX+b
をみたす a, bが存在することを示してください.また
ρ(X,Y ) = 1 ⇒ a > 0. ρ(X,Y ) = −1 ⇒ a < 0
もみたす.
解. t ∈ Rについて,
V (X + tY ) = V (X) + 2tCov(X,Y ) + t2V (Y )
tの 2次式として常に非負であるので,その判別式
D/4 = (Cov(X,Y ))2 − V (X)V (Y ) ≤ 0
である.これより,(ρ(X,Y ))2 ≤ 1
が出る.また,ρ(X,Y ) = ∓1ならば,
t = ±
√V (X)
V (Y )
のときには,V (X + tY ) = 0になる.すなわち
X ±
√V (X)
V (Y )Y =定数
1.5 モーメント毋関数確率変数X に対して,
MX(t) = E[etX ]
をモーメント毋関数という.他に,非負の整数値のみをとる確率変数については
PX(t) = E[tX ]
を確率毋関数,モーメント毋関数は確率変数によっては収束する tに注意を払わなければならないので
ϕX(t) = E[eitX ]
を特性関数という.数学的には特性関数がもっとも意味をもつ.
1.5. モーメント毋関数 13
定理 1
MX(0) = 1, M ′X(0) = E(X), M ′′
X(0) = E(X2)
問題 18 Xがそれぞれ2項分布B(n, p),幾何分布Ge(p),ポアソン分布Po(λ),負の 2項分布NB(n, p)の期待値と分散を計算してください.さらに,モーメント毋関数 E[etX ]を求めてください.
解. 幾何分布は直接計算すると大変でしょう.
期待値 分散 モーメント毋関数B(n, p) np npq (etp+ q)n
Ge(p) pq
pq2
q1−etp
Po(λ) λ λ exp[etλ− λ]
NB(n, p) npq
npq2
(q
1−etp
)n
問題 19 X は非負の整数値をとる確率変数とする.このとき
E(X) =
∞∑k=0
P (X > k)
をみたすことをチェックし,これを用いて,幾何分布 Ge(p)の期待値を求めてください.
解.
∞∑k=0
P (X > k) =
∞∑k=0
∞∑l=k+1
P (X = l)
=∞∑l=1
l−1∑k=0
P (X = l)
=∞∑l=1
l P (X = l) =∞∑l=0
l P (X = l) = E(X)
幾何分布の場合
P (X > k) =∞∑
l=k+1
pql = pqk+1 1
1− q= qk+1
したがって
E(X) =∞∑k=0
qk+1 = q1
1− q=
q
p
14 第 1章 離散型確率分布
問題 20 X は値 0,1,2の 3つの値をとる確率変数で期待値が 76,分散が
1736 の
とき,X の確率分布を求めてください.
解.
X の値 0 1 2
確率 16
12
13
問題 21 2項分布 B(n, p),幾何分布Ge(p),ポアソン分布 Po(λ)の期待値と分散をモーメント毋関数を用いて計算してください.
解.
確率分布 M(t) M ′(t) M ′′(t)
B(n, p) (etp+ q)n npet(etp+ q)n−1 npet(etnp+ q)(etp+ q)n−2
Ge(p) p1−etq
etpq(1−etq)2
et(1+etq)pq(1−etq)3
Po(λ) exp[etλ− λ] λet exp[λet − λ] λet(1 + λet) exp[λet − λ]
定理 2 確率変数 X と Y がMX(t) = MY (t)をみたすならば,X と Y は同分布である.
証明は Levyの反転公式からしたがう.X,Y のモーメント毋関数は
M(X,Y )(t, s) = E[etX+sY ]
一般にX1, . . . , Xnに対しては,t = (t1, . . . , tn)を用いて,X = (X1, . . . , Xn)
MX (t) = E[etX ]
により定義する.X1, . . . , Xn が独立であることと
MX (t) =
n∏i=1
MXi(ti)
とは同値である.
問題 22 X1, X2, . . .を均等な硬貨投げとする.
X =X1 + · · ·+Xn
n
のモーメント毋関数を求めてください.
1.5. モーメント毋関数 15
解.
M1(t) = E[etX1 ] =1 + et
2であるので,
MX(t) = E[etX ] = E[e(tX1+···+tXn)/n]
= MX ((t
n, . . . ,
t
n))
=n∏
i=1
MXi(t
n)
=
(1 + et/n
2
)n
この式をテイラー展開すると
(1 +t
2n+ · · · )n → et/2
右辺は,常に値 12 をとる確率変数 (といえるかな)に等しい.これは大数の法
則になっている.
問題 23 (2項分布の再生性) XとY がそれぞれ 2項分布B(n, p)とB(m, p)
にしたがい,独立とする.このとき,X + Y は 2項分布 B(n+m, p)にしたがうことを示してください.
解.
MX+Y (t) = E[et(X+Y )]
= E[etX ]× E[etY ]
= (etp+ q)n(etp+ q)m
= (etp+ q)n+m
これを確率分布で求めるのはなかなか大変である.
問題 24 (Poisson分布の再生性) Xと Y がそれぞれポアソン分布Po(λ)とPo(µ)にしたがい,独立とする.このとき,X+Y はポアソン分布 Po(λ+µ)
にしたがうことを示してください.
解.
MX+Y (t) = E[et(X+Y )]
= E[etX ]× E[etY ]
= exp[(et − 1)λ]× exp[(et − 1)µ]
= exp[(et − 1)(λ+ µ)]
16 第 1章 離散型確率分布
これは確率分布を用いても容易に示せる.
P (X + Y = k) =
k∑l=0
P (X = l)× P (Y = k − l)
=k∑
l=0
e−λλk
k!e−µ µk−l
(k − l)!
= e−(λ+µ) 1
k!
k∑l=0
kClλlµk−l
= e−(λ+µ) (λ+ µ)k
k!
問題 25 負の 2項分布 NB(n, p)
P (X = k) = n+k−1Cn−1pnqk
は独立な幾何分布 Ge(p)にしたがう Y1, . . . , Yn の和X = Y1 + · · ·+ Yn の確率分布であることを確かめてください.
解. 負の 2項分布のモーメント毋関数は,負の 2項展開を用いると
MX(t) = E[etX ] =∞∑k=0
ektn+k−1Cn−1pnqk
= pn∞∑k=0
n+k−1Cn−1(etq)k
= pn∞∑k=0
(n+ k − 1)!
k!(n− 1)!(etq)k
= pn∞∑k=0
(n+ k − 1) · · ·nk!
(etq)k
= pn∞∑k=0
(−n)(−n− 1) · · · (−n− k + 1)
k!(−etq)k
= pn∞∑k=0
−nCk(−etq)k
= pn(1− etq)−n
一方,幾何分布 Ge(p)のモーメント毋関数は
MY (t) = E[etY ] =∞∑k=0
etkpqk =p
1− etq
1.5. モーメント毋関数 17
であるので,その積は
MY1+···+Yn(t) =pn
(1− etq)n
またこのことから,幾何分布Ge(p)は負の 2項分布NB(1, p)に等しいことがわかる.
問題 26 (負の 2項分布の再生性) X,Y が独立で負の2項分布NB(n, p),NB(m, p)
にしたがうとき,X + Y は NB(n+m, p)にしたがうことを示してください.
解.
MX(t) =
(p
1− etq
)n
, MY (t) =
(p
1− etq
)m
であるから
MX+Y (t) = E[et(X+Y ) = E[etX ]× E[etY ] =
(p
1− etq
)n+m
18
第2章 連続型確率分布
2.1 密度関数
FX(x) = P (X ≤ x)
を分布関数と言います.分布関数の性質
(1) FX(x)は単調増加関数
(2) limx→−∞ FX(x) = 0, limx→∞ FX(x) = 1
離散型の場合には,分布関数は階段型
X の値 x1 x2 · · ·X の確率 p1 p2 · · ·
ならば
FX(x) =
0 x < x1
p1 x1 ≤ x < x2
p1 + p2 x2 ≤ x < x2
· · · · · ·
となります.それに対して,分布関数が微分可能な場合を連続型と言い,
fX(x) =d
dxFX(x)
を密度関数と言います.したがって,
FX(a) =
∫ a
−∞fX(x) dx
をみたします.この場合,
P (a < X ≤ b) = P (X ≤ b)− P (X ≤ a) = FX(a)− FX(b)
であるので,
P (a < X ≤ b) =
∫ b
a
fX(x) dx
2.1. 密度関数 19
をみたします.したがって,
P (|X − a| < ε) → 0
となるので,1点の確率は 0になり,確率を確率分布表で与えることはできません.密度関数の性質
(1) fX(x) ≥ 0
(2)∫∞−∞ fX(x) dx = 1
例 6 一様分布 U(a, b)
f(x) =1
b− ax ∈ (a, b)
例 7 指数分布 Exp(λ)
f(x) = λe−λx x > 0
例 8 正規分布 N(m, v)
f(x) =1√2πv
e−(x−m)2/v
問題 27 X が正規分布N(m, v)にしたがうとする.このとき,Y = X−m√vは
標準正規分布にしたがうことを確かめてください.
解. 一般には
P (Y ≤ y] = P (X ≤ y√v +m) =
∫ y√v+m
−∞
1√2πv
e−(x−m)2/2v dx
において,s = x−m√vとおけばよい.
MY (t) = E[etY ] = E[et(X−m)/√v] = e−tm/sqrtvMX(t
√v)
およびMX(t) = emt+vt2/2
を用いてもよい.
問題 28 (1) 密度関数
f(x) =
13 |x− 2| 1 ≤ x ≤ 3
Cx2 −1 ≤ x < 1
をみたす C を求めてください.
20 第 2章 連続型確率分布
(2) [0, π]の上の密度関数 C sin2 xとするとき,C を求めてください.
解.
(1) 1, (2)2
π
問題 29 連続型の確率変数X について
P (X ≤ x) =
C −De−λx x ≥ 0
0 x < 0
とするとき,C,Dを定め,確率変数X の密度関数を求めてください.
解.
P [X < ∞] = 1
であることから,C = 1でなければならない.または,連続型であるときより.
limx↓0
P (X ≤ x) = 0
を考えると,C = Dをみたすことがわかる.xで微分することにより
fX(x) =
Dλe−λx x ≥ 0
0 x < 0
を得るが,∫∞0
fX(x) dx = 1より,D = 1が出る.
問題 30 (対数正規分布) 正規分布N(m, v)にしたがう確率変数Xについて,eX の密度関数を求めてください.
解. a > 0について
FeX (a) = P (eX ≤ a) = P (X ≤ log a)
=1√2πv
∫ log a
−∞e−(x−m)2/2v dx
したがって,feX (a) =
1√2πv
e−(log a−m)2/2v 1
a
2.2. 高次元の密度関数 21
問題 31 (自由度 1の χ2 分布) 正規分布 N(0, 1)にしたがう確率変数 X について,X2 の密度関数を求めてください.
解. a > 0について
FX2(a) = P (X2 ≤ a) = P (−√a ≤ X ≤
√a)
=1√2π
∫ √a
−√a
e−x2/2
微分してfX2(a) =
1√2πa
e−a/2
問題 32 (自由度 2の χ2 分布) 正規分布N(0, 1)にしたがう独立な確率変数X,Y について,X2 + Y 2 の密度関数を求めてください.
解. X2,Y 2 の密度関数は自由度 1の χ2 分布であるから
P (X2 + Y 2 ≤ z) =
∫ ∞
−∞
∫ z−u
−∞fX2(u)fY 2(v) dudv
であるので,密度関数は
fX2+Y 2(z) =
∫ ∞
−∞fX2(u)fY 2(z − u) du
=
∫ z
0
1√2πu
e−u/2 1√2π(z − u)
e−(z−u)/2 du
=e−z/2
2π
∫ 1
0
1
zt(z − zt)z dt (u = zt)
=e−z/2
2πB(1/2, 1/2)
=1
2e−z/2
2.2 高次元の密度関数確率変数X と Y の結合分布が
P (a < X < b, c < Y < d) =
∫f(X,Y )(x, y) dxdy
で与えられる.より,高次元の場合も考えられる.この場合,密度関数は高次元の関数となる.
22 第 2章 連続型確率分布
(1) f(X,Y )(x, y) ≥ 0
(2)∫f(X,Y )(x, y) dxdy = 1
などとなる.
問題 33 D は [0, 1]2 の場合と (0, 0), (1, 0), (0, 1)を頂点とする三角形とする場合に
f(x, y) = Cx2y
をみたすとき,それぞれの C を求めてください.
解. D = [0, 1]2 のときには,C = 6,三角形のときには∫ 1
0
dx
∫ 1−x
0
x2y dy =1
60
であるから,C = 60
問題 34 Dは原点を中心とする半径 1の円の第一象限にある 4分円とする.
f(x, y) = C√x2 + y2
とするとき C を求めてください.
解. dxdy = r drdθより ∫ 1
0
dr
∫ π/2
0
r2 dθ =π
6
より,C = 6π
X の密度関数を求めてみよう
FX(a) = P (X < a) = P (X < a,−∞ < Y < ∞)
=
∫ a
−∞dx
∫ ∞
−∞f(X,Y )(x, y) dxdy
この式を aで微分するとX の密度関数
fX(a) =
∫ ∞
−∞f(X,Y )(a, y) dy
を得る.同様にfY (b) =
∫ ∞
−∞f(X,Y )(x, b) dx
結合分布から周辺分布を導くことができる.
2.2. 高次元の密度関数 23
X と Y が独立であるとは
P (a < X < b, c < Y < d) = P (a < X < b)× P (c < Y < d)
などと表されることを言う.3つ以上の複数の確率変数の場合にも離散型と同様に定義される.この場合,密度関数は
P (a < X < b, c < Y < d) =
∫ b
a
dx
∫ d
c
dyf(X,Y )(x, y)
P (a < X < b)× P (c < Y < d) =
∫ b
a
fX(x) dx
∫ d
c
fY (y) dy
がすべての a, b, c, dについて成り立つのだから,
f(X,Y )(x, y) = fX(x)× fY (y)
が成り立つ.離散型と同様に独立であれば,周辺分布から結合分布を導くことができる.
問題 35 Dは [0, 1]2 のとき,
f(x, y) = 6x2y
Dが (0, 0), (1, 0), (0, 1)を頂点とする三角形とする場合に
f(x, y) = 60x2y
をみたすとき,X と Y の密度関数を求めてください.X と Y は独立ですか.さらに P [X ≤ 1
2 ]を求めてください.
解. D = [0, 1]2 のときには
fX(x) =
∫ 1
0
6x2y dy = 3x2
fY (y) =
∫ 1
0
6x2y dx = 2y
この場合には独立で,P (X ≤ 12 ] =
18
三角形のときには
fX(x) =
∫ 1−x
0
60x2y dy = 30(x2 − 2x3 + x4)
fY (y) =
∫ 1−y
0
60x2y dx = 20(1− y)3y
独立ではない.P [X ≤ x] = 10x3 − 15x4 + 6x5
なので P (X ≤ 12 ] = 1
2.この場合,E(X) = 12 , V (X) = 1
28,E(Y ) =13 , V (Y ) = 2
63
24 第 2章 連続型確率分布
問題 36 (X,Y )の密度関数が f(X,Y ) で与えられているとき,X + Y の密度関数を求めてください.とくに,X と Y が U(0, 1)にしたがい,独立なときの密度関数を求めてください.
解.
FX+Y (a) = P (X + Y < a)
=
∫ ∞
−∞dx
∫ a−x
−∞f(X,Y )(x, y) dxdy
したがって,aで微分すれば
fX+Y (a) =
∫ ∞
−∞f(X,Y )(x, a− x) dx
とくに,X と Y が U(0, 1)にしたがい,独立なときには
f(X,Y )(x, y) = 1, 0 ≤ x, y ≤ 1
であるので,0 < a− x < 1であることに注意すると
fX+Y (a) =
∫ a
0dx = a 0 < a < 1∫ 1
a−1dx = 2− a 1 ≤ a < 2
問題 37 X,Y はU(0, 1)にしたがい独立なときP (X2+Y 2 < a)とP (maxX,Y <
a),P (minX,Y < a)を求めてください.
解. f(X,Y )(x, y) = 1 ((x, y) ∈ [0, 1]2)であるので,
P (X2 + Y 2 < a) = a2π/4
P (maxX,Y < a) = a2
P (minX,Y < a) = 1− P (minX,Y ≥ a) = 1− (1− a)2
問題 38 Xと Y がそれぞれ正規分布N(m1, v1)とN(m2, v2)にしたがい独立なとき,X + Y の確率分布を求めてください.
解. N(m1 +m2, v1 + v2)
2.2. 高次元の密度関数 25
問題 39 X と Y が U(0, 1)にしたがい,独立なとき,Z = maxX,Y の密度関数を求めてください.
解. 0 < a < 1について
FZ(a) = P (maxX,Y ≤ a) = P (X ≤ a, Y ≤ a)
= P (X ≤ a)× P (Y ≤ a)
= a2
したがって,密度関数 fZ(a) = 2a
問題 40 X,Y が独立で Exp(λ)にしたがうとき,Z = minX,Y の密度関数を求めてください.
解. a > 0について
FZ(a) = P (minX,Y ≤ a) = 1− P (minX,Y > a)
= 1− P (X > a, Y > a) = 1− P (X > a)× P (Y > a)
= 1−(∫ ∞
a
λe−λx dx
)2
= 1−([
−e−λx]∞a
)2= 1− e−2λa
したがってfZ(a) = 2λe−2λa
と再び指数分布になるが,maxX,Y は密度関数は
2λe−λa(1− e−λa)
となり,指数分布にはならない.
問題 41 (順序統計量) X,Y, Z が U(0, 1)にしたがい独立なとき,順序を変えてX(1) ≤ X(2) ≤ X(3) と表すとき,X(2) の密度関数を求めてください.
解. 0 < a < 1について
FX(2)(a) = P (X(2) ≤ a)
= P (X,Y, Z ≤ a) + 3C1P (X > a, Y, Z ≤ a)
= a3 + 3a2(1− a)
26 第 2章 連続型確率分布
したがってfZ(a) = 3a2 + 6a− 9a2 = 6a− 6a2
問題 42 (高次元の正規分布) k次元のベクトルmと正定値 k× k対称行列V について,密度関数
f(x) = (√2π)k(detV )−1/2 exp[−1
2t(x−m)V −1(x−m)]
を高次元の正規分布という.これが密度関数であることを確かめてください.
解. V は対称行列なので,固有値はすべて実数である.また,正定値であるとは,すべての固有値が正であることである.U−1V U が対角行列になるように選び,y = U−1(x−m)とおくと,
f(x) = (√2π)−k(detV )−1/2 exp[−1
2ty(U−1V U)−1y]
λ1, . . . , λk を固有値とし,zk = yk/√λk とおくと∫
f(x) dx =
∫(√2π)−k(detV )−1/2 exp[−1
2ty(U−1V U)−1y] dy
=
∫(√2π)−k exp[−1
2tzz] dz
=k∏
i=1
∫(√2π)−1e−z2
i /2 dzi = 1
V は分散共分散行列である.∫xtxf(x) dx =
∫UytyU−1(
√2π)−k(detV )−1/2 exp[−1
2ty(U−1V U)−1y] dy
= U
∫ √λ1z1...
√λkzk
(√λ1z1, . . . ,
√λkzk) exp[−
1
2(z21 + · · ·+ z2k)] dzU
−1
= U
λ1 0 · · · 0
0 λ2 · · · 0...
.... . .
...
0 0 · · · λk
U
= V
2.3. 期待値と分散 27
2.3 期待値と分散密度関数 fX(x)をもつ確率分布にしたがう確率変数X の期待値は
E(X) =
∫xfX(x) dx
分散はV (X) = E[(X − E(X))2] =
∫(x− E(X))2fX(x) dx
問題 43 X を (−∞,∞)に値をとる確率変数で
fX(x) =
Aex+1 x < −1
Bx2 −1 ≤ x < 0
Ce−x x ≥ 0,
が E(X) = −1,V (X) = 3とするとき,A,B,C を求めてください.
解. A = 23 , B = 0, C = 1
3
問題 44 密度関数f(x) =
1
π
γ
(x− x0)2 + γ2
をもつ確率分布をコーシー分布という.この分布が期待値をもたないことを示してください.
解. まず,密度関数であることを示そう.(x− x0)/γ = yとおく.∫ ∞
−∞
1
π
γ
(x− x0)2 + γ2dx =
1
πγ
∫ ∞
−∞
1
1 + ((x− x0)/γ)2dx
=1
π
∫ ∞
−∞
1
1 + y2dy
= [arctan y]π/2−π/2 = 1
一方,x ∈ [n− 1, n)ではx
1 + x2≥ n− 1
n2 + 1≥ n− 1
(n+ 1)2=
1
n+ 1− 2
1
(n+ 1)2
この和は発散することから ∫ ∞
0
x
1 + x2dx
は発散する.したがって,期待値は存在しない.
離散型と同様に期待値の性質
28 第 2章 連続型確率分布
(1) E(X + Y ) = E(X) + E(Y )
(2) E(aX + b) = aE(X) + b
(3) X と Y が独立ならば,E(XY ) = E(X)× E(Y )
分散の性質
(1) V (aX + b) = a2V (X)
(2) V (X) = E(X2)− (E(X))2
(3) X と Y が独立ならば,V (X + Y ) = V (X) + V (Y )
問題 45 Y = ϕ(X)とするとき,
E(Y ) =
∫ϕ(x)fX(x) dx
を ϕ(x) = ax+ b,ϕ(x) = x2,ϕ(x) = etx のときにみたすことを示してください.
解.
P (Y ≤ y) = P (ϕ(X) ≤ y) = P (X ∈ ϕ−1(−∞, y))
ここで符号に注意すれば
fY (y) =d
dtP (Y ≤ y) =
∑x : ϕ(x)=y
fX(x)|ϕ′(x)|−1
これより
E(Y ) =
∫y fY (y) dy
=
∫y
∑x : ϕ(x)=y)
fX(x)|ϕ′(x)|−1 dy
=
∫ϕ(x)fX(x) dx
とくに ϕ(x) = ax+ bならば
P (Y ≤ y) = P (aX + b ≤ y) =
P (X ≤ y−ba ) a > 0
P (X ≥ y−ba ) a < 0
符号に注意して
fY (y) =
fX(y−ba ) 1a a > 0
−fX(y−ba ) 1a a < 0
= fX(y − b
a)
∣∣∣∣1a∣∣∣∣
2.3. 期待値と分散 29
これより,a < 0のときには,変数変換x = y−ba により,積分範囲が (+∞,−∞)
になることに注意すれば
E(Y ) =
∫yfY (y) dy
=
∫yfX(
y − b
a)
∣∣∣∣1a∣∣∣∣ dy
=
∫(ax+ b)fX(x) dx
同様に,ϕ(x) = x2 のときには
P (Y ≤ y) = P (X2 ≤ x)
P (−√x ≤ X ≤
√x) x ≥ 0
0 x < 0
により
fY (y) =
fX(√y) 1
2√y + fX(−√
y) 12√y y ≥ 0
0 y < 0
これより
E(Y ) =
∫yfY (y) dy
=
∫ ∞
0
y(fX(√y) + fX(−√
y))1
2√ydy
=
∫ ∞
0
yfX(sqrty)1
2√ydy +
∫ ∞
0
yfX(−√y)
1
2√ydy
=
∫ ∞
0
x2fX(x) dx+
∫ −∞
0
x2fX(x) (−dx)
=
∫x2fX(x) dx
ϕ(x) = etX のときには,y ≥ 0について
P (Y ≤ y) =
P (X ≤ 1t log y) t > 0
P (X ≥ 1t log y) t < 0
より
fY (y) =
fX( 1t log y)1ty t > 0
−fX( 1t log y)1ty t < 0
これより,t > 0ならば
E(Y ) =
∫yfY (y) dy
=
∫ ∞
0
yfX(1
tlog y)
1
tydy
=
∫etxfX(x) dx
30 第 2章 連続型確率分布
t < 0でも同様に計算できる. 一般に Y = ϕ(X)は ϕが C1 級ならば
E(Y ) =
∫ϕ(x)fX(x) dx
が成立する.
問題 46 確率変数X1, . . . , Xn に対して
Σ =
V (X1) Cov(X1, X2) · · · Cov(X1, Xn)
Cov(X2, X1) V (X2) · · · Cov(X2, Xn)...
.... . .
...
Cov(Xn, X1) Cov(Xn, X2) · · · V (Xn)
を分散共分散行列という.この行列が対称行列であること,固有値がすべて非負であることを示してください.
解. 対称行列であることは Cov(X,Y ) = Cov(Y,X)より明らか.2次形式
(a1, . . . , an)Σ
a1...
an
が,確率変数 a1X1 + · · ·+ anXn の分散
V (
n∑i=1
aiXi) = E[(
n∑i=1
ai(Xi − E(Xi))2]
=n∑
i=1
n∑j=1
aiajE[(Xi − E(Xi)(Xj − E(Xj)]
= (a1, . . . , an)Σ
a1...
an
になっていることから非負定値であることがでる.
問題 47 E[|X − a|]および E[(X − a)2]を最小にする aを求めてください.
2.4. モーメント毋関数 31
解. メディアンと期待値である.
d
daE(|X − a|) =
d
da
∫|X − a| dP
=d
da
(∫X>a
(X − a) dP ++
∫X≤a
(a−X) dP
)=
∫X>a
− dP +
∫X≤a
dP
= −P (X > a) + P (X ≤ a) = 2P (X ≤ a)− 1
したがって,最小になるのは P (X ≤ a) = 12 となる場合である.
E[(X − a)2] =
∫(X − a)2 dP
=
∫[(X − E(X)) + (E(X)− a)]2 dP
=
∫(X − E(X))2 dP + (E(X)− a)2
より,a = E(X)のときである.
2.4 モーメント毋関数
M(t) = E[etX ] =
∫etxfX(x) dx
をモーメント毋関数という.これは密度関数の Laplace変換であり,特性関数は密度関数の Fourier変換であることがわかる.離散型と同様に
M(0) = 1, M ′(0) = E(X), M ′′(0) = E(X2)
定理 3 確率変数 X と Y がMX(t) = MY (t)をみたすならば,X と Y は同分布である.
特性関数の一意性 (Levyの反転公式)からこの証明ができる.
問題 48 正規分布 N(m, v),指数分布 Exp(λ)のモーメント毋関数を求めて,期待値と分散を計算してください.
解.
M(t) 期待値 分散N(m, v) emt+vt2/2 m v
Exp(λ) λλ−t
1λ
1λ2
32 第 2章 連続型確率分布
離散型と同様に,X1, . . . , Xn に対しては,t = (t1, . . . , tn)を用いて,X =
(X1, . . . , Xn)
MX (t) = E[etX ]
により定義する.X1, . . . , Xn が独立であることと
MX (t) =n∏
i=1
MXi(ti)
とは同値である.
問題 49 X1, X2, . . .を値±1を確率 12 ずつでとる独立な確率変数とする.こ
のとき,X = X1 + · · ·+Xn について, X√nの特性関数を求めてください.
解.
M1(t) = E[etX1 ] =e−t + et
2
なので
MX/√n(t) = E[etX/n]
= MX (t√n)
=n∏
i=1
MXi(t√n)
=
(e−t/
√n + et/
√n
2
)n
この式をテイラー展開すると
(1 +t2
n+ · · · )n → et
2
を得る.右辺は N(0, 2)のモーメント毋関数である.これは中心極限定理に対応している.ここで,E(Xi) = 0かつ V (Xi) = 2であることに注意すること.
問題 50 2項分布 B(n, p)にしたがう確率変数X において,Xn および
X−np√npq
のモーメント毋関数を求め,その n → ∞の極限を求めてください.
解.
MX(t) = (etp+ q)n
2.4. モーメント毋関数 33
であるから
MX/n(t) = E[etX/n] = (ent/np+ q)n
= ((1 +t
n+ · · · )p+ q)n
= (1 +pt
n+ · · · )n → ept
すなわち,X → pを示している.
M(X−np)/√npq(t) = E[et(X−np)/
√npq]
= MX(t
√npq
)e−tnp/√npq
= (et/√npqp+ q)ne−tnp/
√npq
= (((1 +t
√npq
+t2
2npq+ · · · )p+ q)(1− pt
√npq
+p2t2
2npq+ · · · ))n
= (1 +p2t2
2npq+
pt2
npq− p2
npq+ · · · )2
= (1 +t2
2n)n → et
2/2
すなわち (X − np)/√npq → N(0, 1)を示している.
問題 51 (正規分布の再生性) XとY がそれぞれ正規分布N(m, v)とN(m′, v′)
にしたがい,独立なとき,X + Y はN(m+m′, v + v′)にしたがう.
解.
MX+Y (t) = E[et(X+Y )] = E[etX ]× E[etY ]
= exp[mt+vt2
2| × exp[m′t+
v′t
2]
= exp[(m+m′)t+(v + v′)t2
2]
これは,畳み込みでも証明できる.(x −m) + (y −m′) = s,y −m′ = tと
34 第 2章 連続型確率分布
おくとヤコビアンが 1に等しいことを用いる.
P (X + Y ≤ z) =1
2π√vv′
∫ ∞
−∞dx
∫ z−x
−∞dy e−(x−m)2/2v × e−(y−m′)/2v′
=1
2π√vv′
∫ z−(m+m′)
−∞ds
∫ ∞
−∞dt e−(s−t)2/2v−t2/2v′
=1
2π√vv′
∫ z−(m+m′)
−∞ds
∫ ∞
−∞dt exp[−v + v′
2vv′(t− v′s
v + v′)2 − vv′s2
(v + v′)2]
=1
2π√vv′
∫ z−(m+m′)
−∞exp[− s2
2(v + v′)]×√
2πvv′
v + v′ds
=1√
2π(v + v′)
∫ z−(m+m′)
−∞exp[− s2
2(v + v′)] ds
=1√
2π(v + v′)
∫ z
−∞exp[− (s− (m+m′))2
2(v + v′)] ds
2.5 その他の連続型確率分布(1) X1, . . . , Xn を独立で標準正規分布にしたがうとする.このとき
X21 + · · ·+X2
n
の確率分布を自由度 n− 1の χ2 分布という.
(2) X は標準正規分布にしたがい,Y が自由度 nの χ2 分布にしたがうとき, X√
Y/nの確率分布を自由度 nの t分布という.
(3) X,Y をそれぞれ自由度m,nの χ2分布にしたがい,独立とする.このとき
X/m
Y/n
の確率分布を自由度 (m,n)の F分布という.
それぞれの密度関数は1
2n/2Γ(n/2)xn/2−1e−x/2 (自由度 nの χ2 分布)
1√nB(n/2, 1/2)
(1 +
x2
n
)−(n+1)/2
(自由度 nの t分布)
2
B(m/2, n/2)
(mn
)m/2
xm/n−1(1 +
mx
n
)−(m+n)/2
(自由度 (m,n)の F分布)
2.5. その他の連続型確率分布 35
問題 52 自由度 nの χ2 分布のモーメント毋関数は
MX(t) = (1− 2t)−n/2
に等しいことを示してください.
解. x(1/2− t) = yとおくと
MX(t) = E[etX ] =
∫ ∞
0
etx1
2n/2Γ(n/2)xn/2−1e−x/2 dx
=
∫ ∞
0
1
2n/2Γ(n/2)xn/2−1e−x(1/2−t) dx
=1
2n/2Γ(n/2)
∫ ∞
0
(y
1/2− t
)n/2−1
e−y dy
1/2− t
=1
2n/2Γ(n/2)(1/2− t)−n/2
∫ ∞
0
yn/2−1e−y dy
= (1− 2t)−n/2
定理 4 (コクランの定理) X1, . . . , Xn は標準正規分布 N(0, 1)にしたがい,独立とする.Y1, . . . , Yk はそれぞれランク n1, . . . , nk の 2次形式
Yi = (X1, . . . , Xn)Ai
X1
...
Xk
で表され,
X21 + · · ·+X2
n = Y 21 + · · ·+ Y 2
k
をみたすとする.このとき,Y1, . . . , Ykが自由度 n1, . . . , nkの独立な χ2分布にしたがう必要十分条件は
n1 + · · ·+ nk = n
である.
証明. 自由度 nの χ2 分布のモーメント毋関数は (1 − 2t)−n/2 であるので,独立な自由度 n1, . . . , nk な χ2 分布にしたがう Y1, . . . , Yk に対して
MY1+···+Yk(t) =
k∏i=1
(1− 2t)−ni/2 = (1− 2t)−(n1+···+nk)/2
36 第 2章 連続型確率分布
と自由度 n1 + · · · + nk の χ2 分布のモーメント毋関数に等しくなる.X21 +
· · ·+X2n = Y 2
1 + · · ·+ Y 2k より,
n = n1 + · · ·+ nk
をみたす.逆に
X =
X1
...
Xn
, Y =
Y1
...
Yk
と表すことにすると
Yi =tXAiX
とすると,n = n1 + · · ·+ nk より,ユニタリ行列
U =
U1 0 · · · 0
0 U2 · · · 0...
.... . .
...
0 · · · · · · Uk
が存在して
U−1
A1 0 · · · 0
0 A2 · · · 0...
.... . .
...
0 · · · · · · Ak
U = B
を対角行列 B にできる.一方
tY Y = tX
A1 0 · · · 0
0 A2 · · · 0...
.... . .
...
0 · · · · · · Ak
X
= tXUBU−1X
また,仮定より tY Y = tXX より,UBU−1 = E,すなわち B = U−1EU
は単位行列 E でなくてはならない.そこで,
U−1X = Z
とおくとtY Y = tZZ
2.5. その他の連続型確率分布 37
と表せる.Z1, . . . , Zn の確率分布が標準正規分布にしたがい,独立であることを示せば良い.t = t(t1, . . . , tn)と s = Ut = t(s1, . . . , sn)とおくと
M(Z1,...,Zn)(t) = E[et1Z1···+tnZn ]
= E[e(t,Z)]
= E[e(Ut,UZ)]
= E[e(Ut,X)]
=n∏
i=1
E[esiXi ]
=n∏
i=1
exp[s2i /2]
= exp[(s, s)/2]
= exp[(U−1s, U−1s)/2]
= exp[(t, t)/2] = et21/2+···+t2n/2
は n個の独立な標準正規分布のモーメント毋関数である.これで,Z1, . . . , Zn
は独立で標準正規分布にしたがうことが示せた. X1, . . . , Xn を独立で標準正規分布にしたがうとする.このとき
X =X1 + · · ·+Xn
n
S2X =
1
n
n∑i=1
(Xi − X)2
S2X =
1
n− 1
n∑i=1
(Xi − X)2
と表す.コクランの定理より n(X)2,
∑ni=1(Xi − X)2 は独立でそれぞれ自由度 1と
n− 1の χ2 分布にしたがう.
A =
1/n · · · 1/n...
. . ....
1/n · · · 1/n
, B =
1− 1/n −1/n · · · −1/n
−1/n 1− 1/n · · · −1/n...
.... . .
...
−1/n −1/n · · · 1− 1/n
これより
√nX√∑
(Xi − X)/(n− 1)=
X√S2X/(n− 1)
=X√S2X/n
は自由度 n− 1の t分布にしたがう.
38 第 2章 連続型確率分布
• Γ分布:Γ(p, a)
f(x) =ap
Γ(p)xp−1e−ax
平均 pa,分散
pa2,モーメント毋関数
(a
a−t
)p再生性 Γ(p, a) + Γ(q, a) = Γ(p+ q, a)
– 指数分布 Exp(λ)は Γ(1, λ)
– 自由度 nの χ2 分布は γ(n2 ,12 )
• β 分布: β(a, b)
f(x) =1
B(a, b)xp−1(1− x)b−1, (0 < x < 1)
平均 aa+b,分散
ab(a+b)2(a+b+1)
問題 53 U1, . . . , Unを独立で一様分布U(0, 1)にしたがう確率変数とする.その順序統計量を U (1) ≤ U (2) ≤ · · · ≤ U (n) と並べ直すと U (k) の確率分布はβ(k, n− k − 1)であることを示してください.
解. 帰納法で確かめる.
P (U (n ≤ x) = P (U1 ≤ x, . . . , Un ≤ x) = xn
したがって,B(n, 1) =
Γ(n)Γ(1)
Γ(n+ 1)=
1
n
に注意すると,密度関数は
fU(n)(x) = nxn−1 =1
B(n, 1)× n−1C1x
n−1(1− x)1−1
また1
B(k, n− k + 1)=
Γ(n+ 1)
Γ(k)Γ(n− k + 1)=
n!
(k − 1)!(n− k)!
に注意する.そこで k + 1まで成立したとすると
P (U (k) ≤ x) = P (U (k+1) ≤ x) + nCkP (U1, . . . , Uk ≤ x,Uk+1, . . . , Un > x)
=
∫ x
0
n!
k!(n− k − 1)!tk(1− t)n−k−1 dt+
n!
k!(n− k)!xk(1− x)n−k
2.6. Γ関数 39
これを xで微分すると,U (k) の密度関数はn!
k!(n− k − 1)!xk(1− x)n−k−1 +
n!
k!(n− k)!kxk−1(1− x)n−k
− n!
k!(n− k)!xk(n− k)(1− x)n−k−1
=n!
k!(n− k)!xk−1(1− x)n−k−1 ((n− k)x+ k(1− x)− (n− k)x)
=n!
(k − 1)!(n− k)!xk−1(1− x)n−k−1
=1
B(k, n− k + 1)xk−1(1− x)n−k−1
2.6 Γ関数
Γ(x) =
∫ ∞
0
tx−1e−t dt (x > 0)
広義積分
• t = ∞のところ,tx−1 ≤ et/2 が十分大きな tで成り立つので
tx−1e−t ≤ e−t/2 for suffciently large t
• 0 < x < 1のときの t = 0
tx−1e−t ≤ tx−1
これと ∫ 1
0
tx−1 dt =
[1
xtx]10
=1
x
により,広義積分可能が出る.
(1) Γ(1) = 1
(2) x > 1についてΓ(x) = (x− 1)Γ(x− 1)
後者は部分積分
Γ(x) =
∫ ∞
0
tx−1e−t dt
=[tx−1(−e−t)
]∞0
−∫ ∞
0
(x− 1)tx−2(−e−t) dt
= (x− 1)Γ(x− 1)
40 第 2章 連続型確率分布
例 9 (1) 帰納法によりΓ(n) = (n− 1)!
(2)
Γ
(1
2
)=
√π
なぜなら
Γ
(1
2
)=
∫ ∞
0
t−1/2e−t dt
= 2
∫ ∞
0
e−x2
dt (t = x2, dt = 2xdx = 2t1/2dx)
=
∫ ∞
−∞e−x2
dx =√π
2.7 B関数
B(p, q) =
∫ 1
0
xp−1(1− x)q−1 dx (p, q > 0)
広義積分
• 0 < p < 1で x = 0,0 < q < 1のときは 0 < x < 12 とすると
xp−1(1− x)q−1 ≤
xp−1 q ≥ 1
xp−1(12
)q−10 < q < 1
そこで ∫ 1
0
xp−1 dx =1
p[xp]
10 =
1
p
で広義積分可能になる.
• 0 < q < 1で x = 1
2.7.1 e−x2の積分補題 1 ∫ ∞
0
e−x2
dx =
√π
2
2.7. B関数 41
証明. この証明は,重積分の極座標変換によるもの,ベータ関数を使うものがある.極座標変換によるもの,まず,e−(x2+y2)は連続関数なので,重積分と累次積分が一致することから,∫√
x2+y2≤N
e−(x2+y2) dxdy ≤
(∫ N
0
e−x2
dx
)2
≤∫√
x2+y2≤√2N
e−(x2+y2) dxdy
ここで,x = r cos θ, y = r sin θとおく変数変換のヤコビ行列は(∂x∂r
∂x∂θ
∂y∂r
∂y∂θ
)=
(cos θ −r sin θ
sin θ r cos θ
)
なので,ヤコビアンはその行列式の rであることを用いると∫√
x2+y2≤N
e−(x2+y2) dxdy =
∫ π/2
0
dθ
∫ N
0
e−r2 rdr
2
=π
2
∫ N2
0
e−t dt (t = r2, dt = 2rdr)
=π
4(1− e−N2
)
により∫e−(x2+y2) dxdy は第一象限で広義積分可能で,その値は π
4 である.これより,補題の証明が終わる.
別証明:累次積分の交換だけで証明が可能である.
∫ ∞
0
(∫ ∞
0
e−x(1+y2) dy
)dx =
∫ ∞
0
e−x
(∫ ∞
0
e−xy2
dy
)dx
=
∫ ∞
0
1√x
(∫ ∞
0
e−t2 dt
)dx (
√y = t)
=
∫ ∞
0
e−x 1√xdx× I
=
∫ ∞
0
e−s22 ds× I (√x = s)
= 2I2
これと次式を用いればよい.∫ ∞
0
(∫ ∞
0
e−x(1+y2) dx
)dy =
∫ ∞
0
1
1 + y2dy
= [arctan y]∞0 =
π
2
42 第 2章 連続型確率分布
定理 5 (微分と積分の交換) f が [a, b]× [c, d]で C1 級とする.このとき,
d
dy
∫ b
a
f(x, y) dx =
∫ b
a
∂f
∂y(x, y) dx
証明.
G(y) =
∫ b
a
f(x, y) dx
g(y) =
∫ b
a
∂f
∂yf(x, y) dx
とおく.Fubiniの定理より∫ d
c
g(y) dy =
∫ b
a
∫ d
c
∂f
∂y(x, y) dydx
=
∫ b
a
(f(x, d)− f(x, c)) dx
= G(d)−G(c)
d → cととれば,微積分の基本定理より G′(c) = g(c). この応用として
補題 2 ∫ ∞
0
e−x2
dx =
√π
2
の別証明:
証明.
f(t) =
(∫ t
0
e−x2
dx
)2
g(t) =
∫ 1
0
e−(1+x2)t2 dx
1 + x2
とおくと,微分と積分の交換より
f ′(t) = 2
∫ t
0
e−x2
dx× e−t2
g′(t) =
∫ 1
0
(−2t(1 + x2))e−(1+x2)t2 dx
1 + x2
= −2
∫ 1
0
te−(1+x2)t2 dx
t = 0で,u = txとおくと
g′(t) = −2
∫ t
0
e−t2−u2
du = −f ′(t)
2.7. B関数 43
したがって, f(t) + g(t)は定数である.一方,
f(0) + g(0) = 0 +
∫ 1
0
dx
1 + x2=
π
4
ここでe−(1+x2)t2 1
1 + x2≤ e−t2
なので,
g(t) ≤∫ 1
0
e−t2 dx = e−t2 → 0 (t → ∞)
これより,limt→∞
f(t) =π
4
補題 3
B(p, q) =Γ(p)Γ(q)
Γ(p+ q)
証明. 連続関数なので,累次積分を重積分に置き換えて
Γ(p)Γ(q) = limN→∞c↓0
∫ N
c
∫ N
c
e−x−yxp−1yq−1 dxdy
= limD
∫D
e−x−yxp−1yq−1 dxdy
(u = x+ y, v =x
x+ yと変数変換して)
= limM→∞
∫ M
0
(lima↓0b↑1
∫ b
a
e−u(uv)p−1(u− uv)q−1u dv
)du
= limM→∞
∫ M
0
e−uup+q−1 du lima↓0b↑1
∫ b
a
vp−1(1− v)q−1 dv
= Γ(p+ q)×B(p, q)
ここで,x = uv,y = u− uvに注意して,ヤコビ行列は(∂x∂u
∂u∂v
∂y∂u
∂v∂v
)=
(v u
1− v −u
)
なので,その行列式は−u,したがって,ヤコビアンはuであることを用いた.
補題 4 (1) B(
12 ,
12
)= π
44 第 2章 連続型確率分布
(2) Γ(
12
)=
√π
証明. 後者は,
π = B(12,1
2
)=
(Γ(
12
))2Γ(1)
=
(Γ(12
))2
より出る.まず,
B(12,1
2
)=
∫ 1
0
dx√x(1− x)
その1.√
1−xx = tとおくと,x = 1
1+t2 なので,dx = −2t(1+t2)2 dt.したがって,
B(12,1
2
)=
∫ 0
∞
√1 + t2
√1 + t2
t
−2t
(1 + t2)2dt
= 2
∫ ∞
0
dt
1 + t2
= 2[arctan t
]∞0
= π
その 2.
B(12,1
2
)=
∫ 1
0
dx√1/4− (1/2− x)2
=
∫ 1
−1
1√1/4− t2/4
dt
2(t =
1
2− x)
=
∫ 1
−1
dt√1− t2
=[arcsin t
]1−1
=π
2− (−π
2) = π
最後の行は=[− arccos t
]1−1
= −(0− π) = π
としてもよい.
問題 54 ∫ π/2
0
sinm x cosn x dx =1
2B(m+ 1
2,n+ 1
2
)を示してください.
2.7. B関数 45
証明.∫ π/2
0
sinm x cosn x dx =
∫ 1
0
tm/2(1− t)n/2dt
2√
t(1− t)(sin2 x = t)
=1
2
∫ 1
0
t(m−1)/2(1− t)(n−1)/2 dt
=1
2B(m+ 1
2,n+ 1
2
)
問題 55 半径 1の n次元球の体積を求めてください.
証明.
In(x2) =
∫ √1−x2
−√1−x2
dx1
∫ √1−x2−x2
1
−√
1−x2−x21
· · ·∫ √
1−x2−···−x2n−1
−√
1−x2−···−x2n−1
dxn
とおくと,In(0)が n次元球の体積になる.とくに
I1(x2) =
∫ √1−x2
−√1−x2
dx1 = 2√1− x2
帰納法の仮定In(x
2) = cn(1− x2)n/2
とおくと,上から c1 = 2.一方,
In(x2) =
∫ √1−x2
−√1−x2
In−1(x2 + x2
1) dx1
= cn−1
∫ √1−x2
−√1−x2
(1− x2 − x21)
(n−1)/2 dx1
= cn−1
∫ π/2
−π/2
(1− x2)(n−1)/2(1− sin2 θ)(n−1)/2√1− x2 cos θ dθ (x1 =
√1− x2 sin θ)
= cn−1(1− x2)n/2∫ π/2
−π/2
cosn θ dθ
= cn−1(1− x2)n/2B(12,n+ 1
2
)
46 第 2章 連続型確率分布
これより
cn = cn−1B(12,n+ 1
2
)= cn−2B
(12,n
2
)B(12,n+ 1
2
)= · · ·
= c1B(12,3
2
)B(12,4
2
)· · ·B
(12,n+ 1
2
)= 2
Γ(1/2)Γ(3/2)
Γ(4/2)
Γ(1/2)Γ(4/2)
Γ(5/2)· · · Γ(1/2)Γ((n+ 1)/2)
Γ((n+ 2)/2)
= 2π(n−1)/2 Γ(3/2)
Γ((n+ 2)/2)
= πn/2 1
Γ((n+ 2)/2)
2.8 精密法
P (B(n, p) ≥ k) = P (β(k, n− k + 1) ≤ p)
P (B(n, p) ≥ k) = P (k
k + (n− k − 1)Fn−k+1,k≤ p)
参考Γ(m, a)
Γ(m+ n, a)= β(m,n)
と Γ分布の再生性 Γ(m, a) + Γ(n, a) = Γ(m+ n, a) を a = 12 で用いて,Γ分
布と χ2 分布の関係を用いると
β(m,n) =1
1 + (m/n)Fm,n
を用いている.
2.8.1 ポアソン分布の精密法まず,ポアソン過程Nt を定義しよう.
(1) t > 0について,P (Nt = k) = e−λt (λt)k
k! ,つまり,Ntは Po(λt)にしたがう.つまり,平均 λtのポアソン分布にしたがう.
2.8. 精密法 47
(2) 0 < t1 < t2 < · · · のとき,Nt1 , Nt2 −Nt1 , Nt3 −Nt2 , . . .は独立
(3) t > sとして,Nt −Ns はNt−s と同分布,つまり Po(λ(t− s)) にしたがう.
Tk で t < Tk で Nt = k − 1,t > Tk でNt = kとなる時刻とする.
P (T1 ≤ t) = P (Nt ≥ 1) =∑k=1
e−λt (λt)k
k!
= 1− e−λt
より T1 は平均 1λ の指数分布にしたがう.同様に
P (T2 − T1 ≤ t) =
∫ ∞
0
P (Nt+s ≥ 2, T1 ∈ ds)
=
∫ ∞
0
P (Nt+s −Ns ≥ 1, Ns+ds ≥ 1, Ns = 0)
=
∫ ∞
0
P (Nt+s −Ns ≥ 1)P (Ns+ds ≥ 1, Ns = 0)
=
∫ ∞
0
P (Nt+s −Ns ≥ 1)e−λs ds
=
∫ ∞
0
P (Nt ≥ 1)e−λs ds = P (Nt ≥ 1) = 1− e−λt
と T2 − T1 も平均 1λ の指数分布にしたがう.独立性も同様にしたがう.
これを用いるとポアソン分布のχ2分布の関係がでてくる.指数分布Exp(λt)
は Γ(1, λt)であることを用いると
Tk = T1 +k∑
i=1
(Ti − Ti−1)
は独立な指数分布の和であることと Γ分布の再生性から Tk は Γ(k, λt) にしたがう.
Γ分布の再生性Γ(p, a) + Γ(q, a) = Γ(p+ q, a)
48 第 2章 連続型確率分布
それぞれに対応する確率変数をX,Y とし,独立とする.このとき,
FX+Y (x) = P (X + Y ≤ x)
=
∫ x
0
ap
Γ(p)yp−1e−ay
(∫ x−y
0
aq
Γ(q)zq−1e−az dz
)dy
=ap+q
Γ(p)Γ(q)
∫ x
0
e−as
(∫ s
0
tq−1(s− t)p−1 dt
)ds (s = y + z, t = y)
=ap+q
Γ(p)Γ(q)
∫ x
0
e−assp+q−1
(∫ 1
0
rq−1(1− r)p−1 dr
)ds (t = sr)
=ap+q
Γ(p)Γ(q)
∫ x
0
e−assp+q−1 dsB(p, q)
=ap+q
Γ(p+ q)
∫ x
0
e−assp+q−1 ds
これより
P (Nt ≤ k) = 1− P (Nt > k) = 1− P (Nt ≥ k + 1) = 1− P (Tk+1 < t)
= 1−∫ t
0
λk+1
Γ(k + 1)xke−λx dx
である.ここで 2λx = yと変数変換すると
上の式 = 1−∫ 2λt
0
(1/2)k+1
Γ(k + 1)yke−y/2 dy
がでる.右辺の被積分関数は Γ(k+1, 1/2) = Γ(
2(k+1)2 , 1
2
)=自由度 2(k+1)
の χ2分布の密度関数である.つまり平均 λtのポアソン分布が kより小さい確率は自由度 2(k + 1)の χ2 分布が 2λt以上である確率と等しいことが示せた.つまり,平均 λのポアソン分布の分布関数 Fλは自由度 2(k+1)の χ2分布の密度関数 f2(k+1) を用いると
Fλ(k) =
k∑i=0
e−λλi
i!=
∫ ∞
2λ
f2(k+1)(x) dx = 1− F2(k+1)(2λ) (2.1)
とみなせる.ここで F2(k+1) は自由度 2(k + 1)の χ2 分布の分布関数である.
定理 6 (ポアソン分布の精密法) X をポアソン分布 Po(λ) にしたがうとする.このとき,Y を自由度 2(k + 1)の χ2 分布にしたがう Y を用いると
P (X ≤ k) = 1− P (Y ≤ 2λ)
と表される.
これを用いると λの推定には,データに対応する確率変数を X1, . . . , Xn とすると,これらは独立なのでポアソン分布の再生性より,X1 + · · · +Xn は平均 nλのポアソン分布にしたがう.
2.8. 精密法 49
Poisson分布の再生性 X は Po(λ),Y は Po(µ)で独立とすると
P (X + Y = k) =k∑
l=0
P (X = l)× P (Y = k − l)
=
k∑l=0
e−λλl
l!e−µ µk−l
(k − l)!
= e−(λ+µ) 1
k!
k∑l=0
k+lClλlµk−l
= e−λ+µ (λ+ µ)k
k!
より,X + Y は Po(λ+ µ)にしたがう.
そこで信頼係数を 5%とすると k =∑n
i=0 xi とするとき,k−1∑i=0
e−λλi
i!=
∫ ∞
2nλ
f2k(x) dx = 1− F2k(2nλ) = 2.5%
k∑i=0
e−λλi
i!=
∫ ∞
2nλ
f2(k+1)(x) dx = 1− F2(k+1)(2nλ) = 97.5%
をみたす 2つの λの間が信頼区間とみなすことができる.すなわち自由度 2k
の χ2 分布の 97.5%点を C1,自由度 2(k + 1)の χ2 分布の 2.5%点を C2 とすれば
C1 ≤ 2nλ ≤ C2
が信頼区間になる.
2.8.2 2項分布の精密法
k∑i=0
nCipiqn−i =
1
B(k + 1, n− k)
∫ 1−p
0
tn−k−1(1− t)k dt
より,
定理 7 (2項分布の精密法) 2項分布B(n, p)の分布関数Fn,pは自由度 (2(k+
1), 2(n− k))の F分布の密度関数 f2(k+1),2(n−k) を用いると
Fn,p(k) =k∑
i=0
nCipiqn−i =
∫(n−k)p/(k+1)q
f(2(k+1),2(n−k)(x) dx
= 1− F2(k+1),2(n−k)((n− k)p
(k + 1)q) (2.2)
と表せる.ここで F2(k+1),2(n−k)は自由度 (2(k + 1), 2(n− k))の F分布の分布関数である.
50 第 2章 連続型確率分布
したがって,信頼区間 95%の推定を行うならば,k =∑n
i=1 xi とおいて
k−1∑i=0
nCipiqn−i = 1− F2k,2(n−k+1)(
(n− k + 1)p
kq) = 2.5%
k∑i=0
nCipiqn−i = 1− F2(k+1),2(n−k)(
(n− k)p
(k + 1)q) = 97.5%
の間の pが信頼区間になる.ここで上の式の pと qの役割を入れ替えると
n−k+1∑i=0
nCipn−iqi = 1− F2(n−k),2(k+1)(
kq
(n− k + 1)p) = 97.5%
となる.自由度 (2(n−k+1), 2k)のF分布の 2.5%点をC1,自由度 (2(k+1), 2(n−k))
の F分布の 2.5%点を C2 とすると
kq
(n− k + 1)p≤ C1
2(n− k)p
2(k + 1)q≤ C2
を解いてk
k + C1(n− k + 1)≤ p ≤ C2(k + 1)
n− k + C2(k + 1)
が信頼区間になる.2項分布の精密法の証明.部分積分により
1
B(k + 1, n− k)
∫ 1−p
0
tn−k−1(1− t)k dt
=1
B(k + 1, n− k)
[1
n− ktn−k(1− t)k
]1−p
0
− 1
B(k + 1, n− k)
∫ 1−p
0
k
n− ktn−k(1− t)k−1 dt
= nCkpkqn−k − 1
B(k, n− k + 1)
∫ 1−p
0
tn−k(1− t)k−1 dt
を繰り返せばk∑
i=0
nCipiqn−i =
1
B(k + 1, n− k)
∫ 1−p
0
tn−k−1(1− t)k dt
この右辺で ϕ1 = 2(k + 1),ϕ2 = 2(n− k)とおいて
t =ϕ2
ϕ1F + ϕ2
と変数変換すると,
t = 0ならば F = ∞, t = 1− pならば F =ϕ2p
ϕ1q
2.9. その他,統計に現れる確率分布 51
なので
1
B(k + 1, n− k)
∫ 1−p
0
tn−k−1(1− t)k dt
=1
B(ϕ1/2, ϕ2/2)
∫ϕ2p/ϕ1q
(ϕ1
ϕ2
)ϕ1/2
Fϕ1/2−1
(1 +
ϕ1
ϕ2F
)−(ϕ1+ϕ2)/2
dF
これは自由度 (ϕ1, ϕ2)の F分布の密度関数である.
2.9 その他,統計に現れる確率分布• χ2 分布 (自由度 n)
f(x) =1
Γ(n/2)2n/2xn/2e−x/2, (x > 0)
標準正規分布にしたがう独立な n個の確率変数の和のしたがう確率分布,ガンマ分布 Γ(n2 ,
12 )である.
再生性: 自由度 nと自由度mの独立な χ2 分布の和は自由度 n+mのχ2 分布にしたがう.
• t分布 (自由度 n)
f(x) =1√
nB(1/2, n/2)
(1 +
x2
n
)−(n+1)/2
標準正規分布にしたがう確率変数 X とそれと独立な自由度 nの χ2 分布にしたがう確率変数 Y とするとき,
X√Y/n
のしたがう確率分布である.
• F分布 (自由度m,n)
f(x) =(m/n)m/2
B(m/2, n/2)xm/2−1(1 +
m
nx)−(m+n)/2, (x > 0)
自由度mの χ2 分布にしたがう確率変数 X と自由度 nの χ2 分布にしたがう確率変数 Y とするとき
X/m
Y/n
のしたがう確率分布である.
52 第 2章 連続型確率分布
2.9.1 ガンマ分布,ベータ分布と他の確率分布の間の関係(1) 指数分布 Exp(λ)は Γ(1, λ)
(2) 自由度 nの χ2 分布は Γ(n2 ,12 )
(3) P (Po(λ) ≤ k) = P (Γ(k + 1, 1) > λ) = P (χ22(k+1) > 2λ)
(4) P (B(n, p) ≥ k) = P (β(k, n− k + 1) ≤ p)
(5) Γ(p1, a)/(Γ(p1, a) + Γ(p2, a)) = β(p1, p2)
(6) とくに a = 12 とおいて 1/(1 + (m/n)Fm,n) = β(m,n)
上の4と 6をあわせると
P (B(n, p) ≥ k) = P
(k
k + (n− k + 1)Fn−k+1,k≤ p
)これは 3とともに精密法で用いられる.
53
第3章 条件付き確率,条件付き期待値
3.1 条件付き確率事象 A,B について
P (A | B) =P (A ∩B)
P (B)
を B によって条件づけられた Aの条件付き確率という.事象 A,B が独立
P (A ∩B) = P (A)× P (B)
のときにはP (A | B) = P (A)
をみたす.
問題 56 (Polyaの壷) 壷に赤玉 a個と白玉 b個入っている.赤玉を取り出したときには c+1個の赤玉を壷に戻し,白玉を取り出したときには c+1個の白玉を戻すとする.この操作を 3回行った後で,赤玉を取り出す確率を求めてください.
解. 1 回目を考えると赤玉を取り出す確率は aa+b である.2 回目を考え
ると,
(1) 赤玉を取り出して,その次にも赤玉を取り出す.赤玉を取り出す確率はa
a+b,その条件の下でまた赤玉を取り出す条件付き確率はa+c
a+b+c.したがって,この確率は
a(a+ c)
(a+ b)(a+ b+ c)
(2) 1回目に白玉を取り出して,その次に赤玉を取り出す白玉を取り出す確率は b
a+b,その条件の下で赤玉を取り出す条件付き確率はa
a+b+c.したがって,この確率は
ba
(a+ b)(a+ b+ c)
54 第 3章 条件付き確率,条件付き期待値
2式を加えて
a(a+ c)
(a+ b)(a+ b+ c)+
ba
(a+ b)(a+ b+ c)=
a
a+ b
と 1回目と同じである.後は帰納法で確かめることができるが,何回目でも赤玉を取り出す確率は a
a+b である.
定理 8 (ベイズ)
P (B | A) = P (A | B)P (B)
P (A)
証明.
P (A ∩B) = P (A | B)× P (B)
より
P (B | A) =P (A ∩B)
P (A)
=P (A | B)P (B)
P (A)
一般には
系 1 (ベイズ) (1) P (A) > 0, P (Bi) > 0
(2) B1, . . . , Bn は互いに素
(3)∑n
i=1 P (Bi) = 1
をみたすとき
P (Bk | A) = P (A | Bk)P (Bk)∑ni=1 P (A | Bi)P (Bi)
証明.
P (∪i
Bi | A) =P (∪
i Bi ∩A)
P (A)=
P (A)− P ((∪
i Bi)c ∩A)
P (A)=
P (A)
P (A)= 1
に注意すると,定理 8から
1 = P (∪i
Bi | A) =
n∑i=1
P (Bi | A) =n∑
i=1
P (A | Bi)P (Bi)
P (A)
により
P (A) =n∑
i=1
P (A | Bi)P (Bi)
3.1. 条件付き確率 55
をみたす.再び,定理 8から
P (Bk | A) = P (A | Bk)P (Bk)
P (A)
の分母に代入すればよい.
問題 57 (1) 硬貨を 5回投げたとき,3回以上表が出たことがわかっているときに 5回全部が表である条件付き確率を求めてください.
(2) X が幾何分布Ge(p)にしたがうとき,m < nについて P (X = m+ n |X ≥ n)を求めてください.
解.
(1) A =5回全部表の事象,B =3回以上表の事象とすると
P (A) = 2−5, P (B) =5∑
i=3
5Ci2−5
また,P (A ∩B) = P (B)であるので,
P (A | B) =2−5∑5
i=3 5Ci2−5=
1
5C3 + 5C4 + 5C5=
1
16
(2) P (X = n) = pqn より
P (X ≥ n) =
∞∑i=n
pqi = pqn1
1− q= qn
P (X = m+ n | X ≥ m) =P (X = m+ n)
P (X ≥ m)=
pqm+n
qn= pqm
指数分布にしたがうときには過去に起きていないことは影響を与えない.
問題 58 X と Y がそれぞれ独立で
(1) 2項分布 B(N, p)と B(M,p)にしたがうとき
(2) 幾何分布 Ge(p)と Ge(p)にしたがうとき
(3) ポアソン分布 Po(λ)と Po(µ)にしたがうとき
P (X = n | X + Y = n+m)を求めてください.
56 第 3章 条件付き確率,条件付き期待値
解.
(1) 2項分布の再生性よりX + Y は 2項分布B(N +M,p)にしたがう.これより
P (X = n | X + Y = n+m) =P (X = n, Y = m)
P (X + Y = n+m)=
P (X = n)P (Y = m)
P (X + Y = n+m)
=NCnp
nqN−nMCmpmqM−m
N+MCn+mp qN+M−n−m
=NCnMCm
N+MCn+m
(2)
P (X + Y = n+m) =n+m∑k=0
P (X = k, Y = n+m− k)
=n+m∑k=0
P (X = k)P (Y = n+m− k)
=n+m∑k=0
pqkpqn+m−k
= p2qn+m(n+m+ 1)
これより
P (X = n | X + Y = n+m) =P (X = n)P (Y = m)
P (X + Y = n+m)
=pqnpqm
p2qn+m(n+m+ 1)
=1
n+m+ 1
(3) ポアソン分布の再生性よりX + Y は Po(λ+ µ)にしたがう.これより
P (X = n | X + Y = n+m) =P (X = n)P (Y = m)
P (X + Y = n+m)
=e−λλn/n!× e−µµm/m!
e−(λ+µ)(λ+ µ)n+m/(n+m)!
= (λ+ µ)−(n+m)n+mCnλ
nµm
問題 59 くじが 100本あって,そのうち当たりくじは10本である.これを2つの箱に分け入れる.箱を等確率で引くとして,当たりくじを引く確率を最小もしくは最大にするにはどのように分ければよいでしょうか.
3.1. 条件付き確率 57
解. 箱を A,Bとする箱 Aに n枚 (n ≤ 50),当たりくじを k枚入れるとする.箱 Bには 100−n枚のうち 10− k枚が当たりくじであるので,Aを選んだときに当たる条件付き確率と Bを選んだときに当たる条件付き確率は
P (当たり | Aの箱を選んだ) =k
n
P (当たり | Bの箱を選んだ) =10− k
100− n
したがって,当たる確率は
P (当たり) =P (Aの箱を選んで当たり)
P (Aの箱を選んだ)× P (Aの箱を選んだ)
+P (Bの箱を選んで当たり)
P (Bの箱を選んだ)× P (Bの箱を選んだ)
= P (当たり | Aの箱を選んだ)× P (Aの箱を選んだ)
+P (当たり | Bの箱を選んだ)× P (Bの箱を選んだ)
=k
n× 1
2+
10− k
100− n× 1
2
=100k + 10n− 2nk
2n(100− n)=
10n+ k(100− 2n)
2n(100− n)
n ≤ 50をとめて考えると,分子は kについて単調増加なので,k = 0のとき最小,k = 10のとき最大になり,
最小値 =5
100− n, 最大値 =
1000− 10n
2n(100− n)
最小値は n = 0のときに 120,k = 10のとき,n ≥ 10であり, 1000−10x
2x(100−x) は単調減少関数なので,最大値は n = 10のときに 1
2
例 10 (低発生率の問題) 人口の中でまれな病気の発生率が P (D) = 0.001
とする.病気の発見試験の精度が 99%,すなわち,病気にかかっている人がテストでプラスになる確率 P (+ | D) = 0.99とする.同時にこのテストは精密で病気にかかっていない人がプラスになる確率は P (+ | N) = 0.005 とする.このとき,ランダムに選んだ人の結果がプラスである確率は (13.6)により
P (+) = P (+ | D)P (D) + P (+ | N)P (N) = 0.005993 (3.1)
である.ベイズの定理 (13.5) により,テストがプラスであり,実際に病気にかかっている人の確率はたった
P (D | +) =P (+ | D)P (D)
P (+)=
0.99× 0.001
0.005993= 0.165 (3.2)
であり,テストでプラスにでても実際には健康である人の確率は P (N | +) =
1− P (D | +) = 0.835である.
58 第 3章 条件付き確率,条件付き期待値
優秀なテストでさえ,まれな病気を発見するのは難しい問題である.同様に,CIAの中でドラッグを使っている人とか,軍隊において忠誠でない人のようなまれな振る舞いを発見するのもよい試験でさえ困難であり.信頼性の低いうそ発見器などで行うのはばかげている.
例 11 (3枚の扉の問題) 閉じた扉の 1つの裏に賞品がある.どの扉を開くかを挑戦者は選ぶが,選んだ扉を開く前に,挑戦者が選んでいない扉のうち,裏に賞品のない扉が開かれる.挑戦者は他の扉に変えた方がよいのだろうか.間違えた扉を選んだ挑戦者が選ぶ扉を変えた場合には必ず勝つ P (W |
SW ,WD) = 1 が,賞品のある扉を選んだ挑戦者が選ぶ扉を変えた場合には必ず負ける P (W | SW , RD) = 0.間違えた扉を選ぶ確率は P (WD) = 2/3
であるから,扉を変えた場合に賞品を得る確率は
P (W | SW ) = P (W | SW ,WD)P (WD) + P (W | SW , RD)P (RD) = 2/3
(3.3)
正しい扉を選ぶ確率 P (RD) = 1/3であり,正しい扉を選んで,その後,選ぶ扉を変えないときに勝つ確率 P (W | SP , RD) = 1である.それで,扉を変えないで勝つ確率は
P (W | SP ) = P (W | SP , RD)P (RD) + P (W | SP ,WD)P (WD) = 1/3
(3.4)
である.したがって,扉が開かれた後に選ぶ扉を変えるべきである.
3.1.1 離散型
P (X = x | Y = y) =P (X = x, Y = y)
P (Y = y)
Y = yという条件のもとでのX の期待値 (X の条件付き期待値)は
E(X | Y = y) =∑i
xiP (X = x | Y = y) =1
P (Y = y)
∑i
xiP (X = xi, Y = y)
以下では,E(X | Y )は yの関数で,yでの値を E(X | Y = y)をとる関数と考える.
定理 9
E[E(X | Y )] = E(X)
3.1. 条件付き確率 59
証明.
E[E(X | Y )] =∑j
E(X | Y = yj)× pYj
=1
pYj
∑j
∑i
xiP (X = xiY = yj)× pYj
=∑j
∑i
xiP (X = xiY = yj)
=∑i
xiP (X = xi) = E(X)
問題 60 (compound Poisson) Xはポアソン分布Exp(λ)にしたがい,Y1, Y2, . . .
は独立なベルヌーイ分布 Be(p)にしたがう,すなわち
P (Yi = 1) = p, P (Y1 = 0) = 1− p
とするとき,Y = Y1 + · · ·+ YX とおく.このとき,X,Y の同時確率分布とE(Y )を求めてください.
解.
P (X = n) = e−λλn
n!
P (Y = k | X = n) = nCkpkqn−k
より,0 ≤ k ≤ nならば
P (Y = k,X = n) = P (Y = k | X = n)× P (X = n)
= nCkpkqn−ke−λλ
n
n!
期待値は
E(Y ) = E[E[Y | X]] =∞∑
n=0
E[Y | X = n]× e−λλn
n!
=
∞∑n=0
n∑k=0
nCkpkqn−k × e−λλ
n
n!
= e−λ∞∑k=0
1
k!pkq−k
∞∑n=k
(qλ)n
(n− k)!
= e−λ∞∑k=0
1
k!pkq−k
∞∑m=0
(qλ)m+k
m!
= e−λ∞∑k=0
1
k!pkλkeqλ
= e−λepλeqλ = 1
60 第 3章 条件付き確率,条件付き期待値
3.1.2 連続型X,Y が連続型のとき
fX|Y=y(x) =f(X,Y )(x, y)
fY (y)
を条件 Y = yのときのX の密度関数とよぶ.
定理 10 (ベイズ)
fY |X=x(y) =fX|Y=y(x)fY (y)
fX(x)
証明.
f(X,Y )(x, y) = fX|Y=y(x)× fY (y)
より
fY |X=x(y) =f(X,Y )(x, y)
fX(x)
=fX|Y=y(x)× fY (y)
fX(x)
E(X | Y = y) =
∫xfX|Y=y(x) dx
を条件付き平均値という.
E(X | Y = y) =1
fY (y)
∫xf(X,Y )(x, y) dx
をみたす.E(X | Y )は yを変数とする関数とみなす.これを用いると離散型と同様に
定理 11
E[E(X | Y )] = E(X)
3.1. 条件付き確率 61
証明.
E[E(X | Y )] =
∫E(X | Y = y)fY (y) dy
=
∫1
fY (y)
∫xf(X,Y )(x, y) dxfY (y) dy
=
∫x
(∫f(X,Y )(x, y) dy
)dx
=
∫xfX(x) dx = E(X)
3.1.3 離散型と連続型の場合一般論は,Y 可測な事象 C について∫
C
E(X | Y ) dP =
∫C
X dP
をみたす,Y 可測な関数E(X | Y )が条件付き平均値の Lebesgue積分における定義になる.これをX の代わりに 1X−1A,C = Y −1(B)とおくと∫
Y −1(B)
E(1X−1(A) | Y ) dP =
∫Y −1(B)
1X−1(A) dP = P (X ∈ A, Y ∈ B)
• ともに離散型のとき,A = k,B = lとおくと
P (X = k | Y = l)× P (Y = l) = P (X = k, Y = l)
• ともに連続型のとき∫B
(∫A
fX|Y=y(x) dx
)fY (y) dy =
∫A×B
f(X,Y )(x, y) dxdy
によりfX|Y=y(x)× fY (y) = f(X,Y )(x, y)
• X が連続型,Y が離散型のとき∫A
fX|Y=y(x) dx× P (Y = l) = P (X ∈ A, Y = l)
よりfX|Y=y(x)× P (Y = l) = fX(x, Y = l)
• X が離散型,Y が連続型のとき∫B
P (X = k | Y = y)fY (y) dy = P (X = k, Y ∈ B)
よりP (X = k | Y = y)× fY (y) = fY (X = k, y)
62 第 3章 条件付き確率,条件付き期待値
3.1.4 条件付き確率の性質(1) E(a1X1 + a2X2 + b | Y ) = a1E(X1 | Y ) + a2E(X2 | Y ) + b
(2) E(h(Y )X | Y ) = h(y)E(X | Y )
(3) E[E(X | Y )g(Y )] = E(Xg(Y ))
(4) E[E(Z | X,Y ) | Y ] = E(Z | X)
(5) X と Y が独立ならば E(X | Y ) = E(X)
証明. 連続型の場合に行う.
(1) これは明らか
(2)
E(h(Y )X | Y ) =
∫h(y)xfX|Y=y(x) dx
= h(y)
∫xfX|Y=y(x) dx = h(y)E(X | Y = y)
(3)
E[E(X | Y )g(Y )] =
∫E(X | Y = y)g(y)fY (y) dy
=
∫ (∫xfX|Y=yg(y)fX|Y=y(x) dx
)fY (y) dy
=
∫ ∫xf(X,Y )(x, y)g(y) dxdy = E[Xg(y)]
(4)
E[E[Z | X = x, Y ) | Y ) =
∫E(Z | X = x, Y = y)fY |X=x(y) dy
=
∫ (∫zfZ|X=x,Y=y dz
)f(X,Y )(x, y)
fX(x)dy
=
∫ ∫zf(X,Y,Z)(x, y, z)
fX(x)dz dy =
∫zfZ : X=x(z) dz
= E(Z | X = x)
(5) 独立ならば
fX|Y=y(x) =f(X,Y )(x, y)
fY (y)= fX(x)
なので,
E(X | Y )(y) =
∫xfX|Y=y(x) =
∫xfX(x) dx = E(X)
3.1. 条件付き確率 63
問題 61 X と Y が独立で指数分布 Exp(λ)にしたがうときX + Y,X − Y,XY の密度関数を求めてください.XY の密度関数は大変である.
解.
(1) X + Y
FX+Y (x) = P (X + Y ≤ x) = E[P (X + Y ≤ x) | Y ]
=
∫P (X ≤ x− y)fY (y) dy
=
∫FX(x− y)fY (y) dy
上の式を xで微分して
fX+Y (x) =
∫fX(x− y)fY (y) dy
=
∫ x
0
λe−λ(x−y)λe−λy dy
=
∫ x
0
λ2e−λx dy = λ2xe−λx
これはガンマ分布 Γ(2, λ)である.
(2) X − Y
FX−Y (x) = E[P (X − Y ≤ x) | Y ]
=
∫FX(x+ y)fY (y) dy
これを xで微分して
fX−Y (x) =
∫fX(x+ y)fY (y) dy
=
∫−x∨0
λe−λ(x+y)λe−λy dy
=
λ2e−λx∫e−2λy dy x ≥ 0
λ2e−λx∫−x
e−2λy dy x < 0
=
λ2 e
−λx x ≥ 0
λ2 e
λx x < 0
64 第 3章 条件付き確率,条件付き期待値
(3) XY
FX/Y (x) = P (X/Y ≤ x) = E[P (X/Y ≤ x) | Y ]
=
∫FX(xy)fY (y) dy
これを xで微分して
fX/Y (x) =
∫fX(xy)yfY (y) dy
=
∫λ2e−λxyye−λy dy
= λ2
∫ye−λ(x+1)y dy
=1
(x+ 1)2
XY の場合には
FXY (x) = P (XY ≤ x) = E[P (XY ≤ x) | Y ]
=
∫FX(x/y)fY (y) dy
これを xで微分して
fXY (x) =
∫fX(x/y)
1
yfY (y) dy
=
∫λ2
∫1
ye−λ(x/y+y) dy
となって,積分ができない.積や商の場合には負の値を取る場合にはより注意が必要になる.
3.1.5 最良推定値定理 12 E((Y − g(X))2)を最小にする gは g(X) = E(Y | X)である.
証明.
E((Y − g(X))2) = E((Y − E(Y | X) + (E(Y | X)− g(X))2)
= E((Y − E(Y | X))2) + 2E((Y − E(Y | X))(E(Y | X)− g(X))
+E((E(Y | X)− g(X))2)
ここで,中項は
E((Y − E(Y | X))(E(Y | X)− g(X)) = E(Y E(Y | X))− E(E(Y | X)E(Y | X))
−E(Y g(X)) + E(E(Y | X)g(X))
3.2. Bayesの話 65
ここで,E(E(Y | X)g(X)) = E(Y g(X))
また,E(Y | X)の 1つを gと思えば
E(E(Y | X)E(Y | X)) = E(Y E(Y | X))
であることから,中項は 0であることがわかる.これより,
E((Y − g(X))2) = E((Y − E(Y | X))2) + E((E(Y | X)− g(X))2)
前項は gによらないので,定理の証明終わり
3.2 Bayesの話X と Y を考える.X の確率分布を事前確率分布といい,P (X | Y )を事
後確率とよぶ.X の確率分布は情報なしで定まるので,主観的確率ともよばれる.
例 12 壷が 2つある.どれかを選ぶのを確率変数 X とする.主観的 (事前)
確率はP (X = i) =
1
2
である.壷には赤玉と白玉が
• 壷 1には赤 5個,白 1個
• 壷 2には赤 1個,白 5個
とする.今,片方の壷をランダムに選んで,さらに玉を取り出すと赤だった.この壷は 1か 2か考えてみよう.取り出す玉の色を表す確率変数を Y とし,赤を 0,白を 1としよう.
P (Y = 0 | X = 1) =5
6
P (Y = 0 | X = 2) =1
6
である.Bayesにより
P (X = 1 | Y = 0) =P (X = 1, Y = 0)
P (Y = 0)=
P (Y = 0 | X = 1)× P (X = 1)
P (Y = 0 | X = 1)P (X = 1) + P (Y = 0 | X = 2)P (X = 2)
なので,事後確率は
P (X = 1 | Y = 0) =5/6× 1/2
5/6× 1/2 + 1/6× 1/2=
5
6
と赤をひいたことで,その壷が 1である確率がずっと高くなった.
66 第 3章 条件付き確率,条件付き期待値
例 13 硬貨投げを考える.n回投げたときの表の回数を Y とする.X は表の出る確率としよう.主観的確率は α, β の β 分布とする.
pk = P (Y = k) =
∫f(Y = k,X = p) dp =
∫P (Y = k | X = p)fX(p) dp
= nCk
∫pkqn−k 1
B(α, β)pα−1qβ−1 dp
= nCk1
B(α, β)
∫pα+k−1qβ+n−k−1 dp
= nCkB(α+ k, β + n− k)
B(α, β)
一方,P (X = k | Y = p) = nCkp
kqn−k
より,Bayesより,事後確率は
fX|Y=k(p) = P (Y = k | X = p)× fX(p)× 1
pk
= nCkpkqn−k p
α−1qβ−1
B(α, β)
B(α, β)
nCkB(α+ k, β + n− k)
=1
B(α+ k, β + n− k)pα+k−1qβ+n−k−1
すなわち,β 分布は事前確率から事後確率への移行で保存される.このことを 2項分布の共役事前分布は β 分布であるという.
問題 62 正規分布の共役事前分布は正規分布であることを確かめてください.
解. X の事前分布はN(m0, v0)とする.また
fY |X=m(y) =1√2πv
e−(y−m)/2v
にしたがうとする.このとき,
fY (y) =
∫fY |X=m(y)fX(m) dm
=
∫1√2πv
e−(y−m)2/2v 1√2πv0
e−(m−m0)2/2v0 dm
=1√
2π(v + v0)e−(y−m0)
2/2(v+v0)
これより事後確率は
fX|Y=y(m) =fY |X=m(y)fX(m)
fY (y)
=1√2πv
e−(y−m)2/2v 1√2πv0
e−(m−m0)2/2v0
√2π(v + v0)e
(y−m0)2/2(v+v0)
=1√
2πvv0/(v + v0)exp[−(v0y −m(v + v0) +m0v)/2vv0(v + v0)]
3.3. Markov連鎖 67
と正規分布になっていることがわかる.Y1, . . . , Yn が独立なときにも示せる.
問題 63 ポアソン分布の共役事前確率分布は Γ分布であることを示してください.
解. X の事前確率分布は Γ(a, 1/θ)とする.
fX(λ) =θa
Γ(a)λa−1e−λθ
また
P (Y = k) =
∫e−λλ
k
k!
θa
Γ(a)λa−1e−λθ dλ
=θa
k!Γ(a)
∫λa+k−1e−λ(θ+1) dλ
=θa
k!Γ(a)
Γ(a+ k)
(θ + 1)a+k−1
これより,事後確率は
fX|Y=k(λ) =P (Y = k | X = λ)fX(λ)
P (Y = k)
= e−λλk
k!
1
Γ(a)λa−1e−λθ k!Γ(a)
θa(θ + 1)a+k−1
Γ(a+ k)
=(θ + 1)a+k−1
θaΓ(a+ k)λa+k−1e−λ(θ+1)
3.3 Markov連鎖離散型の確率変数X1, X2, . . .について
P (Xn = xn|X1 = x1, . . . , Xn−1 = xn−1) = P (Xn = xn|xn−1 = xn−1)
をみたすときマルコフ連鎖という.条件付き確率を用いて表現するならば,BnでXnを可測にする最小の σ–algebra,BnでX1, . . . , Xnを可測にする最小の σ–algebraとすると,m > nならば
Pω : Xm(ω) = xm | Bn(ω) = Pω : Xm(ω) = xm | Bn(ω)
68 第 3章 条件付き確率,条件付き期待値
が成り立つことである.すなわち,時刻 n以降の事象は nでの値にのみより,それまでの履歴によらないと言うことである.X1, X2, . . .が独立ならば,ω ∈ ω : X1(ω) = x1, . . . , Xn(ω) = xnのとき
Pω : Xm(ω) = xm | Bn(ω) =Pω : Xm(ω) = xm, X1(ω) = x1, . . . , Xn(ω) = xn
Pω : X1(ω) = x1, . . . , Xn(ω) = xn= Pω : Xm(ω) = xm
Pω : Xm(ω) = xm | Bn(ω) =Pω : Xm(ω) = xm, Xn(ω) = xn
Pω : Xn(ω) = xn= Pω : Xm(ω) = xm
であるから,Markovである.
例 14 X1, X2, . . .を公平な硬貨投げで,
Xn =
+1 表
−1 裏
としよう.このとき,Sn = X1 + · · ·+Xn
はマルコフ連鎖になる.これを対称 random walkという.
確率変数X1, X2, . . .が独立同分布なら,条件付き確率を行列で表すことができる.例えば,2つの値 a, bしかとらないときには
Π =
(P (X2 = a|X1 = a) P (X2 = b|X1 = a)
P (X2 = b|X1 = a) P (X2 = b|X1 = b)
)
になる.これを推移確率行列という.
π = (P (X1 = a), P (X1 = b))
を初期確率という.また
Π2 =
(P (X3 = a|X1 = a) P (X3 = b|X1 = a)
P (X3 = b|X1 = a) P (X3 = b|X1 = b)
)
およびπP = (P (X2 = a), P (X2 = b))
などをみたすことに注意しよう.一般の推移確率行列
Π =
p11 p12 · · · p1n
p21 p22 · · · p2n...
.... . .
...
pn1 pn2 · · · pnn
3.4. 極限定理 69
と初期確率π = (π1, . . . , πn)
は
(1) pij ≥ 0
(2)∑n
j=1 pij = 1
(3) πi ≥ 0
(4)∑n
i=1 πi = 1
をみたす. ∑i
πipij = πj
をすべての j についてみたす,すなわち πΠ = πをみたすとき,定常であるという.
問題 64 1 ≤ i, j ≤ nについて,推移確率が
pij = Ciij
で与えられるとき,Ci を求めてください.
解.n∑
j=1
pij = ciin(n+ 1)
2
よりCi =
1
i× 2
n(n+ 1)
3.4 極限定理推移確率行列Πについて,Πnの (i, j)成分を p
(n)i,j で表すことにしよう.こ
れは初めに iにいたときに時刻 nに j にいる確率であることは行列のかけ算をしてみればわかるだろう.とくに n = 2ならば
p(2)i,j =
k∑l=1
pi,lpl,j
であることからわかる.
70 第 3章 条件付き確率,条件付き期待値
推移確率行列 Πが非退化であるとは,任意の i, jについて,ある nが存在して,p
(n)i,j > 0をみたすこととする.非退化でない行列は非退化な行列に分
解できることは容易にわかる.非退化な推移確率行列について,n → ∞の場合を考えてみよう.
定理 13 (Perron–Frobenius) Aを非退化かつ成分が非負な行列とするとき,その最大固有値は正かつ単純であり,対応する固有ベクトルとして成分がすべて正なものを選ぶことができる.
を用いよう.1が固有値であることは
1...
1
が固有ベクトルであることからわかり,さらに,Πnが推移確率行列になっていることから,1が最大固有値で
あることがわかる.なぜなら,もし絶対値が 1以上の固有値があればΠn
1...
1
は発散してしまう.さらに 1が最大固有値であることから,定常確率が存在することも示された.1以外の固有値がすべて絶対値で 1より小さいときには,任意の初期状態
πについて πΠn は定常確率に収束することがわかり,さらに
1
n
n−1∑k=0
eikθ → 0
であることを用いると
π1
n
n−1∑k=0
Πk
も定常状態に収束することがわかる.これをエルゴード性という.
3.5 吸収壁ランダムウォーク自分は 1円,相手は N − 1円の,2人合わせて N 円所持しているとする.
1回あたり 1円を賭けてギャンブルをするとき,私が破産する確率を求めてみよう.負ける確率を p,勝つ確率を qとする.これを解くには pnで,初め nのところにいたときに破産する確率とする.
欲しいのは p1だけだが,このように一般の場合を求めるとよい.1回ギャンブルをすると n− 1か n+ 1に移動するから
pn = p× pn−1 + q × pn+1
が成り立つ.さらに境界条件 p0 = 1,pN = 0が成り立つ.式を書き換えると
pn+1 =1
qpn − p
qpn−1
3.5. 吸収壁ランダムウォーク 71
であるから (pn+1
pn
)=
(1/q −p/q
1 0
)(pn
pn−1
)
ここで P =
(1/q −p/q
1 0
)の固有値は 1と p
q であるから,対角化する行列を
U とおいて,(α
β
)= U−1
(p1
p0
)とおくと,
pn = α+ β
(p
q
)n
が成り立つ.境界条件より
α+ β = 1, α+ β
(p
q
)N
= 0
であるので,α =
pN
pN − qN, β = − qN
pN − qN
より,pn =
pN
pN − qN− qN
pN − qN
(p
q
)n
を得る.この式は p = q = 12 のときには使えない.それには,上の式を整理
してpn =
pn(pN−n − qN−n)
pN − qN
として,p, q → 12 ととれば
pn = 1− n
N
が導ける.より,正確には P =
(2 −1
1 0
)が,固有値 1の Jordan標準形で
あることからpn = α+ nβ
になることに境界条件を用いればよい.逆に,相手が破産する確率を qn とおくと,これは p と q を入れ替えて,
N − nをみればよいので
qn =qN−n(qn − pn)
qN − pN
このことから, pn + qn = 1,つまり,そのうち,どちらかが破産する確率が 1であることがわかる.では,どのくらいの時間で破産するのだろうか,pn,k で最初 nにいて,k
時刻後に破産する確率とする.上と同様に,
pn,k = p× pn−1,k−1 + q × pn+1,k−1 (k ≥ 1)
72 第 3章 条件付き確率,条件付き期待値
が成り立つ.両辺に tk をかけて,k = 1, . . .について加えると∞∑k=1
pn,ktk = pt
∞∑k=0
pn−1,ktk + qt
∞∑k=0
pn+1,ktk
pn(t) =∑∞
k=0 pn,ktk とおくと,上の式は
pn(t)− pn,0 = ptpn−1(t) + qtpn+1(t)
ここで,n = 0ならば,pn,0 = 0,とくに p0(t) ≡ 1かつ pN (t) ≡ 0である.
3.6 反射壁ランダムウォーク両側の壁で反射して戻るランダムウォークを反射壁ランダムウォークと言
います.1つの例をあげておきましょう.
3.6.1 エーレンフェストの壷実際の物理現象ではさまざまな要因が絡み合い,複雑な様相を呈するため
にメカニズムの原理が見つけにくい場合が少なくありません.そこで原理の部分だけを取り出して自然の仕組みを解明してみようというわけです.エーレンフェストの壷は,多数の粒子の運動を記述する統計力学のモデルとして提唱されたわかりやすいモデルです.2つの壷を用意します.それと玉がN 個あるとします.玉には番号がふっ
てあります.これらの玉を 2つの壷に分けていれ,1時刻ごとに 1からN までの番号を 1つ選んで,その番号の玉を入っている壷から取り出して,他の壷へと移動します.これをひたすらに繰り返すというのがこのモデルです.物理の対象としては,2つの球を細い管でつないだものを用意します.この装置の中に空気の粒子が多数入っていますが,その合計個数を N 個とします.空気の粒子はでたらめに動きまわりますから,ときどき管を通って他の球へと移動していきます.これを長い時間観察したらどんな風になるだろうかというわけです.たとえ,初めに片方の球が空っぽでも,時間がたてば多い方から少ない方
へと移動するチャンスが多いわけですから,長い時間には 2つの球に入っている粒子の数 (エーレンフェストの壷なら 2つの壷に入っている玉の数)は等しくなって来るだろうという予想がたちます.これを数学的にチェックしたいというわけです.両方の球に半分ずつ粒子が入った状態は平衡状態とみなすことができます.このモデルは,同時に平衡状態とはなんだろうという問題の解決にもなっているはずです.
3.6. 反射壁ランダムウォーク 73
簡単なモデル
多数の粒子のモデルを扱う前に,もっとシンプルなモデルで記号などを準備しておきましょう.2つの状態Aと Bというのがあるとします.状態Aからは 1時刻たつと確率 pで状態 Bに移動します.ということは確率 1− pで状態 Aのままでいるわけです.状態 Bにいると 1時刻後には必ず状態 Aに移動するものとしましょう.これは工場の機械の状態をモデル化したものです.状態Aは故障なく機械が働いている状態,状態 Bは機械が壊れてしまった状態とすると,正常なときにはある確率 pで壊れて状態Bに移動しますが,壊れたら必ず次の時刻では修理して正常な状態に戻すという風に考えてください.こうしたものは確率オートマトンなどといわれ,コンピュータサイエンスでも用いられる概念です.このメカニズムは行列
P =
(1− p p
1 0
)で表現できます.行列の (1, 1)成分 P11は状態Aにいるという条件のもとで 1
時刻後にも状態 Aにいる確率,(1, 2)成分 P12は状態 Aにいるという条件のもとで状態 Bに 1時刻後に移動する確率,(2, 1)成分 P21は状態 Bにいるという条件のもとで状態 Aに 1時刻後に移動する確率,最後に (2, 2)成分 P22
は状態 Bにいるという条件のもとで 1時刻後にも状態 Bにいる確率を与えていますので,この行列を推移確率行列といいます.P 2を考えてみましょう.この (1, 1)成分 P 2
11は行列のかけ算から P11P11+
P12P21 に等しいわけですが,この初めの項は初め状態 Aにいるという条件のもとで,次も Aにいてさらにその次も Aにいる確率を表しています.第 2
項は初め状態Aにいるという条件のもとで,次は状態 Bにいって,またその次に状態 Aに戻って来る確率を表しています.ということは,P 2
11は初め A
にいるという条件のもとで 2時刻後にも Aにいる確率を表しています.一般に Pn
ij についてもおわかりですね.それでは,今状態 Aにいる確率を π1,状態 Bにいる確率を π2としましょ
う.1時刻後に状態 Aにいる確率は今 Aにいて,次も Aにいる確率と今 B
にいて次に A に移動する確率の和ですから π1P11 + π2P21 と表せます.これは行列を用いると (π1, π2)P の第 1成分ですし,この横ベクトルの第 2成分は同様に 1時刻後に状態 Bにいる確率に等しくなっています.横ベクトルπ = (π1, π2)を初期確率といいます.今,この機械を長い時間動かしていてランダムに機械の点検にいくことに
しましょう.きっと,ある確率で正常であって,この確率は時間がたっても変わらないものであるはずです.これを不変確率といいます.不変確率を求めてみましょう.不変確率は 1時刻たっても変わらないはずですから
πP = π
74 第 3章 条件付き確率,条件付き期待値
をみたしていなければなりません.いいかえると,πは行列 P の固有値 1の固有ベクトルであることとがわかります.
壷に戻って
1つの壷に注目してその壷に入っているボールの個数を kとしましょう.ランダムに選ぶのですから,確率 k
N でその壷に入っているボールを選んで他方へ移します.このとき,この壷の中のボールは 1つ減って k − 1になります.また,確率 1 − k
N = N−kN で他方の壷に入っているボールを選ぶので,この
ときにはこの壷のボールは k + 1個になります.推移確率行列を書けば
P =
0 1 0 0 · · · 0 0 01N 0 N−1
N 0 · · · 0 0 0
0 2N 0 N−2
N · · · 0 0 0...
......
. . ....
......
0 0 0 0 · · · N−1N 0 1
N
0 0 0 0 · · · 0 1 0
で与えられます.(π0, . . . , πN )P = (π0, . . . , πN )をみたす横ベクトルは
π0 =1
Nπ1
π1 = π0 +2
Nπ2
πk = (1− k − 1
N)πk−1 +
k + 1
Nπk+1 (1 ≤ k ≤ N − 1)
πN =1
NπN−1
をみたします.これより,πk = NCkπ0 をみたすことが帰納的に確かめられます.実際,k = 0のときは正しいのは明らかです.また,kまで正しいとすると,
πk = (1− k − 1
N)πk−1 +
k + 1
Nπk+1,
NCkπ0 = (1− k − 1
N)NCk−1π0 +
k + 1
Nπk+1
3.6. 反射壁ランダムウォーク 75
ゆえに
πk+1 =N
k + 1
(NCk − (1− k − 1
N)NCk−1
)π0
=N
k + 1
(N !
(N − k)!k!− N − k + 1
N
N !
(N − k + 1)!(k − 1)!
)π0
=N
k + 1
(N !
(N − k)!k!− (N − 1)!
(N − k)!(k − 1)!
)π0
=N
k + 1
(N − 1)!
(N − k)!k!(N − k)π0
=N !
(N − k − 1)!k!π0 = NCk+1π0
により確かめられます.全体の確率が 1であることから
N∑i=1
πi =N∑
k=0
NCkπ0 = 1
一方,N∑
k=0
NCk = (1 + 1)N = 2N
より,π0 = 2−N がわかります.したがって,πk = NCk2−N となりますか
ら,これはN 個の硬貨を投げたときの表の回数を表す確率分布である 2項分布に等しいことになります.硬貨をいっぱい投げればその約半数は表になるはずです (これを大数の法則といいます)から,N が大きいときには,この壷には全体のボールの約半数が入っていることが示せました.これが平衡状態でしたね.
まとめ
以上から平衡状態とは確率分布であることに納得がいってもらえたでしょうか.半分ずつ壷に入っているのが平衡状態なのですが,確率分布ですからいつもぴったり半分ずつ入っているわけではありません.物理を勉強している人達は平衡状態が確率分布であることを正確に把握している人ばかりではないと思いますが,揺らぎという言葉でこのずれを理解をしているようです.最後に述べておかなければいかないことがあります.ニュートンの立場に
たった古典力学では実際の物理運動は初期値が定まればあとは決まった運動をするわけで,なんらランダムな現象は存在しないはずです.それにもかかわらずランダム性を考慮した上の説明がうまくいっているのはなぜなのかを考えてやる必要があります.もっと,身近な例では氷をお湯の中にいれれば融けてぬるま湯という平衡状態に達するわけですが,これも分子レベルで考えれば,氷を形成している分子は速度が遅く,お湯の分子は速度が速いとい
76 第 3章 条件付き確率,条件付き期待値
う違いだけです.これらがランダムに動きまわるとよく混ざってしまい,速度の差がなくなってぬるま湯になると考えるとわかりやすいですよね.これは決まりきった運動をする場合にも平衡状態は確率分布であることから,ランダムな現象ととらえられるということなのです.多数の粒子による複雑さが導く秩序と考えたらいいのかもしれません.
3.7 ランダムウォークZ上を右へ確率 p,左へ確率 q (p, q > 0, p + q = 1)で移動するランダム
ウォークを考えます.言い換えれば独立同分布の
Xi の値 −1 +1
Xi の確率 q p
の確率変数についてSn = X1 + · · ·+Xn
がランダムウォークです.p = q = 12 のとき,対称ランダムウォークといい
ます.fn で時刻 nで初めて原点に戻る確率 ,pn で時刻 nで原点に戻る確率 と
します.pn は簡単に求められます.nは偶数で,その半分が +1残りの半分が −1にいけばよいのですから
pn =
(n
n/2
)pn/2qn/2
をみたします.一方,
pn = q2pn−2 + · · ·+ qn−2p2 + qn
をみたします.つまり,n回目に原点に戻るのは k 回目に初めて原点に戻って,その後,n− k回でまた原点に戻るというわけです.p0 = 1, f0 = 1とおくと,上の式は n = 0のときは
pn =
n∑k=0
fkpn−k
と書けます.k が奇数のところは 0 とします.p(z) =∑∞
n=0 znpn,q(z) =∑∞
n=0 znqn とおくと n = 0のときに注意して
p(z) = 1 +
∞∑n=1
znn∑
k=0
fkpn−k
= 1 +∞∑
n=1
znn∑
k=1
fkpn−k
= 1 +∞∑k=1
∞∑n=k
znfkpn−k
3.7. ランダムウォーク 77
ここで,n− kを nとおくと
p(z) = 1 +∞∑k=1
fkzk
∞∑n=0
znpn
= 1 + f(z)p(z)
つまりf(z) = 1− 1
p(z)
を得ます.一方,
p(z) =∞∑
n=0
znpn
=∞∑
m=0
z2mp2m
=∑m=0
z2m
(2m
m
)pmqm
=∑m=0
z2m(2m(2m− 1) · · · 2 · 1
m!m!pmqm
=∑m=0
z2m2m(2m− 1)(2m− 3) · · · 1
m!pmqm
=
∞∑m=0
z2m2m(−2)m(−1/2) · · · (−1/2− (m− 1))
m!pmqm
=
∞∑m=0
(−4pqz2)m
(−1/2
m
)= (1− 4pqz2)−1/2
一般の 2項展開を用いました.これで
f(z) = 1−√
1− 4pqz2
ですから,この T = 2nの係数は
−
(1/2
n
)(−4pq)n = −(−4pq)n
1/2(−1/2) · · · (1/2− n+ 1)
n!
= (−2)n(pq)n(1(−1)(−3) · · · (3− 2n)
n!
= 2n(pq)n1 · 3 · · · (2n− 3)
n!
= 2(pq)n(2n− 2)!
n!(n− 1)!
= 2(pq)n
(2n− 1
n
)1
2n− 1
78 第 3章 条件付き確率,条件付き期待値
となります.f(1) =∑∞
n=1 fn はいずれ原点に復帰する確率ですが,f(1) =
1−√1− 4pqですので,対称ランダムウォークのときだけ,f(1) = 1になり,
それ以外では f(1) < 1になります.対称ランダムウォークのときには,必ず原点に戻ってくるというわけです (再帰性とよばれます).では,原点に戻ってくる平均時間はいくつでしょう.
∞∑n=0
nfn = f ′(1)
に注意するとf ′(1) =
4pq√1− 4pq
です.つまり,対称ランダムウォークでは戻ってくる平均時間は無限大なのです.もちろん,対称でないときにも,永遠に戻ってこない確率が正ですので,戻ってくる平均時間は無限大です.
79
第4章 極限定理
4.1 大数の法則定理 14 (チェビシェフ)
Pω ∈ Ω: |Y − E(Y )| > ε ≤ V (Y )
ε2
証明.
V (Y ) = E((Y − E(Y ))2) =
∫(Y (ω)− E(Y ))2 dP
≤∫ω∈Ω: |Y (ω)−E(Y )|>ε
(Y (ω)− E(Y ))2 dP
≤∫ω∈Ω: |Y (ω)−E(Y )|>ε
ε2 dP
= ε2Pω ∈ Ω: |Y (ω)− E(Y )| < ε
同じことを 4乗で行えば
Pω ∈ Ω: |Y − E(Y )| > ε ≤ E[(Y − E(Y ))4]
ε4
が出る.
定理 15 (大数の弱法則) X1, X2, . . .を独立かつ同分布とする.E(Xi) = m,
V (Xi) = vとする.このとき,∀ε > 0について
Pω ∈ Ω: |X1(ω) + · · ·+Xn(ω)
n−m| > ε → 0
証明.
Pω ∈ Ω: |X1(ω) + · · ·+Xn(ω)
n−m| > ε ≤ 1
ε2V (
X1(ω) + · · ·+Xn(ω)
n) =
v
nε2
この収束を確率収束 (測度収束)という.
80 第 4章 極限定理
定理 16 (Schwarz) X1, X2 が E(X21 ), E(X2
2 ) < ∞のとき
|E[X1X2)| ≤√E(X2
1 )E(X22 )
証明. まず (a+ b)2 ≤ 2(a2 + b2)より
E[(X1 +X2)2] ≤ 2(E(X2
1 ) + E(X22 ))
が成り立つ.
E[(tX1 +X2)2] = t2E(X2
1 ) + 2tE(X1X2) + E(X22 ) ≥ 0
判別式D/4 = E(X1X2)
2 − E(X21 )E(X2
2 ) ≤ 0
定理 17 (大数の強法則) X1, X2, . . .を独立かつ同分布とする.E(Xi) = m,
V (Xi) = vとする.
X1(ω) + · · ·+Xn(ω)
n→ E(X) a.e.
証明. E(|X|4) < ∞を仮定した証明を述べよう.Schwarzより E(|X)) ≤√E(X2) ≤ (E(X4))1/4.また,
E[(X −m)2) ≤ 2(E(X2) +m2) < ∞
E[(X −m)4] ≤ 8(E(X4) +m4) < ∞
この式は 2(a2 + b2) ≥ (a+ b)2 および
8(a4 + b4)− (a+ b)4 = (a− b)4 + 6(a2 − b2)2 ≥ 0
から導ける.チェビシェフを 4乗で用いると
Pω ∈ Ω:
∣∣∣∣X1(ω) + · · ·+Xn(ω)
n−m
∣∣∣∣ > ε = Pω ∈ Ω: |X1(ω) + · · ·+Xn(ω)− nm| > nε
≤ E[(∑
(Xi −m))4]
(nε)4
一方,独立性を使うと
E[(∑
(Xi −m))4] = nE[(Xi −m)4] + 4C2n(n− 1)
2(E[(X1 −m)2])2 ≤ ∃Cn2
4.2. Weierstrassの多項式近似定理 81
したがって∞∑
n=1
Pω ∈ Ω:
∣∣∣∣X1(ω) + · · ·+Xn(ω)
n−m
∣∣∣∣ > ε ≤ C
ε4
∞∑n=1
1
n2< ∞
Borel–Cantelliの定理より
lim supn→∞
ω ∈ Ω:
∣∣∣∣X1(ω) + · · ·+Xn(ω)
n−m
∣∣∣∣ > ε
の確率は 0に等しい.したがって,単調収束定理より
Pω ∈ Ω: limn→∞
∣∣∣∣X1(ω) + · · ·+Xn(ω)
n−m
∣∣∣∣ = 0
= P
(limε→0
ω ∈ Ω: lim supn→∞
∣∣∣∣X1(ω) + · · ·+Xn(ω)
n−m
∣∣∣∣ > ε)
= P
(limε→0
∞∩n=1
ω ∈ Ω: supk≥n
∣∣∣∣X1(ω) + · · ·+Xk(ω)
k−m
∣∣∣∣ > ε
)
= P
limε→0
∞∩n=1
∪k≥n
ω ∈ Ω:
∣∣∣∣X1(ω) + · · ·+Xk(ω)
k−m
∣∣∣∣ > ε
= lim
ε→0P
(lim supn→∞
ω ∈ Ω:
∣∣∣∣X1(ω) + · · ·+Xn(ω)
n−m
∣∣∣∣ > ε)
= 0
4.2 Weierstrassの多項式近似定理定理 18 (Weierstrass) C[0, 1]の中で多項式全体 P [0, 1]は一様ノルムについて稠密である.
証明.Xx
i の値 0 1
確率 1− x x
というベルヌーイ型の確率変数をとる.
Sn =
n∑i=1
Xxi
とおく.任意の連続関数 f に対して
pn(x) = E[f(Sn/n)] =n∑
k=0
nCkxk(1− x)n−kf(
k
n) (Bernstein)
82 第 4章 極限定理
f は一様連続であるので,任意の ε > 0について ∃δ > 0 s.t. |x− x′| < δ ⇒|f(x)− f(x′)| < εである.
|f(x)− pn(x)| =
∣∣∣∣E [f(x)− f(Sn
n)
]∣∣∣∣≤ E
[∣∣∣∣f(x)− f(Sn
n)
∣∣∣∣]=
∫ω : |Sn(ω)/n−x|≥δ
|f(x)− f(Sn
n)| dP
+
∫ω : |Sn(ω)/n−x|<δ
|f(x)− f(Sn
n)| dP
≤ max 2|f | × Pω ∈ Ω:
∣∣∣∣Sn(ω)
n− x
∣∣∣∣ ≥ δ+ ε
≤ max 2|f | × x(1− x)
nδ2+ ε
≤ max |f |2nδ2
+ ε
ここで,E(Xxi ) = x, V (Xx
i ) = x(1− x)に注意して,チェビシェフを用いた.したがって,sup norm
||f − pn|| <max |f |2nδ2
+ ε → ε
により証明を終わる.
4.3 ポアソンの小数の法則定理 19 Xnを 2項分布B(n, p/n)にしたがうとする.このとき,limn→∞ Xn
はポアソン分布 Po(p)にしたがう.
証明. Xn のモーメント毋関数は
MXn(t) =(etp
n+ (1− p
n))n
= (1 +p
n(et − 1))n
→ exp[etp− p]
4.4. Levyの反転公式 83
4.4 Levyの反転公式特性関数は確率分布を定めることを,次の定理は主張しています.
定理 20 (レビーの反転公式) X の特性関数を ϕX,確率分布を µX とするとき,µX([a, b]) = µX((a, b))をみたす任意の区間 (a, b) ⊂ Rについて
µX((a, b)) =1
2πlim
N→∞
∫ N
−N
e−ita − e−itb
itϕX(t) dt
が成り立つ.
右辺の極限の取り方が微妙な表現ですが,この定理によって,特性関数が与えられれば確率分布が求められる,すなわち,特性関数と確率分布は 1対 1
に対応することがわかります.
証明.
第 1段階∫∞0
sin tt dt = π
2 を示そう.eiz
z を考えます.この関数は特異点を0に持つ.そこで,積分の道を rからRまで実数を動き,半径Rの円上を左回りに 180まわり,原点に向かって戻っていって,−rにぶつかったら,円の上を右回りに rに戻る道 (図 ??)を考える.この道の中には特異点はないので,積分は 0に等しくなる.各パートに分けて積分をみよう.
−R −r r R
図 4.1: 積分路
(1) rから Rまで ∫ R
r
eiz
zdz =
∫ R
r
cosx
xdx+ i
∫ R
r
sinx
xdx
(2) Rから −Rまで,z = Reiθ と変数変換して∫ π
0
eiR(cos θ+i sin θ)
ReiθiReiθ dθ = i
∫ π
0
eiR(cos θ+i sin θ) dθ = i
∫ π
0
e−R sin θeiR cos θ dθ
被積分関数は R → ∞で 0に収束するので,積分も 0に収束する.
84 第 4章 極限定理
(3) −Rから −rまで∫ −r
−R
eiz
zdz = −
∫ R
r
e−ix
xdx = −
∫ R
r
cosx
xdx+ i
∫ R
r
sinx
xdx
(4) −rから rまで,z = reiθ と変数変換して∫ 0
π
eir(cos θ+i sin θ)
reiθireiθ dθ = i
∫ 0
π
eir(cos θ+i sin θ) dθ
被積分関数は r → 0で 1に収束するので,積分は −πiに収束する.
以上をまとめれば2i
∫ ∞
0
sinx
xdx = πi
を得る.このことから
∫ ∞
0
sinxt
tdt =
π2 x > 0
0 x = 0
−π2 x < 0
を得る.
第 2段階
1
2π
∫ N
−N
e−ita − e−itb
itϕX(t) dt =
1
2π
∫ N
−N
e−ita − e−itb
itE[e−itξ] dt
=1
2πE[∫ N
−N
eit(ξ−a) − eit(ξ−b)
itdt]
(Fubini)
=
∫1
2πE[∫ N
−N
sin t(ξ − a)− sin t(ξ − b)
tdt]
(cosは消える)
=1
πE[∫ N
0
sin t(ξ − a)− sin t(ξ − b)
tdt]
第一段階より
limN→∞
1
2π
∫ N
−N
e−ita − e−itb
itϕX(t) dt =
1
2
(µX((a, b)) + µX([a, b])
)で µX((a, b)) = µX([a, b])ならば,上の式は µX((a, b))に収束する.
4.5. 中心極限定理 85
4.5 中心極限定理定義 1 (1) 確率分布 µk → µ とは,任意の有界な台をもつ連続関数につ
いてlim
n→∞
∫f dµk =
∫f dµ
をみたすことである.
(2) XkがXに法則収束するとは,対応する確率分布が収束することである.
特性関数に関する定理を列挙しておこう.
定理 21 ϕk を確率分布 µk の特性関数とする.µk → µ∞ ならば,ϕk → ϕ∞
に広義一様収束する.
定理 22 ϕkを確率分布 µkの特性関数とする.ϕkが ϕに各点収束し,ϕが原点で連続ならば,ある確率分布 µが存在して µk → µ
定理 23 (Glivenko) ϕk が ϕ∞ に各点収束するなら,µk → µ∞
定理 24 (Levy) ϕk が ϕに各点収束し,原点の近傍で一様収束すればある確率分布 µが存在して µk → µ
定理 25 (Bochner) ϕが
(1) ϕ(0) = 0
(2) ϕは原点で連続
(3) 非負定値,つまり,∀x1, . . . , xn ∈ Rと c1, . . . , cn ∈ C についてn∑
i,j=1
cicjϕ(xi − xj) ≥ 0
ならば,ϕはある確率分布の特性関数である.
参考
定理 26 (Riesz’s representation theorem) HをHilbert space,f ∈ H∗
とするならば,ただ 1つ x ∈ H が存在して
f(u) = (u, x)
86 第 4章 極限定理
定理 27 (中心極限定理) X1, X2, . . .は独立同分布で,平均m,分布 vが存在するとき,
Sn − nm√nv
→ N(0, 1)
証明. Yn = Xn−m√vとおく.
ϕ(Sn−nm)/√nv(t) =
n∏j=1
E[exp(itYj/√n)]
= E(exp(itY/√n))n
一方,テイラー展開をすると
exp(itY/√n) = 1 + it
Y√n− t2Y 2
2neiθY/
√n (0 < θ < t)
この期待値をとると
E(exp(itY/√n)) = 1− t2E(Y 2)
2neiθY/
√n
これよりϕ(Sn−nm)/
√nv(t) =
(1− t2
2neiθY/
√n
)n
であるので,Lebesgueの収束定理よりこれは e−t2/2 に収束する.これは標準正規分布の特性関数なので証明を終わる.
87
第5章 推定,検定
5.1 導入硬貨を n回投げたとき,表の出る回数を求める.硬貨投げを表す確率変数
X1, . . . , Xnの期待値は 12 であるから,n回投げたときの平均は n
2 である.したがって,その頻度の平均は 1
2 である.大数の法則により,nが十分に大きければ,頻度は 1
2 に近いと推定される.そこで中心極限定理を用いると
P (−2 <X1 + · · ·+Xn − n/2√
n/4< 2)
は概ね 95%とみなせる (より正確には−1.96から 1.96).これを用いて具体的な表を作ると
投げた回数 100 10000 1000000
頻度の範囲 0.4 ∼ 0.6 0.49 ∼ 0.51 0.499 ∼ 0.501
表の回数の範囲 40∼60 4900 ∼ 5100 499000 ∼ 501000
頻度の誤差範囲 ±10% ±1% ±0.1%
回数の誤差範囲 ±10回 ±100回 ±1000回
問題 65 サイコロの 1の目は確率 16 で出るとする.95%の 1の目の出る頻度
の誤差の範囲が ±5%未満になるには何回以上サイコロを投げる必要があるだろうか.
解. サイコロの 1の目に対応する確率変数をX1, X2, . . .とすると,
E(Xi) =1
6, V (Xi) =
5
36
中心極限定理より
P (−2 <X1 + · · ·+Xn − n/6√
5n/36< 2) ≑ 0.95
なので,X = X1+···+Xn
n とすると
P (−2 <x− 1/6√5/36n
< 2) ≑ 0.95
88 第 5章 推定,検定
したがってP (−2
√5
36n < X − 16 < 2√
536 ) ≑ 0.95
求めるものは
2
√5
36n< 0.05
である.解くと n ≥ 213
問題 66 値 −1と 1をとる確率がそれぞれ 12 の公平なギャンブルを考える.
所持金の誤差範囲が±1000を超えてしまうのは何回以上ギャンブルをしたときだろうか.
解. 対応する確率変数をX1, X2, . . .とすると,E(Xi) = 0,V (Xi) = 1であるので,中心極限定理より
P (−2 <X1 + · · ·+Xn√
n< 2) ≑ 0.95
したがってP (−2
√n < X1 + · · ·+Xn < 2
√n) ≑ 0.95
求めるものは2√n > 1000
なので,解は n > 250000
5.2 用語母集団からランダムかつ独立に値を得る確率変数をX1, X2, . . .,その結果と
して得る標本をx1, x2, . . .のように対応する小文字で表すのが習慣である.標本の平均を表す確率変数は X = X1+···+Xn
n ,対応する標本平均を x = x1+···+xn
n
5.2. 用語 89
で表す.以下も同様なので,標本に対応する値のみを記する.
s2 =1
n
n∑i=1
(xi − x) (標本分散)
s =√s2 (標準偏差)
s2 =1
n− 1
n∑i=1
(xi − x) (不偏分散)
mν =1
n
n∑i=1
(xi − x)ν (ν 次の平均のまわりの積率 (モーメント))
m′ν =
1
n
n∑i=1
xνi (ν 次の原点のまわりの積率 (モーメント))
m2 = s2 である.とくにm3/s3 を歪度,m4/s
4 − 3を尖度という.標本 x1, . . . , xnの真ん中の値を中央値 (メディアン)という.ヒストグラム
を描いたときもっとも頻度の多い値をモードという.2次元の標本,(x1, y1), (x2, y2), . . . , (xn, yn)について,x1, . . . , xnとy1, . . . , yn
の標準偏差を sx,sy と表すとき
cov =1
n
n∑i=1
(xi − x)(yi − y) (共分散)
r =cov
sxsy(相関係数)
5.2.1 母集団統計とは母集団とよばれる集合から得られるデータにより,母集団に固有
な値を推定,検定することである.母集団の平均を母平均,分散を母分散とよぶがこれらは母集団をM = a1, . . . , aN,母平均をm,母分散を v で表すとき
m =1
N
N∑i=1
ai, v =1
N
N∑i=1
(ai −m)2
で与えられる.データを x1, . . . , xnとするとき,mの推定値として x = 1
n
∑ni=1 xiを用い
るのは自然だが,その根拠は何なのだろう.データを得る前に戻ると,1回目のデータを得る確率変数を X1 などとす
るとき,Xi は各 aj を確率 1N で取ることになる.すなわち,
E(Xi) =∑
ji = 1Naj ×1
N=
1
N
n∑j=1
aj = m
90 第 5章 推定,検定
である.xに対応する確率変数は X = 1N
∑Ni=1 Xi であるので,大数の法則
により,X → mであるので,データ数が多ければ,X の実現値である xはmに近いと言えることになる.このことは,母集団というものがはっきりしない確率事象についても,例
えば,硬貨投げの表の出る確率というようなものでも,Xi を表が出れば 1,裏が出れば 0という確率変数とすれば E(Xi)は表の出る確率であるので,母集団がある場合の推定,検定の理論をこのような例の場合にも使えることになる.
5.2.2 必要なこと以下の確率変数は平均m,分散 vとする.X1, X2, . . .について
X =X1 + · · ·+Xn
n
S2 =1
n
n∑i=1
(Xi − X)2
S2 =1
n− 1
n∑i=1
(Xi − X)2
X はmの不偏推定量,S2 は vの不偏推定量になる.
(1) 中心極限定理.X1, X2, . . .を独立,同分布とする.P
(a < X−m√
v/n< b
)は標準正規分布が値 (a, b)をとる確率に近づく.例えば
P
(−1.96 <
X −m√v/n
< 1.96
)≑ 95%
(2) X1, X2, . . .が正規分布 N(m, v)にしたがうなら,
1
v
n∑i=1
(Xi − X)2 =n
vS2
は自由度 n− 1の χ2 分布にしたがう.
(3) X1, X2, . . .が正規分布 N(m, v)にしたがうなら,
X −m√S2/n
=X −m√S2/(n− 1)
は自由度 n− 1の t分布にしたがう.
91
第6章 その他
6.1 ジニ係数ジニ係数は、イタリアの数理統計学者のコッラド・ジニ(Corrado Gini)が
1936年に考案した統計学の概念です。 ジニ係数は、統計データさえあれば簡単に計算できるために、所得格差
などを分析するさいにはよく使われる指標です。 ジニ係数は0と1の間の数値となりますが、数値が大きければ大きいほ
ど(1にちかいほど)格差が大きく、数値が小さいほど(0に近いほど)、格差が小さいことを表しています。たとえば、ジニ係数が0・2 63から0・574に上昇したら、格差が拡大したことを意味します。 ジニ係数の便利な点は、所得の分配や格差の実態を一個の数値に凝縮し
て示せること、したがって、ジニ係数を比較して、格差の程度を比較することができることです。 しかし、ジニ係数の計算は、二重、三重に量的な平均化を積み重ねて一
個の数値を算出しますから、その格差がどのような質的意味をもっているのか、その格差の原因については、なにも語らないという限界をもっています。 また、ジニ係数を算出するもとになる統計(「家計調査」など)の標本
(データ)それ自体が、今日の所得格差の実態を正確に表しているかどうか、という問題もあります。 ジニ係数の算出方法は、次の手順をふんで計算すれば、それほど複雑で
はありません。
(1) 対象となる集団に含まれるすべての数値間の差の絶対値を合計して、平均する(これを「平均差」という)。
(2) 全体の平均値を計算する。
(3) 平均差を全体の平均値の2倍で割る(2倍で割るのは、ジニ係数を0と1の間に収めるため)。この結果がジニ係数です。
たとえば(245万円、362万円、826万円)のジニ係数は次のようになります。