時系列解析(13)...kkm mggt km m gt t p km g t p p mg t p 2 東京 学 北川源四郎 数理...
TRANSCRIPT
![Page 1: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/1.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
東京⼤学 数理・情報教育研究センター北川 源四郎
時系列解析(13)−粒⼦フィルタ−
配布⽤
![Page 2: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/2.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
非線形・非ガウス型フィルタの計算量
状態の次元システムノイズの次元分点数システムノイズの分点数jq
i
kk
m
1
11~ ( )( ) ~ m
m q qk k k k n k n
計算量
1 2 3 4 5 6 710 100 1 10 100 1 10 10030 1 30 1 30 1 30 1
100 10 1 100 10 1 100 10300 100 30 10 3 1 300
1000 1 1 1 1
kK K K M M M
K K M M G G TK M M G T T PK M G T P P
M G T P
2
![Page 3: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/3.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
混合正規
粒⼦近似.
0. ガウス近似(拡張)カルマンフィルタ・平滑化
1. 区分的線形(階段)関数近似
非ガウス型フィルタ・平滑化
2. 混合ガウス近似
ガウス和フィルタ・平滑化
3.粒子近似
モンテカルロフィルタ・平滑化
分布の近似
真の分布
ガウス近似
区分的線形関数
階段関数
3
![Page 4: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/4.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
長所• 分布の計算(畳み込み積分,非線形変換)は大変で
時間がかかるが,粒子ごとの代入計算は簡単で早い• 状態の次元が増えても計算量はそれほど増えない
問題点• 常にサンプリング誤差を伴う• 粒子数 mを増やしても分散減少は 1/m
モンテカルロ計算の長所,欠点
4
![Page 5: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/5.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析) 5
粒子による分布の近似
)|(~,, 1)()1(
nnm
nn Yxppp
F xm
I x pn nj
j
m
( ) ( ; )( )1
1
Pr( | )( )X p Ymn n
jn 1
1 m1
分布関数
経験分布関数
(ステップ幅)
(1) ( )1
(1) ( )
(1) ( )| |
(1) ( )
, , ~ ( | )
, , ~ ( | )
, , ~ ( | )
, , ~ ( )
mn n n n
mn n n n
mn N n N n N
mn n n
p p p x Y
f f p x Y
s s p x Y
v v p v
予測分布
フィルタ分布
平滑化分布
システムノイズ分布
![Page 6: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/6.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析) 6
m =10
m =100
m =1000
経験分布関数による分布の近似
‐6 ‐4 ‐2 0 2 4 6
1.0
0.5
0.0
1.0
0.5
0.0
1.0
0.5
0.0
![Page 7: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/7.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
一期先予測の導出
1 1 1 1 1
1 1 1 1 1 1 1 1
1 1 1 1 1
( | ) ( , , | )
( | , , ) ( | , ) ( | )
( ( , )) ( ) ( | )
n n n n n n n n
n n n n n n n n n n n
n n n n n n n n
p x Y p x x v Y dx dv
p x x v Y p v x Y p x Y dx dv
x F x v p v p x Y dx dv
( )1 1 1
( )
~ ( | )
~ ( )
jn n n
jn
f p x Y
v p v
p F f v p x Ynj
nj
nj
n n( ) ( ) ( )( , ) ~ ( | ) 1 1
7
![Page 8: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/8.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析) 8
フィルタ
:)( jn 粒子 の重み係数pn
j( )
( ) ( )1
( )1
1
( ) ( )1
( ) ( )1
1
( ) ( )1
( ) ( )11 1
Pr( | ) Pr( | , )
Pr( , | )Pr( | )
Pr( | )Pr( | )
Pr( | )Pr( | )
j jn n n n n n n
jn n n n
n n
j jn n n n n n
mi i
n n n n n ni
j jn m n
m mj jn nmi i
X p Y X p Y y
X p y Yy Y
y X p X p Y
y X p X p Y
nj( )
y n
p y pn nj( | )( )
pnj( )
fnj( )
nj
n n njp y X p( ) ( )( | )
m1
( )jn
![Page 9: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/9.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
リサンプリング
m 個の重み付き粒子で近似されたフィルタ分布を等確率のm 個の粒子で近似しなおす
( )
1( ) ( ) ( )
1 1
( )
1
( ) ( )
( ) [0,1)
1 1( )
( )
jn
i ik j k
n n nk k
mk
nk
j in n
a u U
b uC C
i
C
c f p
一様乱数 を生成する。
を満たす
を探す。
ただし,
フィルタの粒子を とする。
f nj( )
f nj( )
( )jnu
1
0
9
![Page 10: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/10.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析) 10
フィルタリング
)( jn
粒子の重み
pnj( )
)( jnf
経験分布関数
予測分布
フィルタ分布
均一ステップ幅
重み に比例)( j
n
フィルタ分布
均一ステップ幅
![Page 11: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/11.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析) 11
粒子フィルタ(MCF)
・システムノイズ
v p v j mnj( ) ~ ( ) , , 1
・重要度(ベイズ係数)
p F f vnj
nj
nj( ) ( ) ( )( , ) 1
・予測分布
nj
n njp y p( ) ( )( | )
・フィルタ分布のリサンプリング
p nj( ) f n
j( )
Gordon et al. (1993), Kitagawa (1996)Doucet, de Freitas and Gordon (2001) “Sequential Monte Carlo Methods in Practice”
![Page 12: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/12.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析) 12
One Cycle of Monte Carlo Filtering
)|( 11 nn Yxp
n=n+1
xSt
ate
spac
e
)|( 1nn Yxp
resampling
X 消滅
X 消滅
)|( 1nn Yxp )|( nn YxpData yn
Filteringlikelihood
)|( )()( jnn
jn xyr)( nvp
Prediction
),( )(1
)(n
jn
jn vxfx
新しい観測値
![Page 13: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/13.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析) 13
One Cycle of Particle Filter密度関数 経験分布関数
一期前の分布
システムノイズ
予測分布
フィルタ分布
フィルタ分布(リサンプリング後)
![Page 14: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/14.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
層化リサンプリング
( )
( )
1,
1
( )
( ) 0,1
jn
jn
j j
m m
j
m
a u U
a u
。
一様乱数 を生成する。
固定した について, とする
リサンプリングの目的は重み を持つ粒子で定義される分布関数を,重みが等しい経験分布で表現しなおすことであり,厳密なランダムサンプリングは必ずしも必要ではない。
(1) ( ){ , , }mn n (1) ( ){ , , }m
n np p
単純リサンプリング 層化リサンプリング
1
0
1
0
( )jnu
m回繰り返す
( )jnu
各区間で1回
14
![Page 15: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/15.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
2
( ) ( ) ( )
1 1
( , ) ( ( ) ( ))
1 1( , ) ( , )
p f p f
m mi i i
n n ni i
J D D D x D x dx
I x p I x f dxc m
( )
1
mi
ni
c
m J(Df ,Dp) J(Dp ,Df*)Random Stratified Deterministic
10 Sort 0.0326 0.00379 0.00176 0.1021
No‐sort 0.0321 0.00859 0.00513 0.1021
100 Sort 0.00381 0.636x10‐3 0.311x10‐4 0.860x10‐2
No‐sort 0.00405 0.939x10‐3 0.612x10‐3 0.860x10‐2
1,000 Sort 0.398x10‐3 0.838x10‐6 0.407x10‐6 0.102x10‐2
No‐sort 0.379x10‐3 0.982x10‐4 0.611x10‐4 0.102x10‐2
10,000 Sort 0.387x10‐4 0.101x10‐7 0.498x10‐8 0.248x10‐3
No‐sort 0.406x10‐4 0.936x10‐5 0.636x10‐5 0.348x10‐3
Comparison of the Resampling MethodsDf
*: Exact filter distribution
J(Df ,Dp) is negligible
15
![Page 16: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/16.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析) 16
平滑化(粒子を保存する方法)
( ) ( )1| | 1( , , ) ~ ( , , | )j j T
i n i n is s p x x Y
( ) ( )1 1| 1 1 1| 1 1
( )
( )| 1( )
| 1 ( ) ( )1| 1
1Pr( , , | )
~ ( )
for 1, , 1
( , ) for
j jn n n n n
jn
ji nj
i n j jn n n
mx s x s Y
v q v
s i np
F s v i n
( ) ( )1| 1 | 1 1 1( , , ) ~ ( , , | )j j T
n n n n np p p x x Y
とするとき、n 個の粒子を
と定義すると
![Page 17: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/17.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析) 17
平滑化(粒子を保存する方法)(2)
( ) ( )1| 1 | 1
( ) ( )1| 1 | 1 1
( ) ( ) ( ) ( )1| 1 | 1 1 1| 1 | 1 1
1
( ) ( )| 1 1| 1
Pr( , , | )
Pr( , , | , )
( | , , , )Pr( , , | )Pr( | )
Pr( | )Pr( , ,
j ji n n n n n
j ji n n n n n n
j j j jn i n n n n n i n n n n n
n n
j jn n n i n n n
x p x p Y
x p x p Y y
p y x p x p Y x p x p Yy Y
y p x p x p
( )| 1 1
1
| )Pr( | )
jn n
n n
Yy Y
( ) ( )| 1 |j j
n n np p ただし、
( ) ( ) ( )1 1 1| -1 1| 1
1
( ) ( ) ( )1| 1| |
( , , | ) , , , , 1, ,
( , , | )
, , , , 1, ,
Tj j jn n n n n n
n n
Tj j jn n n n n
p x x Y n s s p j m
p x x Y n
s s s j m
に従う 次元粒子
のリサンプリングによって に従う等確率の 次元粒子
を生成する
yn 新しいデータ
![Page 18: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/18.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
1 500( | )p x Y
1( | )np x Y(1) ( )1| 1|{ ,..., }m
n ns sHistogram
1 1 500( | ), ( | )nD p x Y p x Y
(1) ( )1 1| 1|( | ),{ ,..., }m
n n nD p x Y s s
Accuracy vs. lag
18
![Page 19: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/19.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
問題点・リサンプリングによって(実質的)粒子数が単調減少
する
解決策
1. 固定ラグ平滑化を用い、ラグを大きくしない
2. 2方向フィルタを用いる
平滑化の困難
19
![Page 20: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/20.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
平滑化の改善
(固定区間)平滑化
s s pnj
n nj
nj
1 1 1 1|( )
|( ) ( ), , , s sn
jn n
j1 |( )
|( ), ,
s s pn L nj
n nj
nj
|( )
|( ) ( ), , ,1 1 1 s sn L n
jn n
j |
( )|
( ), ,固定ラグ平滑化
すべての履歴でなく、最近のL個だけをリサンプルすると固定ラグ平滑化が実現できる。
20
![Page 21: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/21.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析) 21
粒子数と精度
-3
-2
-1
0
1
2
3
0 100 200 300 400
-3
-2
-1
0
1
2
3
1 101 201 301 401
m=100,000 m=10,000
Exact Non-Gaussian Smoother
-3
-2
-1
0
1
2
3
1 101 201 301 401
-3
-2
-1
0
1
2
3
1 101 201 301 401
m=100
m=1,000
-3
-2
-1
0
1
2
3
1 101 201 301 401
m=10,000
![Page 22: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/22.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
Accuracy vs. Number of Particles
0.0001
0.001
0.01
0.1
1
10
100
1 2 3 4 5 60.001
0.01
0.1
1
10
100
1 2 3 4 5 6
Filter Smoother Fixed‐interval
102 103 104 105 106 107 102 103 104 105 106 107
Number of Particles Number of Particles
Gaussian model Cauchy model
Smoothing (max lag) FilterSmoothing
(best lag) xnxDnxDDDIN
n
L
jjj
2
1 1),(ˆ),()ˆ,(
22
![Page 23: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/23.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
Accuracy in Computing Log-Likelihood
Gaussian model Cauchy modelm Log-L S.D. CPU-time Log-L S.D. CPU-time
102 -750.859 2.287 0.02 -752.207 6.247 0.02103 -748.529 1.115 0.06 -743.244 2.055 0.06104 -748.127 0.577 0.58 -742.086 0.429 0.63105 -747.960 0.232 5.84 -742.024 0.124 6.27106 -747.931 0.059 59.41 -742.029 0.038 62.73107 -747.926 0.023 591.04 -742.026 0.013 680.33108 -747.930 0.008 5906.62 -742.026 0.003 6801.55109 -747.928 0.002 59077.35 -742.026 0.001 69255.03
23
![Page 24: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/24.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
Number of Different Particles in Fixed-Lag Smoothing
1
10
100
1000
10000
100000
1000000
0 25 50 75 100 125 150 175 200
M=100 M=1000 M=10000M=10^5 M=10^6
1
10
100
1000
10000
100000
1000000
0 25 50 75 100 125 150 175 200
M=100 M=1000 M=10000M=10^5 M=10^6
Gaussian model Cauchy model
Lag Lag
m=100m=105
m=1000m=106
m=10000 m=10000m=1000m=106
m=100m=105
24
![Page 25: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/25.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
Accuracy of Fixed-Lag Smoother
Gaussian model Cauchy model
m=100
m=103
m=104
m=105
m=106
m=107
25
![Page 26: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/26.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
)|()|(
)|,(
),|()|(
1
1
1
nnnn
N
nn
Nn
nNnnNn
YxpxYp
YYxp
YYxpYxp
Smoothing by Two Filter Formula
Smoother
Filter
)|()|(
)|,(
),|()|(
1
1
1
nnnn
nnn
nnnnn
Yxpxyp
Yyxp
yYxpYxp Nn
nN
nn
yyY
yyY
,,
,,1
)|(
)|(
nn
N
nn
xYp
xyp
26
![Page 27: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/27.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
Backward Filtering
)|()|( NNNN
N xypxYp
Backward Filtering
)|()|()|(
)|()|()|(1
11111
nn
Nnnnn
N
nnnnn
Nnn
N
xYpxypxYp
dxxxpxYpxYp
Initialization
27
![Page 28: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/28.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
Two-Filter Formula for Smoothing
Backward FilteringFiltering
)|( nn
N xYp
Smoothing
n-1n-2 n+2n+1n)|( 1nn Yxp
28
![Page 29: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/29.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
Fixed-Lag with LAG=500 Two-Filter Formula
m=100,000
29
m=10,000
m=1,000
![Page 30: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/30.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
mGaussian Model Cauchy Model
Fixed-lag
Fixed-interval
Two-filter
Fixed-lag
Fixed-interval
Two-filter
102 8.693 41.723 6.913 21.248 47.881 26.440103 2.259 16.275 1.399 6.042 23.654 4.870104 0.717 5.547 0.333 1.001 3.679 0.378105 0.185 1.448 0.118 0.140 0.380 0.072
Accuracy of Smoothing
Evaluated by )ˆ,( DDI
30
![Page 31: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/31.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
Accuracy of Two-Filter Smoothing Algorithm
Gaussian model Cauchy model
1 10 102 103 104
Accuracy
Accuracy
ms: Number of evaluated particles ms: Number of evaluated particles1 10 102 103 104
ms=100 is sufficient.ms=10 might be reasonable
31
![Page 32: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/32.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
粒子フィルタの応用
Gordon et al. (1993), Kitagawa (1996)Doucet, de Freitas and Gordon (2001) “Sequential Monte Carlo Methods in Practice”
1. 非ガウス型平滑化レベルシフト(構造変化)非ガウス型季節調整確率的ボラティリティモデル
2.非線形平滑化トラッキングPhase-unwrapping
3. 信号抽出問題
4. 計数データのモデリング
5. 自己組織型状態空間モデル
6. 高次元フィルタ(データ同化)
32
![Page 33: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/33.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
日経225平均株価
・平均値が変動・分散が変動・分散変動と平均値の変化に相関の可能性がある
40000
30000
20000
33
![Page 34: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/34.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
トレンドと分散は独立
観測モデル
トレンドとボラティリティのモデル化
, ~ (0,1)n n n n ny t w w N
1 2
2 2 21 2
2
log 2log log
n n n n
n n n n
t t t v
u
トレンド成分モデル
分散変動成分モデル
34
![Page 35: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/35.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
状態空間モデル
状態ベクトル
状態空間モデル
21
21
loglog
n
n
n
n
n
tt
x
nnnnn wtwxH ),(
n
nnv
1
( , )n n n
n n n
x Fx Gvy H x w
2 1 1 01 0 0 0
,2 1 0 11 0 0 0
F G
35
![Page 36: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/36.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
確率的ボラティリティ
2122
Model ( , ) ( , )
9000 700
0.0026 0.0005AIC 13726.02 13765.84
G G C G
0 100 200 300 400 500 600 700 800 900
40000
30000
20000
10000
1500
1000
500
0
2 21 22 21 2
Model( , ) ~ (0, ) ~ (0, )
Model( , ) ~ (0, ) ~ (0, )n n
n n
G G N N
C G C N
Nikkei 225
Volatility
36
![Page 37: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/37.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析) 37
確率的ボラティリィティ(自己組織化)
2,,
/ 21
1 1
1 22 2
31
0 0 00 1 0 00 0 1 0
log log 0 0 0 1
~
n
n
n n n
n n n
n n n
nn n
xn n
x x ve
r e w
同時推定のための状態空間モデル
オリジナルの状態空間モデル
nx
n
nnn
weer
vxxn2/
1
),0(~ 2Nvn
未知パラメータ
2logn n
![Page 38: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/38.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析) 38
/21
1 3
n
n
n n n
n n n
xn n
x x veI
r e w
2log n
2log
2( , , log )Tn n n n
0 200 400 600 800
0 200 400 600 800
0 200 400 600 800
0 200 400 600 800
1614121086
0‐2‐4‐6
1.00.90.80.70.6
11.010.810.610.410.210.0
確率的ボラティリィティ(自己組織化)
![Page 39: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/39.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
Log‐LK AIC
Gaussian 0.874 x 105 0.146 x 106 0.365 x 104 0.98 ‐670.39 1346.8
Non‐Gaussian 0.288 x 105 0.528 x 103 0.362 x 103 0.98 ‐667.01 1342.0
季節調整: 構造変化が存在する場合
2̂
2
2 21 12 22 2
~ (0, )
~ (0, ) (1 ) (0, )
~ (0, ) (1 ) (0, )
n
n
n
w N
v N N
u N N
1 2
1 1
2( )
n n n n
n n n n
n n n p n
y T S w
T T T vS S S u
21̂
22̂ ˆ̂
39
![Page 40: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/40.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
季節調整: 異常値
ガウスモデル
非ガウス型
季節成分ガウスモデル
季節成分非ガウス型
40
![Page 41: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/41.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析) 41
非線形平滑化
nn
n
nn
nnn
wxy
vnxxxx
20
)2.1cos(8125
21
2
21
11
信号
観測値
)1,0(~ ),1.0,0(~ NwNv nn
nx
ny
粒⼦フィルタ
⾮線形フィルタ
拡張カルマンフィルタ
![Page 42: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/42.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
非線形モデル(自己組織化)
nnnn
nnn
nnnnn
wxy
vnxxxx
26
521
1413 )2.1cos(
1
6
1
n
n
n
n
x
z
Augmented State Vector
})exp{,0(~ }),exp{,0(~ 21 nnnn NwNv
42
![Page 43: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/43.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
自己組織型平滑化1n
2n
3n
4n
5n
6n
信号
観測値
信号の推定
nnnn
nnn
nnnnn
wxy
vnxxxx
26
521
1413 )2.1cos(
1
})exp{,0(~ }),exp{,0(~ 21 nnnn NwNv
43
![Page 44: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/44.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
ny
n n nt s
nt
ns
計数データの季節調整
n
yn
nn yeyP
nn
)|(
1 2
1 11
log 2log loglog (log log )
n n n n
n n n n
t t t vs s s u
ポアソン分布
44
![Page 45: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/45.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
データ同化: 非線形状態空間モデル
tttt
tttt
wxHyvxFx
),( 1
データ同化 = 状態 ( ) 推定問題
tytx
tvtw
(システムモデル)
(観測モデル)
超高次元 tx : 104~106
ty : 102~105
txデータ同化結果
観測データ
大地震発生時の微気圧変動のデータ同化結果(統数研)
シミュレーションモデル
観測データ
データ同化+ 現実的なシミュレーション
: シミュレーションモデルの全変数
: 全観測変数
: システムモデルの不確実性
: 観測モデル
45
![Page 46: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/46.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
m=1,000
m=10,000
# Generation of data## trend modelx <- rep(0,400)x[101:200] <- 1x[201:300] <- -1y <- x + rnorm(400, mean=0, sd=0.5)
################################ Particle Filter###############################m <- 10000tau <- 0.04sig <- 0.25
# Initial distributionxf <- rnorm(m,mean=0,sd=2)n <- length(y)trend <- rep(0,length=n)
for (ii in 1:n) {# Prediction stepv <- rnorm(m,mean=0,sd=tau)xp <- xf + v
# Bayes factor (weights of particles)alpha <- dnorm(y[ii]-xp,mean=0,sd=sig,log=FALSE)alpha <- alpha/sum(alpha)
# re-samplingxf <- sample(xp,prob=alpha,replace=T)
qxf <- quantile(xf)trend[ii] <- mean(qxf)}
plot(y,type="l",ylim=c(-3,3))par(new=T)plot(trend,type="l",col="red",lwd=2,ylim=c(-3,3))
46
![Page 47: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/47.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
V: Cauchy distributionv <‐ rcauchy(m,location=0,scale=0.0001)
47
![Page 48: 時系列解析(13)...KKM MGGT KM M GT T P KM G T P P MG T P 2 東京 学 北川源四郎 数理 法VII(時系列解析) 混合正規 粒 近似. 0. ガウス近似 (拡張)カルマンフィルタ・平滑化](https://reader033.vdocuments.mx/reader033/viewer/2022052813/60962ddeceac671c5c20525b/html5/thumbnails/48.jpg)
東京⼤学 北川源四郎 数理⼿法VII (時系列解析)
並列計算
MCFアルゴリズムの直接並列化
単純並列 MCF• 単純にk 個の MCFを並列に実行
• 事後分布を平均
重み付き並列 MCF• 事後分布の(モデルの尤度に基づく)重み付き平均
• 交叉を伴う重み付き並列MCF
移住を伴う重み付き並列 MCF• “良い”MCFから “悪い” MCFへの粒子の移住
48