anomaly detection char10
TRANSCRIPT
10. 疎構造学習による異常検知
natsu
1
疎構造学習による異常検知
10.1 （異常検知？） 変数間関係に基づく異常の判定
10.2-3 （構造学習？） 変数同士関係の表し方、ガウス型グラフィカルモデル
10.4 （疎構造学習による異常検知？）グラフィカルラッソ
10.5 （応用？）
10.1変数間の関係に基づく異常の判定：基本的な考え方 2
問題定義
10.1変数間の関係に基づく異常の判定：基本的な考え方
3
夏降水日数
台風発生回数
過去五十年間夏のデータ
疎構造学習による異常検知• どんな異常？：変数同士の依存関係の崩れ
今年 異常ですね
410.1 変数間の関係に基づく異常の判定：基本的な考え方
夏平均気温
疎構造学習による異常検知• どうやって異常を検知？：個々の変数の相関異常度
510.1 変数間の関係に基づく異常の判定：基本的な考え方
異常度
x1
x1
x2
x3
x4
x5
過去データに基づくモデル
x2 x3x4 x5
X2とX4の関係がおかしい
1
5
4
2
3
1
5
4
2
3
10.1 変数間の関係に基づく異常の判定：基本的な考え方 6
疎構造学習による異常検知
定義10.1 （異常箇所同定問題 anomaly localization）
訓練データとしてM次元の標本がN個，D={x(1),…,x(N)}のように与えられている，異常箇所同定問題とは，新たな標本x’，または標本の集合D’={x’(1’),…, x’(N’)}が与えられた時、各次元に対して異常度を計算する問題である
• モデル？ー 変数同士の関係の表現• 異常度？ ー モデルに基づく異常度の計算
モデル構築
10.1変数間の関係に基づく異常の判定：基本的な考え方
7
10.2 変数同士の関係の表し方 8
変数同士の関係の表現関係の定義： 直接関係 vs. 間接関係
教会数 強盗件数？？
人口（万人）Vs. 教会数
人口（万人）Vs. 強盗件数
教会数Vs. 強盗件数
周辺分布
他の変数からの間接関係含める
条件付き分布
他の変数を一定値にし、そこからの間接関係含めまない
直接関係 直接関係 間接関係
(10.2) (10.3)
10.2 変数同士の関係の表し方 9
変数同士の関係の表現モデル： 対マルコフグラフ
対マルコフネットワーク・対マルコフグラフ
２つの変数が統計的に（他の変数を与えた時に条件付き）独立である|他の変数 ⇔ と の間に辺がない
• Pairwise -三変数以上の絡み合いは考えない
構造学習：データからグラフ構造を学習する問題
X1（人口）
X3（強盗数）
X2（教会数）
10.3 正規分布に基づく対マルコフグラフ 10
ガウス型グラフィカルモデル-1確率分布p(x)として多変量正規分布を想定したマルコフグラフモデル
1. Dの各標本 の第i成分(i=1,…,M)に対して標準化変換
2. 精度行列Λによる多変量正規分布を条件付き式10.3に代入し
3. （x3,...,xMを一定と見て）,式10.5のx1x2の部分のみ拾うと
(10.4)
(10.5)
10.3 正規分布に基づく対マルコフグラフ 11
ガウス型グラフィカルモデル-2
=0• x1とx2が統計的に独立なら
⇔ |他の変数
• x1とx2が直接相関なら⇔ 直接相関
相関係数
10.3 正規分布に基づく対マルコフグラフ 12
ガウス型グラフィカルモデル-3
• Λ =
* * * * * 0* * * * * 0* * * 0 0 0* * 0 * 0 0* * 0 0 * 00 0 0 0 0 *
x2
x1
x6x5
x4
x3
正常時のモデルを疎なグラフとして保持• ノイズへの頑強性（無関係な変数の急な変動など）• 計算量
モデルを解く
10.4 疎なガウス型グラフィカルモデル学習 13
14
ラプラス事前分布による疎な構造の実現
入力：標本共分散行列S
10.4 疎なガウス型グラフィカルモデル学習
求める解：精度行列Λ=S-1
• 変数の数が10以上では、そもそも実用上数値的に正則でないことが多く、逆が存在しない傾向
• あったとしても疎にならない• 閾値による切り捨てを使うと、疎になるが結果が敏感になる
15
ラプラス事前分布＋事後確率最大原理推定で精度行列Λを求める
ラプラス事前分布:
ただし
最大事後確率推定 （定義3.1）
観測モデルの正規分布を代入すると
10.4 疎なガウス型グラフィカルモデル学習
(10.9)
(3.12)
(10.10)
16
ラプラス事前分布＋事後確率最大原理推定で精度行列Λを求める
式10.5を代入すると
f を最大化する最適解がΛ
10.4 疎なガウス型グラフィカルモデル学習
対数尤度 L1正則化項
(10.12)
17
ブロック座標降下法による最適化
• fの勾配
• 座標降下法：Λのほかを既知（定数）として、一つの列・行を解く、収束するまで繰り返す
• 疎な精度行列を、明示的な逆行列計算なしに求める
10.4 疎なガウス型グラフィカルモデル学習
(10.13)
18
ブロック座標降下法による最適化
次の最適化問題を解く
ただし
式10.24をΛΛ-1=I から得られる(wTl+σλ)=1と合わせ、
収束するまで繰り返す
10.4 疎なガウス型グラフィカルモデル学習
(10.27)
(10.24)
(10.25) (10.26)
応用
1910.5 疎構造学習に基づく異常度の計算
外れ値解析
• 新しい観測x’の第i次元についての異常度:
2010.5 疎構造学習に基づく異常度の計算
異常解析
• 新しい観測データ集合D’の第i次元についての異常度:
2110.5 疎構造学習に基づく異常度の計算
実験
• GraphLasso(alpha=1,max_iter=1000)
• FXデータ（通貨ペア週高値）
–変数：[USD/JPY, EUR/JPY, GBP/JPY, AUD/JPY, CHF/JPY]
–学習データ1（2014年データ 週単位）: 2014/01/03-2015/01/02
–学習データ2（2015年データ 週単位）: 2015/01/23-2015/11/13
22
精度行列による相関係数(白=0, 青=1）
10.1変数間の関係に基づく異常の判定：基本的な考え方
23
2014年データによる学習：
精度行列による相関係数(白=0, 青=1）
24
2015年データによる学習：
ユーロとの依存関係が減少
異常度
25
間のデータ（2015/01/16）異常を見てみましょう
-50
-40
-30
-20
-10
0
10
20
30
USD EUR GBP AUD CHF
何が起きた？
26