論文紹介 deterministic independent component analysis
TRANSCRIPT
![Page 1: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/1.jpg)
“Deterministic Independent Component Analysis”
Ruitong Huang, András György, Csaba Szepesvári ICML 2015 読み会
紹介者 : 福地 一斗
![Page 2: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/2.jpg)
自己紹介• 福地 一斗• 筑波大学 D1• 佐久間研究室 : 機械学習におけるプライバシー• 研究分野:• 機械学習:特に学習理論 ( 公平配慮学習における理論 )
![Page 3: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/3.jpg)
紹介する論文• Deterministic Independent Component Analysis
Ruitong Huang, András György, Csaba Szepesvári • 証明付き資料はここから
• http://www.ualberta.ca/~szepesva/publications.html
• Learning Theory トラックでの発表• 独立成分分析 (ICA) をさらに一般化した問題を考案• その問題の理論解析• 解析をもとにしたアルゴリズムの導出
![Page 4: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/4.jpg)
独立成分分析 (ICA)モデル
: 観測変数: 個の独立成分: 混合行列: ガウシアンノイズ個のの iid サンプルからおよびを求める問題
![Page 5: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/5.jpg)
Deterministic ICAモデル
: 観測変数: 個の独立成分: 混合行列: ノイズ個の系列 からおよびを求める問題ただし, Assumption 2.1 + Assumption 2.3
![Page 6: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/6.jpg)
なぜ DICA か
線形混合信号 Mix. 1, Mix. 2 から元の信号を復元
時系列データを独立成分へ分解
元の信号は時系列データ• iidサンプルではない ICA 仮定が満たされない
![Page 7: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/7.jpg)
なぜ DICA か時系列データを独立成分へ分解
提案手法 (DICA) は既存手法 (FastICA, HKICA) に比べ元の信号をうまく復元できる
![Page 8: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/8.jpg)
どの範囲まで扱えるのか?Assumption 2.1• は漸近的に経験期待値 0• の構造が簡単 ( ガウスノイズでなくてもよい )• 2,3 次元モーメントが抑えられている• 尖度が漸近的に 0
Assumption 2.3• は漸近的に 4 次モーメントまで独立
𝑠(1) 𝑠(2) 𝑠(3) 𝑠(4) 𝑠(5)マルコフ性を持つような扱うことが可能
![Page 9: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/9.jpg)
HKICA アルゴリズム [Hus+ 2013]
行列の固有ベクトルがスケールしたと一致
ただし, が互いに異なるの番目の列ベクトル
を生成を経験評価
![Page 10: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/10.jpg)
HKICA の DICA 設定での解析
ならば
![Page 11: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/11.jpg)
HKICA の DICA 設定での解析
ならばサンプルが十分にあるが十分独立と見なせる
ICA 設定なら
![Page 12: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/12.jpg)
HKICA の DICA 設定での解析
ならばサンプルが十分にあるが十分独立と見なせる
アルゴリズムに依存するパラメータその他は問題にのみ依存
![Page 13: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/13.jpg)
DICA アルゴリズムHKICA 収束速度はに大きく依存は問題設定によるためをコントロールできない
をコントロールしやすい行列に置き換えられないか?
![Page 14: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/14.jpg)
DICA
すると, が対角行列かつ計算量は
をコレスキー分解
をもとにを計算
![Page 15: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/15.jpg)
DICA の解析結果
ならば
![Page 16: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/16.jpg)
DICA の解析結果
ならばサンプルが十分にあるが十分独立と見なせる
ICA 設定ならば
![Page 17: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/17.jpg)
よりはやくなる ?
線形混合信号 Mix. 1, Mix. 2 から元の信号を復元
時系列データを独立成分へ分解
は元の信号やノイズに依存
![Page 18: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/18.jpg)
その他の改良方法• 再帰バージョン• を求める際に再帰的なアルゴリズムを用いる• の推定誤差を減らすことができる
• Modified DICA• DICA にの推定誤差を減らす工夫を取り入れたもの
![Page 19: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/19.jpg)
実験• 6 次元の信号の人工データ• を複数用意 : • にくらべはが大きい• また, 対角行列も用意
•元の信号• ランダムにを設定した信号• 周期の異なるサイン波
• 信号•サンプル数
![Page 20: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/20.jpg)
実験結果𝐴1𝑅
ノイズの大きさ 大きい小さい
大きい
エラー
が小さい場合 FastICA の性能が良いが小さい場合 FastICA の性能が良い
![Page 21: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/21.jpg)
実験結果𝐴3𝐴2 𝐴4
ノイズやが大きくなると再帰版の修正 DICAが一番よくなるノイズやが大きくなると再帰版の修正 DICAが一番よくなる
![Page 22: 論文紹介 Deterministic Independent Component Analysis](https://reader034.vdocuments.mx/reader034/viewer/2022050614/5886d37c1a28ab776a8b4d79/html5/thumbnails/22.jpg)
まとめ• Deterministic ICA• iid でないような時系列データにも対応した ICA• ガウシアンノイズ出なくてもよい
• DICA アルゴリズム• コレスキー分解を使って HKICA を改良• 再帰版や修正版によって高い性能