miru2011 os1-2 拡張ペアワイズ表現を用いた一般化多変量解析
DESCRIPTION
MIRU2011で用いた発表資料を公開致します.TRANSCRIPT
![Page 1: MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析](https://reader036.vdocuments.mx/reader036/viewer/2022082309/54b6de8a4a7959703e8b4833/html5/thumbnails/1.jpg)
拡張ペアワイズ表現を用いた一般化多変量解析
木村昭悟(1), 杉山将(2),亀岡弘和(1,3), 坂野鋭(1)
(1) 日本電信電話(株) コミュニケーション科学基礎研究所(2) 東京工業大学 大学院情報理工学研究科
(3) 東京大学 大学院情報理工学系研究科
![Page 2: MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析](https://reader036.vdocuments.mx/reader036/viewer/2022082309/54b6de8a4a7959703e8b4833/html5/thumbnails/2.jpg)
あらまし
NTT Communication Science Laboratories2
数多くの多変量解析を俯瞰するシンプル かつ コンパクトな表現を示します 【標準的手法】 PCA,判別分析,線形回帰,CCA etc.
【局所性導入】 多次元尺度法,局所性保存射影 etc.
【正則化】 L2ノルム正則化,graph Laplacian etc.
【カーネル】 カーネルPCA,カーネルFDA etc.
【半教師化】 SELF,SemiCCA etc.
![Page 3: MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析](https://reader036.vdocuments.mx/reader036/viewer/2022082309/54b6de8a4a7959703e8b4833/html5/thumbnails/3.jpg)
もくじ
NTT Communication Science Laboratories3
1. 拡張ペアワイズ表現とは?
2. 拡張ペアワイズ表現が持つ意味 既存手法との対応関係を見ながら説明します
3. まとめ
![Page 4: MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析](https://reader036.vdocuments.mx/reader036/viewer/2022082309/54b6de8a4a7959703e8b4833/html5/thumbnails/4.jpg)
もくじ
NTT Communication Science Laboratories4
1. 拡張ペアワイズ表現とは?
2. 拡張ペアワイズ表現が持つ意味 既存手法との対応関係を見ながら説明します
3. まとめ
![Page 5: MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析](https://reader036.vdocuments.mx/reader036/viewer/2022082309/54b6de8a4a7959703e8b4833/html5/thumbnails/5.jpg)
一般化レイリー商で表現される多変量解析
一般化固有値問題で表現される多変量解析
多変量解析の定式化
NTT Communication Science Laboratories5【注】 詳細な導出は「 slideshare _akisato kernel PCA 」 で検索!
ラグランジュ未定乗数法
強調したい
抑制したい
![Page 6: MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析](https://reader036.vdocuments.mx/reader036/viewer/2022082309/54b6de8a4a7959703e8b4833/html5/thumbnails/6.jpg)
これから述べたいこと
NTT Communication Science Laboratories6
行列 を 拡張ペアワイズ表現 で書くと,多変量解析を俯瞰できる枠組が作れます.
データ依存項 データ独立項拡張ペアワイズ表現
![Page 7: MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析](https://reader036.vdocuments.mx/reader036/viewer/2022082309/54b6de8a4a7959703e8b4833/html5/thumbnails/7.jpg)
拡張ペアワイズ表現 3つの「うまみ」
NTT Communication Science Laboratories7
PCA,FDA,MLR,CCA 等を統一した形式で記述できる
正則化を導入することができる
様々な2次統計量を重ね合わせて用いることができる→ 半教師付き解析への拡張
![Page 8: MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析](https://reader036.vdocuments.mx/reader036/viewer/2022082309/54b6de8a4a7959703e8b4833/html5/thumbnails/8.jpg)
相互共分散行列 (平均=0 を仮定)
共分散行列は相互共分散行列の特殊例
サンプル間類似性を考慮した2次統計量
: 相互共分散行列と一致
共分散行列とその拡張
NTT Communication Science Laboratories8
![Page 9: MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析](https://reader036.vdocuments.mx/reader036/viewer/2022082309/54b6de8a4a7959703e8b4833/html5/thumbnails/9.jpg)
サンプル間類似性を考慮した2次統計量
2次統計量のペアワイズ表現 [Sugiyama+ 2010]
ペアワイズ表現 (PE)
NTT Communication Science Laboratories9
和の中の積を展開
【注】 詳細な導出は 「Masashi Sugiyama SELF」 で検索!
![Page 10: MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析](https://reader036.vdocuments.mx/reader036/viewer/2022082309/54b6de8a4a7959703e8b4833/html5/thumbnails/10.jpg)
ペアワイズ表現の自然な拡張
形式上は類似度行列を意識する必要はない
上記の表現を,2次統計量の拡張ペアワイズ表現 と呼ぶ.
拡張ペアワイズ表現 (EPE)
NTT Communication Science Laboratories10
Qに独立な項を導入
データ依存項 データ独立項
![Page 11: MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析](https://reader036.vdocuments.mx/reader036/viewer/2022082309/54b6de8a4a7959703e8b4833/html5/thumbnails/11.jpg)
もくじ
NTT Communication Science Laboratories11
1. 拡張ペアワイズ表現とは?
2. 拡張ペアワイズ表現が持つ意味 既存手法との対応関係を見ながら説明します
3. まとめ
![Page 12: MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析](https://reader036.vdocuments.mx/reader036/viewer/2022082309/54b6de8a4a7959703e8b4833/html5/thumbnails/12.jpg)
標準的手法の拡張ペアワイズ表現
Presented by Akisato Kimura in MIRU201112
主成分分析 (PCA)
線形回帰分析 (MLR)
正準相関分析 (CCA)
データ依存項の典型例
データ独立項の典型例
![Page 13: MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析](https://reader036.vdocuments.mx/reader036/viewer/2022082309/54b6de8a4a7959703e8b4833/html5/thumbnails/13.jpg)
データ依存項が持つ意味
NTT Communication Science Laboratories13
サンプル間類似性をどう評価するか? を決定 類似度行列を明示的に設定する必要はない
既存手法では,類似度行列を明示的に設定 例: 局所性保存射影 (LPP) [He,Niyogi 2004]
類似度: 近くはより近くに,遠くはより遠くに
![Page 14: MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析](https://reader036.vdocuments.mx/reader036/viewer/2022082309/54b6de8a4a7959703e8b4833/html5/thumbnails/14.jpg)
データ独立項が持つ意味
NTT Communication Science Laboratories14
正則化を取り込むことが主要な目的 例: リッジ回帰 (MLR with L2ノルム正則化)
MLRと異なるのはここだけ!
![Page 15: MIRU2011 OS1-2 拡張ペアワイズ表現を用いた一般化多変量解析](https://reader036.vdocuments.mx/reader036/viewer/2022082309/54b6de8a4a7959703e8b4833/html5/thumbnails/15.jpg)
まとめ
NTT Communication Science Laboratories15
2次統計量を拡張ペアワイズ表現を用いて表現することで,多変量解析を俯瞰できます.
データ依存項 データ独立項拡張ペアワイズ表現