(1)

部分空間法とパターン認識

～ 世界を部分空間で理解する～

堀田政二 (東京農工大学)s-hotta� .tuat.a .jp第 44 回 GRL 浜松セミナー2014年 2月 24日

(2)

講演内容I 自己紹介と大学の仕事についてI 最近の研究内容（当日参加された方々のみ）Iメイク顔推定Iマンガの解析I 部分空間法のお話し

※ スライドは難しく見えますが，デモも絡めて易しく喋りますMATLABや O tave, S ilabを使っている人は下記も参照するといいでしょうhttp://www.tuat.a .jp/~s-hotta/RSJ2012/http://www.tuat.a .jp/~s-hotta/ss2010/http://www.tuat.a .jp/~s-hotta/ss2008/I お知らせ

(3)

自己紹介

詳しくはウェブでhttp://www.tuat.a .jp/~s-hotta/

(4)

大学の外と中

���������

������ �

�������

�����

�������������

��� ��� �� � !"

#$%&'()

��*+,-+,-

./0123456)�

78

(5)

大学教員の仕事

(15)

鏡像を考慮した単峰ガウス分布と部分空間法

部分空間法I学習: 驚きの小さい低次元の空間 (部分空間) をクラスごとに求めるI認識: 未知パターンを最も驚き (誤差) の小さいクラスへ分類する

IJKLMNOPQRSTUVWXYZ[\]^_`abc

de

fg

h5

i

jkQR

lll1j

c 2jc+ jrc+

lll1kc 2kc+ krc+

m=

fgnoh=

pqIXhSrsXtuv

(16)

エントロピー最小化と幾何学的解釈I学習: クラス毎にエントロピーが最小となるような部分空間軸を求めるminui � dXi=1 p(ui) log p(ui)I認識: 次元削減 +内積演算Pri=1 wi(u>i x)2 が最大となるクラスへ xを分類

1u2u

x

x−

xTjU

(17)

本講演の要点と部分空間法の開発者

要点: ベイズ決定則と部分空間法との関係を示す& 統計的に拡張P (!jjx) = P (!j)p(xj!j)p(x) � kW 12U>j xk2I 40年以上誰も明文化できなかった& 11年間の念願I 理論的な改良・拡張が可能に飯島泰蔵 (1925- )東京工業大学電気工学科卒

視覚パターン認識に関する統一的基礎理論の構築

超高性能 OCR\ASPET/71" の研究開発電総研 & 東芝による国家プロジェクト (通産省)北陸先端大大学院大学名誉教授等を歴任

渡辺慧 (1910-1993)東京帝国大学理学部物理学科卒

ド・ブロイのもとでドクトル・デタ (国家博士) 取得エントロピー概念の情報理論への応用 (シャノンより先)\ルネサンス人の最後の一人" とも称されるハワイ大学名誉教授，国際時間学会会長等を歴任

(18)

部分空間法の誕生の経緯I 飯島先生: テンプレートマッチングの拡張I 渡辺先生: エントロピー最小化の枠組みから導出部分空間法の問題点I ベイズ決定則との関連性が不明瞭P (!j jx) = P (!j)p(xj!j)p(x)

これが分かれば・・・I 部分空間法を深く理解可能にI 統計的な側面からの拡張が可能に

(19)

根本となる奇妙な分布

陰と陽を一つのガウス分布で表現したものを p(xj!j)とする

(20)

鏡像を考慮したガウス分布に対する最尤推定!jにおける多次元ガウス分布N (xj�j ;�j) = 1(2�) d2 j�j j 12 exp��12(x� �j)>��1j (x� �j)�I �j : d� 1の母平均I �j: d� dの母分散共分散行列これらを与えられた訓練標本だけで最尤推定で推定すると部分空

間法は導出できない +xiの零元に関する鏡像 �xiを含めて最尤推定

(21)鏡像を含めた訓練標本に (クラス毎に) ガウス分布を当てはめる

(22)

最尤推定の結果�̂j = 0; �̂j = Rj，ただしRj = 1nj Pnji=1 xix>i

N (xj�̂j ; �̂j) = 1(2�)d=2jRj j1=2 exp��12x>R�1j x�

(23)

最大事後確率則から部分空間法を導く

以下をモデルとした最大事後確率則を考えるN (xj�̂j ; �̂j) = 1(2�)d=2jRj j1=2 exp��12x>R�1j x�+対数をとり事前確率が等しいと仮定した場合の識別関数gj(x) = �k�� 12j U>j xk2 �Pdi=1 ln�jiただしRj = Uj�jU>j で固有値は降順にソート

(24)

自己相関行列の固有値について考えるgj(x) = �k�� 12j U>j xk2 �Pdi=1 ln�jiI 固有値は対応する固有ベクトルに xiと�xiを正射影したものの分散 (これまでに指摘されていない)I 普通の標本分散共分散行列の固有値よりも大きくなりがちI 第二項は全クラスで固有値が等しければ省略可能+固有値の値は信頼しないで大小関係のみが重要であると仮定(統計の分野では良く用いられる仮定)

(25)

固有値の代わりにw1 � w2 � � � � � wd > 0を導入gj(x) = �kW� 12U>j xk2 = �Pdi=1 1wi (u>jix)20

x

xuTji

22)( T xux ji−

jiu

x

重みの小さな成分を重視 ) 次元削減できない醜い家鴨の仔の定理)重要な固有ベクトルに対して大きな価値

を与える

(26)

1=w1 � 1=w2 � � � � � 1=wd > 0) w1 � w2 � � � � � wd > 0と(特徴の持つ価値を) 変更してマイナスを掛け，wiの大きい次元のみで分類すれば・・・

部分空間法

識別関数: Sj(x) =Pri=1wi(u>jix)2 = kW 12U>j xk2 = w> j識別則:　 Sj(x)が最大となるクラスへ xを分類

ここまでの議論で明らかになったことや予想できることI 重みが小さい成分を無視できるI 重みは非増加であれば何でも良いI 零元 (全クラス共通の原点) 付近は誤分類が起きやすい

(27)

重みの決め方I CLAFIC: wi = 1 (i = 1; :::; r)I 複合類似度: wi = �ji=�j1I 本発表: wi = r � i+ 1 (i = 1; :::; r)dimensionality rdimensionality r

CLAFIC

multiplesimilarity

proposedwei

ght v

alue

(28)

なぜ直線でよいのか？Sj(x) = rXi=1(r � i+ 1)(u>jix)2= r(u>j1x)2 + (r � 1)(u>j2x)2 + � � �+ (u>jrx)2= rXi=1(u>jix)2 + r�1Xi=1(u>jix)2 + � � �+ (u>j1x)2I 重みの大きい成分の強調と重みの小さい成分の抑制I 部分空間の次元ごとの類似度の総和I テンプレートベースのアンサンブル学習

(29)

手書き数字MNISTを用いた実験0 50 100 150 200

88

90

92

94

96

98

dimensionality rdimensionality r

linear subspace classifier

CLAFIC

multiple similarity

me

an c

lass

acc

urac

y [%

]

I 横軸が部分空間の次元数 r，縦軸がクラス平均認識率I 飯島・渡辺方式よりも認識率が高く rに敏感でない

(30)

零元付近の影響について

target image (a) (b) (c)I 32� 32ピクセルの猫 �猫以外の画像をそれぞれ 7658枚準備I 特徴量は輝度値，各クラスで 50次元の部分空間を構築I (a) 原点移動なしI (b) ネガ画像に不変な原点移動I ( ) 各クラスの平均の平均を原点にした場合

(31)

猫大好き

上段：eigen猫．下段：猫顔の検出結果

(32)

複合部分空間法 (CSC) の導出Iベイズ決定則から部分空間法を導出できることからIベイズ決定則の拡張である複合決定問題からも部分空間法を導出できIその結果，複数の特徴量・複数の未知サンプルの分類が可能となるCompound Subspa e Classi�er, Cosmopolitan S heme forCognition (CSC)P (!jX) = P (!)p(Xj!)P! P (!)p(Xj!) � nXk=1 TXf=1 rXi=1 fwi(fu>i fxk)2I画像認識以外の問題にも適用可能な汎用的手法I Multiple Kernel Learning と同程度の認識率で高速に学習・認識が可能

(33)

複合決定問題 ( ompound Bayesian de ision problem)P (!jX) = P (!)p(Xj!)P! P (!)p(Xj!)I 連続して観測された n個の標本: X = (x1jx2j � � � jxn)I n個の状態 ( ontext): ! = (!(1); :::; !(n))>各 xi に対応する !(i)を統計的独立性を仮定しないで決定する問題

wxy wxyz{| z{| 大阪府環境農林水産総合研究所

(34)

複合決定問題 ( ompound Bayesian de ision problem)P (!jX) = P (!)p(Xj!)P! P (!)p(Xj!)I !の組み合わせが nもあるI p(Xj!)の推定も困難 +下記の仮定と鏡像を含むガウス分布を用いて三種類のCSCを導出I xi が全て同じクラスに由来すると仮定I 一つの未知標本から T 個の特徴量を抽出した場合I 上記の組み合わせ

(35)

複数の未知標本を分類するためのCSCn個の x1; :::;xnが同じクラスに由来し，i.i.d. に従うと仮定P (!jjX ) = P (!j) nYi=1 p(xij!j) Xj=1 P (!j) nYi=1 p(xij!j)クラス毎に鏡像を含めた単峰ガウス分布を用いれば

複数の同じクラスに由来する未知標本を分類するための部分空間法Sj(X ) = nXi=1 rXl=1 wl(u>jlxi)2 = nXi=1 kW 12U>j xik2 = nXi=1 Sj(xi)

(36)

複数の特徴量に基づくCSCxから T 種類の特徴量が抽出された時P (!jjF) = P (!j) TYf=1 pf (fxj!j) Xj=1 P (!j) TYf=1 pf (fxj!j)特徴量 �クラスごとに鏡像を含めた単峰ガウス分布を用いれば複数の特徴量を用いて分類するための部分空間法 (f 毎に正規化必要)Fj(F) def= TXf=1 rfXl=1 fwl(fu>jl fx)2 = TXf=1 kfW 12 fU>j fxk2 = TXf=1 fSj(fx)

(37)

複数標本 �特徴量に基づくCSCn個の未知標本X から T 種類の特徴量が抽出された時P (!j j �X ) = P (!j) TYf=1 nYi=1 pf (fxij!j) Xj=1 P (!j) TYf=1 nYi=1 pf (fxij!j)特徴量 �クラスごとに鏡像を含めた単峰ガウス分布を用いれば複数の未知標本を複数の特徴量を用いて分類するための部分空間法Cj( �X ) def= TXf=1 nXi=1 fSj(fxi)

(38)I未知画像は 15枚，訓練画像は 5 � 30まで 5刻みで変化，ROI，SELFIC有I IMG: 32 � 32 (pixel モノクロ) 画像の輝度値I EDG: 32 � 32画像のエッジ強度I HOG180: 64 � 64画像の 180度 HOGI HOG360: 64 � 64画像の 360度 HOGI PHOG180: 128� 128画像の 180度 PHOG (平方根変換)I PHOG360: 128� 128画像の 360度 PHOG (平方根変換)I SS: 32 � 32画像の self-similarity特徴量I GIST: 128� 128画像の gist特徴量

(39)} ~ �} �~ �} �~ �} �~�}�}�}~}�}�}�}

�����������}�����}������}������}�������

# training samples

me

an c

lass

acc

ura

cy [

%]

訓練画像数 MKL (主流) LP-beta (世界最高) CSC (提案手法)5 46:5� 1:1 59:5� 0:2 55:3 � 0:810 59:2� 0:5 69:2� 0:4 64:4 � 0:815 66:0� 0:9 74:6� 1:0 69:1 � 1:420 70:8� 0:9 77:6� 0:3 71:6 � 1:225 74:3� 0:8 79:6� 0:4 73:6 � 0:930 77:7� 0:5 82:1� 0:3 74:5 � 0:7

(40)# training samples

mea

n cl

ass

accu

racy

[%

]

CSCwith 1 test image

CSCwith 15 test images

5 10 15 20 25 30

55

60

65

70

75

80

85

90

95

100

訓練画像数が 25のときの誤認識の内訳 orre t lass ! obtained lass 誤認識の回数 =10試行fa es ! easy_fa es 5=10easy_fa es ! fa es 7=10wild_ at ! leopards 5=10lotus ! water-lilly 1=10

(41)

本講演の要点

本講演の要点

鏡像を含めた単峰ガウス分布をモデルとして用いることで，部分

空間法の理論的な側面を垣間見たI 自己相関行列と共分散行列の固有値，固有ベクトルの意味は異なるI 部分空間法とベイズ決定則の関係を示す事は可能I 複数の標本 �特徴が与えられた場合の識別則の紹介

応用先I 動画像のクラス分類，画像認識，音声認識I 多重バイオメトリクス，行動履歴に基づく個人認証

(42)

お知らせMIRU2014https://sites.google. om/site/miru2014okayama/MIRU2014で検索!