eigenboosting: combining discriminative and generative information

Eigenboosting:Combining Discriminative and

Generative Information

土屋成光2008/1/8

Eigenboosting

背景

• 認識，検出手法における問題• Training （訓練データ） -Recognition （実データ）

• 双方のノイズの影響

• 無関係な情報（ノイズ）に着目• ノイズに過敏な認識システムとなる可能性

Eigenboosting

従来法

Generative （生成モデル）• principal component analysis (PCA)• independent component analysis (ICA)

欠損，オクルージョンをカバー

Discriminative( 判別モデル )• クラス分類手法• linear discriminant analysis (LDA)• support vector machines (SVM)• Boosting

Generative に比較して高精度 (bag-of-keypoint など )

現実にはこれらが多く用いられる

Eigenboosting

両手法の相違点

サンプルの分布による変化

Eigenboosting

Discriminative モデルの問題点

トレーニングに対する性能≠実データに対する性能Ex. ノイズ，オクルージョン

非常に多数のラベル付きデータが必要

Eigenboosting

Eigenboosting （ CVPR2007 ）

Combining Discriminative and Generative Information• 判別，識別のための特徴と生成モデルの融合• Helmut Grabner ら　（ Graz University 独）

• Discriminative• Haar-like 特徴の組み合わせ

• Generative• Haar-like による固有画像

Eigenboosting

基礎技術

DiscriminativeBoosting による特徴選別

GenerativePCA によるモデル近似

Eigenboosting

問題

弱識別器

強識別器

Boosting(AdaBoost)

Eigenboosting

PCA

入力画像

　　→固有ベクトルに写像（固有値問題の解，特異値分解）

K 個で元の画像を近似

Eigenboosting

Eigenboosting

Discriminative/Generative を共に考慮

Low レベルな特徴（ Haar-like ）を使用

DiscriminativeGenerative

• 両方で使用可能

Eigenboosting

Haar-like 特徴の利用

DiscriminativeHaar-like の boosting強力な Discriminative 識別器 (Viola など )

GenerativeHaar-like を用いて固有画像（ Eigenimage ）を近似

• BPCA

Eigenboosting

Haar-like による近似

PCA

得られる基底直交していない実用上問題ない精度で近似可能

Eigenboosting

Eigenboosting

BoostingFeature pool より特徴選択 (discriminative)並行して固有画像を生成 (generative)双方を評価

Eigenboosting

Mofdified boosting error-function

Discriminative Generative

パラメタにより両モデルを考慮

弱識別器

Eigenboosting

Discriminative error

弱識別器

全サンプルに対するエラー

Eigenboosting

Generative error

　　のエラー 　　以外を使った際の近似誤差

すべてを使った近似誤差より減算

全サンプルについて考慮， 2 値化

Eigenboosting

Experiments

データセットATT databaseUIUC Image Database

再構築実験Haar-like+BPCA による再構築

• BPCA と再現率を比較識別実験

ノイズを付与 ををををををををををををを

Eigenboosting

再構築実験

Haar-like+BPCA による復元の頑健さ(a) 入力画像(b)BPCA

(c)Eigenboosting

欠落を補正

Eigenboosting

識別実験： ATT ノイズなし

ROC カーブによる評価ノイズなしDiscriminative な情報のみ（ β=1 ）が最大

Eigenboosting

識別実験： ATT ノイズあり

ROC カーブによる評価ノイズありD-G 双方を考慮（ β=0.5 ）することで性能の低下を防止

Eigenboosting

識別実験： β に対する識別性能の変化

EER誤検出率 = 未検出率の際の誤識別率

ノイズなしβ 大

• 最大の識別性能ノイズあり

β=0.5 付近• 最大の識別性能

Generative な情報ノイズに頑健

Eigenboosting

弱識別器群の例

(a)β=1

(b)β=0.5

(c)β=0

β 大→多くの弱識別器がノイズを使用β 小→大まかな弱識別器が顕著

Eigenboosting

おわりに

EigenboostingGenerative な要素を考慮ノイズに対し頑健Low レベルな特徴を使用（ Haar-like ）

Eigenboosting

2 値フィルタを用いた近似

線形結合で表現

BPCAF. Tang and H. Tao. Binary principal component analysis.

In Proc. British Machine Vision Conf., volume I, pages 377-386, 2006.

Eigenboosting

BPCA

(a)PCA

(b)BPCA

(c)BPCA with Block

Eigenboosting

AdaBoost - Y.Freund and R.E.Schapire at 1997 –

T 個の識別器の重み付き多数決

AdaBoost 識別器の構築

``A decision-theoretic generalization of on-line learning and an application to boosting",Journal of Computer and System Sciences, 1997.

T 回繰り返す

Eigenboosting

強識別器

弱識別器の集合による重みつき多数決