eigenboosting: combining discriminative and generative information
DESCRIPTION
Eigenboosting: Combining Discriminative and Generative Information. 土屋成光 2008/1/8. 背景. 認識,検出手法における問題 Training (訓練データ) -Recognition (実データ) 双方のノイズの影響 無関係な情報(ノイズ)に着目 ノイズに過敏な認識システムとなる可能性. 従来法. Generative (生成モデル) principal component analysis (PCA) independent component analysis (ICA) - PowerPoint PPT PresentationTRANSCRIPT
Eigenboosting:Combining Discriminative and
Generative Information
土屋成光2008/1/8
Eigenboosting
背景
• 認識,検出手法における問題• Training (訓練データ) -Recognition (実データ)
• 双方のノイズの影響
• 無関係な情報(ノイズ)に着目• ノイズに過敏な認識システムとなる可能性
Eigenboosting
従来法
Generative (生成モデル)• principal component analysis (PCA)• independent component analysis (ICA)
欠損,オクルージョンをカバー
Discriminative( 判別モデル )• クラス分類手法• linear discriminant analysis (LDA)• support vector machines (SVM)• Boosting
Generative に比較して高精度 (bag-of-keypoint など )
現実にはこれらが多く用いられる
Eigenboosting
両手法の相違点
サンプルの分布による変化
Eigenboosting
Discriminative モデルの問題点
トレーニングに対する性能≠実データに対する性能Ex. ノイズ,オクルージョン
非常に多数のラベル付きデータが必要
Eigenboosting
Eigenboosting ( CVPR2007 )
Combining Discriminative and Generative Information• 判別,識別のための特徴と生成モデルの融合• Helmut Grabner ら ( Graz University 独)
• Discriminative• Haar-like 特徴の組み合わせ
• Generative• Haar-like による固有画像
Eigenboosting
基礎技術
DiscriminativeBoosting による特徴選別
GenerativePCA によるモデル近似
Eigenboosting
問題
弱識別器
強識別器
Boosting(AdaBoost)
Eigenboosting
PCA
入力画像
→固有ベクトルに写像(固有値問題の解,特異値分解)
K 個で元の画像を近似
Eigenboosting
Eigenboosting
Discriminative/Generative を共に考慮
Low レベルな特徴( Haar-like )を使用
DiscriminativeGenerative
• 両方で使用可能
Eigenboosting
Haar-like 特徴の利用
DiscriminativeHaar-like の boosting強力な Discriminative 識別器 (Viola など )
GenerativeHaar-like を用いて固有画像( Eigenimage )を近似
• BPCA
Eigenboosting
Haar-like による近似
PCA
得られる基底直交していない実用上問題ない精度で近似可能
Eigenboosting
Eigenboosting
BoostingFeature pool より特徴選択 (discriminative)並行して固有画像を生成 (generative)双方を評価
Eigenboosting
Mofdified boosting error-function
Discriminative Generative
パラメタにより両モデルを考慮
弱識別器
Eigenboosting
Discriminative error
弱識別器
全サンプルに対するエラー
Eigenboosting
Generative error
のエラー 以外を使った際の近似誤差
すべてを使った近似誤差より減算
全サンプルについて考慮, 2 値化
Eigenboosting
Experiments
データセットATT databaseUIUC Image Database
再構築実験Haar-like+BPCA による再構築
• BPCA と再現率を比較識別実験
ノイズを付与 ををををををををををををを
Eigenboosting
再構築実験
Haar-like+BPCA による復元の頑健さ(a) 入力画像(b)BPCA
(c)Eigenboosting
欠落を補正
Eigenboosting
識別実験: ATT ノイズなし
ROC カーブによる評価ノイズなしDiscriminative な情報のみ( β=1 )が最大
Eigenboosting
識別実験: ATT ノイズあり
ROC カーブによる評価ノイズありD-G 双方を考慮( β=0.5 )することで性能の低下を防止
Eigenboosting
識別実験: β に対する識別性能の変化
EER誤検出率 = 未検出率の際の誤識別率
ノイズなしβ 大
• 最大の識別性能ノイズあり
β=0.5 付近• 最大の識別性能
Generative な情報ノイズに頑健
Eigenboosting
弱識別器群の例
(a)β=1
(b)β=0.5
(c)β=0
β 大→多くの弱識別器がノイズを使用β 小→大まかな弱識別器が顕著
Eigenboosting
おわりに
EigenboostingGenerative な要素を考慮ノイズに対し頑健Low レベルな特徴を使用( Haar-like )
Eigenboosting
2 値フィルタを用いた近似
線形結合で表現
BPCAF. Tang and H. Tao. Binary principal component analysis.
In Proc. British Machine Vision Conf., volume I, pages 377-386, 2006.
Eigenboosting
BPCA
(a)PCA
(b)BPCA
(c)BPCA with Block
Eigenboosting
AdaBoost - Y.Freund and R.E.Schapire at 1997 –
T 個の識別器の重み付き多数決
AdaBoost 識別器の構築
``A decision-theoretic generalization of on-line learning and an application to boosting",Journal of Computer and System Sciences, 1997.
T 回繰り返す
Eigenboosting
強識別器
弱識別器の集合による重みつき多数決