Training of Classifiers Training of Classifiers Using Virtual Samples Using Virtual Samples

OnlyOnlyA. Kuhl, L. Krüger, C. Wöhler, U. KreßelA. Kuhl, L. Krüger, C. Wöhler, U. Kreßel

(2004) Proc. of ICPR ’04(2004) Proc. of ICPR ’04

二宮 崇中川研　東大

機械学習勉強会 2008 年 11 月 13 日1

paperspapers

A. Kuhl, L. Krüger, C. Wöhler, U. Kreßel (2004) Training of Classifiers Using Virtual Samples Only, in Proc. of ICPR ’04

村瀬洋 (2004) 画像認識における生成型学習 , 電子情報通信学会　信学技報 (Tech repo. of IEICE)

2

CGCG 技術技術

3

画像認識のためのサンプル生成画像認識のためのサンプル生成

CG 技術で大量の正解データを生成カメラの向き /位置を変えるオブジェクトの向き /色 /形状を変える光の当て方を変える

4

Training of Classifiers Using Virtual Training of Classifiers Using Virtual Samples Only (Kuhl+2004)Samples Only (Kuhl+2004)

ギアボックスのフランジのタイプを同定穴の数と位置がわかると同定できるので画像

中の穴を検出する

5

本物の写真 CG

Training of Classifiers Using Virtual Training of Classifiers Using Virtual

Samples Only Samples Only ((Kuhl+2004Kuhl+2004))全体の流れ

6

CADソフトから作られた大量の CG

識別器識別器

学習

候補生成器候補生成器

本物の写真

テスト

穴

ごみ

候補生成と識別器候補生成と識別器

候補生成入力 : フランジの画像出力 : 16x16 のビットマップによる穴の候補binary components algorithm (Murtagh+1978)

識別器SVM +polinomial kernelpolinomial classifier+PCA

7

識別器識別器候補生成器候補生成器

実験実験

レンダリングソフト レイトレーシングソフト POVRay (http://www.povray.org)

データセット 8824 の仮想サンプル (CG 画像 )

全体の光量 フランジの回転 表面 ( 画像 ?) の色の濃さ (surface gray level) 位置 ブラー効果

887 の実サンプル

8実画像の穴 実画像のごみ (=穴以外 )

Surface Gray LevelSurface Gray Level

9

BlurringBlurring

10

実験結果実験結果

SVM のエラーレート SVM (linear, 位置と光量の変化なし ): 約 5% SVM (linear, 全ての変化あり ): 3.5% SVM (4 次の多項式カーネル , 全ての変化あり ):

1.6% SVM (2 次の多項式カーネル , 全ての変化あり ):

classification rate が 98.2% linear classifier+PCA

256 素性 (no PCA): あまりいい結果でなかった 50 素性 (by PCA): classification rate が約 95% 20 素性 (by PCA): classification rate が 97.5%

11

ROCROC 曲線曲線

12

正解 P N P P N P P N N P

識別器の出力 P P P P N N P N P P

P (穴 ) N (ごみ )

P (穴 ) 5 (5/6) TP 1 (1/6) FN

N (ごみ ) 2 (2/4) FP 2 (2/4) TN

識別器の出力

正解

TP

FP

100%

100%

穴を穴と判定した率

ごみを穴と判定した率

SVMSVM でのでの ROCROC カーブカーブ

13

Linear Polynomial ClassifierLinear Polynomial Classifier でのでの ROCROCカーブカーブ

14

研究の文脈研究の文脈正規化

サンプル生成

15

Aサンプル

入力

AAA

Aサンプル

正規化照合

入力照合

研究の文脈研究の文脈 村瀬による分類 ( 村瀬 2004 「画像認識における生成型学習」 )

正規化法 入力画像を前処理によって正規化して、標準パターンやモデルと照合する

生成型学習 微少な変動を学習パターンに加える 生成関数を用いた生成 ( ぼけを加えるなど ) 補間 ( サンプル間の補間を生成 ) アフィン変換と補間 ( はさみなどを動かした時の補間 ) 標準パターンの動的な生成

16

アフィン変換と補間アフィン変換と補間

Learning by a Generation Approach to Appearance-based Object Recognition: H. Murase and S. K. Nayar, in Proc. of ICPR’96

17

そのほかの論文そのほかの論文 キーワード

virtual samples virtual examples noise injection

論文 A. Abu-Mostafa. Hints. Neural Computation, 7:639-671, 1995 G. An. The effects of adding noise during backpropagation training

on a generalization performance. Neural Computation, 7:613-674, 1996

S. Cho and K. Cha. Evolution of neural network training set through addition of virtual samples. International Conference on Evolutionary Computation, 1996

D. M. Gavrila and J. Giebel. Virtual sample generation for template-based shape matching. Proc. of IEEE Conference on Computer Vision and Pattern Recognition, 1:676-681, 2001

D. Pomerleau. Neural network perception for mobile robot guidance. Kluwer Academic Publishing, 1993

M. Skurichina, S. Raudys, R. P. W. Duin, K-nearest neighbours directed noise injection in multi-layer perceptron training

18