cvpr2015読み会-global refinement of random forest
TRANSCRIPT
![Page 1: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/1.jpg)
Global Refinement of Random Forest
@51Takahashi
![Page 2: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/2.jpg)
自己紹介 CVPR2015読み会
2
• さのまる
• @51Takahashi
• 専門は顔の画像処理
![Page 3: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/3.jpg)
著者紹介 CVPR2015読み会
3
• S. Ren, Xudong Cao, Yichen Wei, Jian Sun
– MSRAのすごいひとたち
![Page 4: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/4.jpg)
著者紹介 CVPR2015読み会
4
• S. Ren, Xudong Cao, Yichen Wei, Jian Sun
– MSRAのすごいひとたち
• Jian Sunの研究グループの論文紹介(◎は勉強会で発表あり)
– Deep learning
– Delving deep into rectifiers: Surpassing human-level performance on ImageNet
classification(arXiv2015)
– Convolutional neural networks at constrained time cost(CVPR2015)
– 近似最近傍探索
– Sparse projections for high-dimensional binary codes(CVPR2015)
– Optimized product quantization(TPAMI2014, CVPR2013)
– Joint inverted indexing(ICCV2013)◎
– 手指姿勢推定
– Cascaded hand pose regression(CVPR2015)
– Realtime and robust hand tracking from depth(CVPR2014)
– 顔特徴点検出
– Face alignment at 3000 fps via regressing local binary features(CVPR2014)◎
– Face alignment by explicit shape regression(IJCV2014, CVPR2012)◎
![Page 5: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/5.jpg)
概要
Global refinement of random forest
• 何の研究?
– ランダムフォレスト(分類・回帰)
• 何したの?
– 学習済ランダムフォレストのリファインメント手法を提案
• 提案手法は?
– ランダムフォレストをSVMまたはSVRとして扱います
– いらない枝を刈ります
• どうなったの?
– 高精度になりました
– 超省メモリになりました
– 速さは不明
CVPR2015読み会
5
![Page 6: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/6.jpg)
分類問題
• 分類したいデータを二分木に入力 ⇒ 結果 1(正例)
木 CVPR2015読み会
6
1 -1 -1 1
![Page 7: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/7.jpg)
分類問題
• 分類したいデータをランダムフォレストに入力 ⇒ 結果 1(正例)
ランダムフォレスト CVPR2015読み会
7
-1 1 -1 1 1 -1 -1 1 -1 1 -1 1
Ave 0.33
![Page 8: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/8.jpg)
ランダムフォレスト? CVPR2015読み会
8
0 1 0 0 0 0 0 1 0 0 1 0
発想の転換
• ランダムフォレストってバイナリ特徴と重みの積和だよね
-1 1 -1 1 1 -1 -1 1 -1 1 -1 1
Ave 0.33
![Page 9: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/9.jpg)
ランダムフォレスト? CVPR2015読み会
9
0 1 0 0 0 0 0 1 0 0 1 0
発想の転換
• ランダムフォレストってバイナリ特徴と重みの積和だよね
Q. 構造そのままで重みを変えるだけで精度上がるのでは??
-1 1 -1 1 1 -1 -1 1 -1 1 -1 1
Ave 0.33
![Page 10: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/10.jpg)
ランダムフォレスト? CVPR2015読み会
10
0 1 0 0 0 0 0 1 0 0 1 0
発想の転換
• ランダムフォレストってバイナリ特徴と重みの積和だよね
Q. 構造そのままで重みを変えるだけで精度上がるのでは??
A. そもそもこの問題解くのSVMでいいじゃん
– 特徴量はスパースだから、liblinear使うとうまく解ける
-1 1 -1 1 1 -1 -1 1 -1 1 -1 1
Ave 0.33
![Page 11: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/11.jpg)
Global pruning
• なんだか重みが小さな枝がある・・・
Q. 重みの小さな枝はどうする??
その後 CVPR2015読み会
11
-1 0 -2 3 0 0 -2 1 -1 3 -4 1
![Page 12: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/12.jpg)
Global pruning
• なんだか重みが小さな枝がある・・・
Q. 重みの小さな枝はどうする??
A. 重みのノルムが下位10%の枝は刈り取ってしまおう
その後 CVPR2015読み会
12
-1 0 -2 3 0 0 -2 1 -1 3 -4 1
1 3.6 0 2.2 3.2 4.1
![Page 13: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/13.jpg)
Global pruning
• なんだか重みが小さな枝がある・・・
Q. 重みの小さな枝はどうする??
A. 重みのノルムが下位10%の枝は刈り取ってしまおう
その後 CVPR2015読み会
13
-1 0 -2 3 0 0 -2 1 -1 3 -4 1
1 3.6 0 2.2 3.2 4.1
![Page 14: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/14.jpg)
Global refinement of random forest
1. SVMを使って重みを再学習
2. 重みのノルムが下位10%の枝は刈り取る
3. 1と2を終了条件を満たすまで繰り返す
終了条件
A. 最もいい結果が得られたところで終了(Accurate)
E. 元のランダムフォレストと同じ性能になったら終了(Economic)
提案手法まとめ CVPR2015読み会
14
![Page 15: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/15.jpg)
結果の簡単な例 CVPR2015読み会
15
![Page 16: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/16.jpg)
評価実験
実験1:ベンチマーク
• MNISTなどのベンチマーク問題
• 分類5種類・回帰5種類
• 比較手法
– Alternating decision forest(ADF)[Schulter+, ICCV2013]
実験2:Kinect部位認識
• Kinectを使った20クラス分類問題
• 特徴量:2点間の差分特徴量
• 学習/テストデータ:デプス画像2000枚/500枚
実験3:顔年齢推定
• MORPH顔画像データセットで年齢を推定する回帰問題
• 特徴量:PCAで次元削減したLBP特徴量
• 学習/テストデータ: 顔画像10000枚/45134枚
CVPR2015読み会
16
![Page 17: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/17.jpg)
実験1:ベンチマークの詳細 CVPR2015読み会
17
![Page 18: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/18.jpg)
実験1:ベンチマークの結果 CVPR2015読み会
18
条件Aは高精度!・条件Eはコンパクト!
![Page 19: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/19.jpg)
実験2:Kinect部位認識の結果 CVPR2015読み会
19
![Page 20: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/20.jpg)
実験3:顔年齢推定の結果
• 作者の言い分
– [16]は顔特徴点検出したりしてtask-specificな手法だから高精度
– [6]と[15]はサブセットの結果だからちょっと違う
CVPR2015読み会
20
[Hu+, ICB2013]
[Chang+, CVPR2011]
[Guo+, CVPR2011]
![Page 21: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/21.jpg)
リファインメント前後の比較 CVPR2015読み会
21
before
![Page 22: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/22.jpg)
リファインメント前後の比較 CVPR2015読み会
22
after
![Page 23: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/23.jpg)
リファインメント前後の比較 CVPR2015読み会
23
after
before
![Page 24: Cvpr2015読み会-Global Refinement of Random Forest](https://reader034.vdocuments.mx/reader034/viewer/2022042514/55cf73fbbb61eb68488b45a2/html5/thumbnails/24.jpg)
まとめ
Global refinement of random forest
• 何の研究?
– ランダムフォレスト(分類・回帰)
• 何したの?
– 学習済ランダムフォレストのリファインメント手法を提案
• 提案手法は?
– ランダムフォレストをSVMまたはSVRとして扱います
– いらない枝を刈ります
• どうなったの?
– 高精度になりました
– 超省メモリになりました
– 速さは不明
CVPR2015読み会
24