deep fried convnets

2016/02/06 CV勉強会@関東ICCV2015読み会発表資料

2016/02/06

@peisuke

自己紹介

名前：藤本敬介

研究：ロボティクス、コンピュータビジョン

点群：形状統合、メッシュ化、認識

画像：画像認識、SfM・MVS

ロボット：自律移動、動作計画

本発表の概要

•発表論文• Deep Fried Convnets

•本論文に至るまでの経緯

• 2008年 Random Kitchen SinkがNIPSで発表される

• 2013年 Random Kitchen SinkをベースにFast Food TransformがGoogleから発表される（※猫画像のあの人）

• 2015年 Fast Food Transformを用いたDeep Fried Convnetsが発表される

• どんな論文？• ニューラルネットワークの全結合層のパラメータ削減・高速化

Deep Fried Convnets

Z. Yang, M. Moczulski, M. Denil

N. Freitas, A. Smola, L. Song, Z. Wang

画像出典：http://makopi.sakura.ne.jp/images/1004/10040303.jpg

Convolutional Neural Network

•高性能な画像認識を実現

•畳み込み層、プーリング層、全結合層から構成

畳み込み層：画像から様々な特徴を抽出

プーリング層：特徴を消さないようにサイズを縮小

全結合層：残った特徴と認識対象を紐づけ

𝑦 = 𝑓 𝑊𝑇𝑥 + 𝑏

𝑦 = 𝑓 𝑤 ∗ 𝑥 + 𝑏

Convolutional Neural Networkの課題

•全結合層におけるパラメータ数・計算負荷が大きい

•全パラメータの９９．９％以上を占める

※Caffe reference modelの場合

パラメータ数：

58,621,952個!!パラメータ数：

27,232個𝑦 = 𝑓 𝑤 ∗ 𝑥 + 𝑏 𝑦 = 𝑓 𝑊𝑇𝑥 + 𝑏

局所特徴量のサイズに依存

特徴量の次元数に依存

Deep Fried Convnets

• Fastfood TransformをNN用に改良し、全結合層の行列計算を少数のパラメータで近似

パラメータ数：

計算量：

O(nd) O(n)

O(nd) O(nlogd)

𝑦 = 𝑓 𝑊𝑇𝑥 + 𝑏

これ

※xがd次元、yがn次元

𝑤𝑙𝑇

Fastfood Transform

• SVM等のカーネル法を高速近似手法• Random Kitchen Sinkを高速化する手法として提案された

参考・・・Random Kitchen Sinkとは• カーネルと等価な特徴ベクトルをサンプリングで算出• データ数に依存しない計算量での予測が可能

𝑦 =

𝑖

𝛼𝑖𝑘 𝑥, 𝑥𝑖

カーネル関数kを用いた予測

データ数に依存

𝑘 𝑥, 𝑥′ = 𝑝 𝑤 exp 𝑖𝑤𝑇 𝑥 − 𝑥′ 𝑑𝑤

Bochnerの定理

※ガウシアンカーネルであればwはガウス分布

= 𝑝 𝑤 cos 𝑤𝑇 𝑥 − 𝑥′ 𝑑𝑤

Random Kitchen Sink (cond.)

カーネルは実数として

= 𝑝 𝑤 cos 𝑤𝑇𝑥 cos 𝑤𝑇𝑥′ + sin 𝑤𝑇𝑥 sin 𝑤𝑇𝑥′ 𝑑𝑤

≈1

𝐿 cos 𝑤𝑙

𝑇𝑥 cos 𝑤𝑙𝑇𝑥′ + sin 𝑤𝑙

𝑇𝑥 sin 𝑤𝑙𝑇𝑥′

= φ 𝑥 φ 𝑥′ , φ 𝑥 =1

𝐿cos 𝐖T𝒙 sin 𝐖T𝒙

𝑇

サンプル数𝐿に依存するφ 𝑥 を基底として計算

𝑦 =

𝑙

𝛽𝑙φ𝑙 𝑥

積分をサンプリングによって近似すると

Fastfood Transform

• SVM等のカーネル法を高速化するための近似手法

• Random Kitchen Sinkを高速化

𝑤𝑙𝑇

Random Kitchen Sink

φ 𝑥 =1

𝐿cos 𝐖T𝒙 sin 𝐖T𝒙

𝑇特徴ベクトル：

O(Ld)

𝑊 ≈ 𝑆𝐻𝐺Π𝐻𝐵

• RKSの行列Wを下記計算で近似

• 各行列は対角行列や置換行列など、計算が容易• パラメータ数：O(Ld)→O(L)• 計算量：O(Ld)→O(Llogd)

※Wは各要素をガウス分布でサンプリングしたランダム行列

Fastfood Transform (cond.)

• RKSの行列を下記計算で近似


S：スケール調整用の対角行列G:ガウス分布から値を生成した対角行列B:｛±１｝からランダムに値を生成した対角行列Π：ランダムに生成された置換行列H:アダマール変換

参考：アダマール変換

元画像既定行列スペクトル画像

高い周波数をカットカットする周波数無し

• フーリエ変換の一つ、周波数領域に変換

•バタフライ演算により高速に計算可能

Fastfood Transform (cond.)

•詳しい証明は省略するが、下記条件を満たすことからWの要素はガウス分布となる


• なぜ行列Wを近似できるのか？

1. 𝐻𝐺Π𝐻𝐵の各行は同じスケール2. 𝐻𝐺Π𝐻𝐵の各行内の各要素は独立のガウス分布3. 𝑆𝐻𝐺Π𝐻𝐵の各行はガウシアンである

CNNへのFastfood Transformの適用

• Fastfood Transformのパラメータを誤差逆伝播で算出

•調性するパラメータはS,B,G

𝑦 = 𝑓 𝑊𝑇𝑥 + 𝑏 𝑊 ≈ 𝑆𝐻𝐺Π𝐻𝐵CNNの全結合層の計算

パラメータの計算

Deep Learningへの適用•全結合層をAdaptive Fastfood Transformで置き換え

• 最後の畳み込み層と全結合層間の変換を置き換え

• 全結合層が複数ある場合は、それらの間も置き換え

• 最終層については従来通り

Random Projectionとの関係• Random Projection・・・ランダム行列による次元削減

• ランダムな行列を掛けるだけで、高次元データをデータ間の距離関係を保ったまま低次元化できる

参考：さかな前線「魚でもわかるRandom Projection」、 http://daily.belltail.jp/?p=737

• RPと比べて必要な記憶容量・計算量も低い• 学習可能な次元削除法であり精度が高い

カーネル法との関係•特徴ベクトルの内積とカーネルは双対関係

RBF Networkにおけるカーネル版NNと特徴版NNの関係性

同様にReLUはarc-cosineカーネルと双対関係

𝑦 = 𝑎𝑖𝑘 𝑥, 𝑐𝑖𝑎0𝑐0 𝑐1 𝑐2

𝑎1 𝑎2𝑏0 𝑏1 𝑏2

𝐖cos, sin

𝑦 = 𝑏𝑖𝜙 𝑊𝑥

• Fastfood TransformのNNへの適用はカーネルベースのNNの近似と見なせる

実験

•MINIST•全結合層1024層・2048層のFastfood, Adaptive

Fastfoodと、Reference Modelを比較

Model Error Params

Fastfood 1024 0.71% 38,821

Adaptive Fastfood 1024 0.72% 38,821

Fastfood 2048 0.71% 52,124

Adaptive Fastfood 2048 0.73% 52,124

Reference Model 0.87% 430,500

Fastfoodが性能が一番良かった・・・

実験

• ImageNet•畳み込み層のパラメータを固定、全結合層のみ学習しての比較

Model Top-1 Error Params

Fastfood 16,384 50.09% 16.4M

Adaptive Fastfood 16,384 45.30% 16.4M

Fastfood 32,768 50.53% 32.8M


MLP 47.76% 58.6M

Adaptive Fastfoodが性能が一番良い！

※MLP:ReferenceモデルのMLPを再学習

実験

• ImageNet•畳み込み層も含めて全パラメータを学習


Fastfood 16,384 46.88% 16.4M


Fastfood 32,768 46.63% 32.8M


Reference Model 42.59% 58.7M

実験

• SVDによる次元削除法との比較• 学習済みReference ModelについてSVDでパラメータ数を削減したもの、削減後に追加学習したものと比較


SVD-half 43.61% 46.6M

SVD-half-Fine tune 42.73% 46.6M


SVD-quarter 46.12% 23.4M

SVD-quarter-Fine tune 43.81% 23.4M


Half:9216-2048-4096-2048-4096-500-1000Quarter:Half:9216-1024-4096-1024-4096-250-1000

※パラメータ数

まとめ•畳み込みニューラルネットの全結合層のパラメータ削減手法を提案

•行列計算をFastfood Transformでの置き換え

•学習可能としたAdaptive Fastfood Transform

•パラメータ数を削減しつつ精度は向上

•速度に関する実験は無し

•なぜFastfood・Friedであるかは不明

deep fried convnets

Engineering