Upload File

convolutional neural network(cnn)による超解像

43
Learning a Convolutional Network for Image Super-Resolution 16273001 高見 玲 1 Chao Dong, Chen Change Loy, Kaiming He and Xiaoou Tang In: European Conference on Computer Vision. Springer International Publishing, p. 184-199.(2014)

Upload: rei-takami

Post on 11-Feb-2017

41 views

Category:

Technology


0 download

Report

TRANSCRIPT

Page 1: Convolutional Neural Network(CNN)による超解像

Learning a Convolutional Network for Image Super-Resolution

16273001 高見 玲

1

Chao Dong, Chen Change Loy, Kaiming He and Xiaoou TangIn: European Conference on Computer Vision. Springer International Publishing, p. 184-199.(2014)

Page 2: Convolutional Neural Network(CNN)による超解像

Image Super-Resolution

• 画像の 化

• (ill-posed) : 解が存在しない逆問題

2

Page 3: Convolutional Neural Network(CNN)による超解像

既存手法・提案手法

• Sparse-cording methodやexample-basedな手法では辞書

やモデルの構築法に注視[1]

• その他の手順や統合的なフレームワークに着目

• 既存のパイプラインを ( )

3

[1] Yang, J., Wright, J., Huang, T., Ma, Y.: Image super-resolution as sparse representation of raw image patches.In: CVPR, pp. 1–8, 2008

Page 4: Convolutional Neural Network(CNN)による超解像

Super-Resolution Convolutional Neural Network (SRCNN)

• 畳み込みニューラルネットワークを超解像に適用

• 畳み込み演算によるマッピング• をまとめて入力

•

4

Page 5: Convolutional Neural Network(CNN)による超解像

waifu2x

• CNNを用いた超解像サービス

5

waifu2x

[2] waifu2x, http://waifu2x.udp.jp/, (2016-11-09参照)

Page 6: Convolutional Neural Network(CNN)による超解像

結果

• 既存手法より ,

• PSNR(後述)の向上

• 大きなデータセットへの適用可能性

• 最適化問題を解く必要性の不要

6

Page 7: Convolutional Neural Network(CNN)による超解像

Related Works

7

Page 8: Convolutional Neural Network(CNN)による超解像

既存研究(超解像)

• prediction models

• 画像の内部的な類似性を利用してパッチ生成

• どのように特徴を学習するかに依存

• nearest neighbour (NN) method

• SR method

• edge based method

• image statistical methods

• patch based(example-based)

8

Page 9: Convolutional Neural Network(CNN)による超解像

既存研究(CNN)

• 画像のクラスフィケーションについての効果[3]

• GPU上での実装

• を活性化関数で用いることの有効性[4]

• 大量のデータ(ImageNetなど)の利用[5]

9

[3] Krizhevsky, A., Sutskever, I., Hinton, G.: ImageNet classification with deep convolutional neural networks. In: NIPS, pp. 1097–1105 , 2012

[4] Nair, V., Hinton, G.E.: Rectified linear units improve restricted Boltzmann machines. In: ICML, pp. 807–814 , 2010[5] Deng, J., Dong, W., Socher, R., Li, L.J., Li, K., Fei-Fei, L.: ImageNet: A large-scale hierarchical image database.

In: CVPR, pp. 248–255 , 2009

Page 10: Convolutional Neural Network(CNN)による超解像

既存研究(画像再構築のためのDeep Learning)

• End-to-endでパラメータを決定

• 多層パーセプション(MLP),

全結合ネットワークのノイズ除去への利用[6]

• CNNのノイズ除去への利用[7]

• 超解像へ向けた利用については前例なし

10

[6] Burger, H.C., Schuler, C.J., Harmeling, S.: Image denoising: Can plain neural networks compete with BM3DIn: CVPR, pp. 2392–2399, 2012

[7] Jain, V., Seung, S.: Natural image denoising with convolutional networks. In: NIPS, pp. 769–776, 2008

Page 11: Convolutional Neural Network(CNN)による超解像

Convolutional Neural Networks

11

Page 12: Convolutional Neural Network(CNN)による超解像

畳み込みニューラルネットワーク(Convolutional Neural Network)[8]

• と (後述)を繰り返す

• を取得

• 各層で入力とバイアスを により計算

• 畳み込みにより扱う重みの数が減少

→全結合ネットワークより ,

12[8] 石橋 祟司, Caffeをはじめよう 深層学習による画像解析の実践, オライリー・ジャパン, 2016

Page 13: Convolutional Neural Network(CNN)による超解像

畳み込み層[8]

• 注目画素(中心画素)と周辺を重みづけ

• が出力の画素値

• 注目画素を でずらしながら

入力全体にカーネルを適用

• カーネル: n×nで重みパラメータを保持する積分核

• padding: 端領域を0で補完

13[8] 石橋 祟司, Caffeをはじめよう 深層学習による画像解析の実践, オライリー・ジャパン, 2016

Page 14: Convolutional Neural Network(CNN)による超解像

畳み込み層

[9] icoxfog417, “Convolutional Neural Networkとは何なのか”, http://qiita.com/icoxfog417/items/5fd55fad152231d706c2,

(2016-11-9参照)14

[9]

Page 15: Convolutional Neural Network(CNN)による超解像

プーリング層

• 畳み込み層で得られた

• 対象領域の し, ロバストに取得

• 入力画像の一部分を特徴として出力にマッピング

• Avg-pooling, Max-Pooling

15

Page 16: Convolutional Neural Network(CNN)による超解像

Sparse Coding method

• 与えられた画像を比較的少数の基底の線形和で表現

• (特徴?)を表現する必要性

• 提案手法はこれに関係

•

16

Page 17: Convolutional Neural Network(CNN)による超解像

ReLU(Rectified Linear Unit)

• な区分線形関数

• ほかの活性化関数: シグモイド, tanh etc

→ 値の増大に対して飽和(漸近時に変化量が低下)

• :

• 飽和: 過学習の防止

• 大きいデータセットを用いる

f(x) = max(0, x)

17

Page 18: Convolutional Neural Network(CNN)による超解像

誤差逆伝搬法(Backpropagation)

• ニューラルネットワークにおける学習手法

• 期待する出力と実際の出力値から損失を導出

• するように各層の重みを学習

• 損失: 損失関数から求められる精度の悪さ

18

Page 19: Convolutional Neural Network(CNN)による超解像

Loss Function

・パラメータは損失関数が最小値になるように計算

・再構築された画像と対応する高品質画像間の損失を

計算, 最小化

・ , MSE(Mean Squared Error)を使用

L (Θ) = 1

𝑛σ1=1𝑛 | 𝐹 𝑌𝑖; Θ − 𝑋𝑖 |

2

19

Page 20: Convolutional Neural Network(CNN)による超解像

定式化

• 前処理:

出力サイズまでバイキュービック法で入力画像を拡大

• : 低解像度画像

• に限りなく似た の取得

• 逆問題

(フィルタ適用後の画像(入力)から適用前(出力)を推定)

20

Page 21: Convolutional Neural Network(CNN)による超解像

手順

1.

• 低画質画像Yからパッチを生成

• 高次元ベクトルとして表現

2.

• 低次元から高次元ベクトルへのマッピング

• ベクトルはhigh-resolution patchとして表現

3.

• パッチ画像から元画像を再構築, 生成21

Page 22: Convolutional Neural Network(CNN)による超解像

22

Page 23: Convolutional Neural Network(CNN)による超解像

Patch extraction and representation

•画像からのパッチの抽出, n1次元へのマッピング

F1(Y)=max(0,W1 ∗Y+B1)W1 : フィルタ, 活性化関数にはReLUを使用

W1 = c × f1 ×f1

C: 画像のチャンネル数, f1: フィルタのサイズ

B1: バイアス

n1次元の各パッチ特徴を出力

23

Page 24: Convolutional Neural Network(CNN)による超解像

Non-linear mapping

• n1 次元から n2次元へのマッピング

F2(Y)=max(0,W2∗F1(Y)+B2)W1 : フィルタ

W1 = n1 × f2 ×f2

B2: バイアス(n2次元)

n1次元の各パッチ特徴を出力

24

Page 25: Convolutional Neural Network(CNN)による超解像

Reconstruction

•CNNにより生成されたパッチを平坦化

F (Y) = W3∗ F2(Y) + B3

W3 : フィルタ(c次元)

W3 = n2 × f3 × f3× c

B2: バイアス(c次元)

25

Page 26: Convolutional Neural Network(CNN)による超解像

Experiments

26

Page 27: Convolutional Neural Network(CNN)による超解像

学習データ

•畳み込みのstrideは14

• 8 × 108回の逆誤差伝搬法の適用(3日間)

• Upscaling factorは 2, 3, 4 (倍率?)

•トレーニング時の境界効果を防ぐためpaddingなし

27

Page 28: Convolutional Neural Network(CNN)による超解像

学習データ

• 各トレーニング画像を32×32のsubimageに分解• ランダムに切り取り• パッチと異なり後処理が必要ない

• (91 images)

• 24,800のsubimageに分解

• : f1 =9, f3 =5, n1 =64, n2 =32

c=1 (color画像の場合c=3)

28

Page 29: Convolutional Neural Network(CNN)による超解像

結果

• (ピーク信号対雑音比)

• 信号が取りうる最大値と劣化をもたらすノイズの比率

• 高い方が高画質(再現性高い)

29

Page 30: Convolutional Neural Network(CNN)による超解像

結果

SRCNN: 元画像のシャープな輪郭を保持30

Page 31: Convolutional Neural Network(CNN)による超解像

結果

SRCNN: 元画像のシャープな輪郭を保持31

Page 32: Convolutional Neural Network(CNN)による超解像

結果

SRCNN: 元画像のシャープな輪郭を保持32

Page 33: Convolutional Neural Network(CNN)による超解像

結果

SRCNN: 元画像のシャープな輪郭を保持33

Page 34: Convolutional Neural Network(CNN)による超解像

比較

Test set. The Set5 [2] (5 images), Set14 [51] (14 images) and BSD200 [32] (200 images)8

34

Page 35: Convolutional Neural Network(CNN)による超解像

比較

35

Page 36: Convolutional Neural Network(CNN)による超解像

Further Analyses

36

Page 37: Convolutional Neural Network(CNN)による超解像

パラメータの変更

• 次元 増大

• する代わりに

• 増大

• ,

→パラメータの変化は速度の性能のトレードオフ

37

Page 38: Convolutional Neural Network(CNN)による超解像

大規模データへの適用

• 大きい学習データ(395,909 images from ImageNet)

• 5,000,000のsubimageに分解

•パラメータは同様

38

Page 39: Convolutional Neural Network(CNN)による超解像

大規模データへの適用

39

Page 40: Convolutional Neural Network(CNN)による超解像

40

g, h : ラプラシアン/ガウスフィルタ

a - e : エッジフィルタ(異なる箇所)

f : テクスチャ抽出フィルタ

長く走らせると”死んだ”フィルタに特徴が現れる

学習されたフィルタ(第一層)

Page 41: Convolutional Neural Network(CNN)による超解像

Conclusion

41

Page 42: Convolutional Neural Network(CNN)による超解像

結論

• を提案, 実装

• Sparce-cording method のNNによる最定式化

→NN設計の礎石

42

Page 43: Convolutional Neural Network(CNN)による超解像

結論

• , ともに従来法より

• 隠れ層の挙動やフィルタのトレーニング手法

→より高速・高品質な出力が得られる可能性

• ノイズ平滑化などの低レベルの画像処理にも適用可

43


Research Trends on Convolutional Neural Network (CNN

Convolutional Neural Networks (CNN)www.深度学习.top/Talks/CNN1.pdf · Convolutional Neural Networks (CNN) 2016.11.3 SCHOOL OF MATHEMATICAL SCIENCE, PEKING UNIVERSITY

CNN-MGP: Convolutional Neural Networks for Metagenomics ... › content › pdf › 10.1007 › s12539-018-0313-4.pdfA convolutional neural network (CNN) is a special type of neural

Deep Representation Learning for Orca Call Type Classification€¦ · Convolutional Neural Network (CNN) Convolutional neural network (CNN) is a state-of-the-art end-to-end deep

ViP-CNN: Visual Phrase Guided Convolutional Neural ......IEEE 2017 Conference on Computer Vision and Pattern Recognition ViP-CNN: Visual Phrase Guided Convolutional Neural Network

CNN-PDM: A Convolutional Neural Network Framework For

Distributed Convolutional Neural Network with Apache Spark · Distributed Convolutional Neural Network with Apache Spark ... • Batch Processing . ... • Compare Spark-CNN performance

Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

Convolutional Neural Networks (CNN) - i-systems.github.ioi-systems.github.io/HSE545/iAI/DL/topics/06_CNN/02_CNN.pdf · Convolutional Neural Networks (CNN) ... •Did not make use

Tube Convolutional Neural Network (T-CNN) for Action ...crcv.ucf.edu/papers/iccv17/T-CNN-camera-ready.pdf · Tube Convolutional Neural Network ... stream networks (a spatial CNN and

Beyond Convolutional Neural Networks (CNN)i-systems.github.io/HSE545/iAI/DL/topics/06_Modern_CNN/02_Beyond_CNN.pdf · Beyond Convolutional Neural Networks (CNN) Industrial AI Lab

Tube Convolutional Neural Network (T-CNN) for Action ...openaccess.thecvf.com/...Tube_Convolutional_Neural... · propose Tube Convolutional Neural Network (T-CNN) for action detection

Mask R-CNN - cseweb.ucsd.edu · Faster R-CNN: Fast R-CNN + RPN Region Proposal Network (RPN) after last convolutional layer RPN produces region proposals directly Can be extended

A Multithreaded CGRA for Convolutional Neural Network ...lalsie.ist.hokudai.ac.jp/publication/dlcenter.php?fn=paper/cs_2017_ando.pdf · Convolutional neural network (CNN) is an essential

T-CNN: Tubelets with Convolutional Neural Networks for Object … · 1 T-CNN: Tubelets with Convolutional Neural Networks for Object Detection from Videos Kai Kang*, Hongsheng Li*,

DeepPose & Convolutional Pose Machinescseweb.ucsd.edu/.../Presentations/12_Human_Pose_Estimation_Rant… · DeepPose & Convolutional Pose Machines. Main Concepts 1. CNN with regressor

Convolutional Networks: Motivationsrihari/CSE676/9.2 CNN-Motivation.pdf · Deep Learning Srihari Overview of Convolutional Networks • Convolutional networks, also known as Convolutional

Convolutional Neural Network (CNN) presentation from theory to code in Theano

Convolutional Networks - Université de Montréal · Convolutional Neural Networks •Object detection systems based on the deep convolutional neural network (CNN) have recently made

CNN Explainer: Learning Convolutional Neural Networks with ... · CNN EXPLAINER aims to bridge this critical gap. Contributions. In this work, we contribute: • CNN EXPLAINER, an

O-CNN: Octree-based Convolutional Neural Networks for … · O-CNN: Octree-based Convolutional Neural Networks for 3D ... object classification, ... Octree-based Convolutional Neural

Deep Convolutional Neural Networks (preliminary experiments) · 1. Scanning window + CNN CNN - Outstanding recognition accuracy of holistic image recognition accuracy [Krizhevsky

Rain Prediction Using Convolutional Neural Network (CNN

Deep Convolutional Neural Networks for Forensic Age ...blog.hakzone.info/.../uploads/2020/05/CNN-for-Forensic-Age-Estimation.… · 3. The Convolutional Neural Network (CNN) The most

05-Deep Neural Networks-2-CNN - Pattern Recognition in ...pattern-recognition.weebly.com/.../05-deep_neural_networks-2-cnn.… · A Convolutional Neural Network(CNN) ... • Handwritten

Neural Networks Convolutional and Recurrentai-nlp-ml/course/dnlp/CNN-RNN-LSTM-Attenti… · Convolutional Neural Networks (CNN) A CNN consists of a series (≥ 1) of convolution layer

Convolutional Neural Networks - TJ Machine Learning Clubtjmachinelearning.com/lectures/cnn/cnn.pdf · 2018-05-23 · Convolutional Neural Networks Mihir Patel ... Traditional neural

convolutional neural networks (CNN) Categorisation … · Categorisation images of clothes with convolutional neural networks (CNN) Author: Taras Sereda. LeNET - 5 (Zip code recognition)

AnApproachtoSemanticandStructuralFeaturesLearningfor ...downloads.hindawi.com/journals/mpe/2020/6038619.pdf3.2. Convolutional Neural Network. Convolutional neural network(CNN)isone

Convolutional Neural Networks (CNN)

Convolutional Neural Network - CNN · Introduction CNN Layers CNN Models Popular Frameworks Papers References Convolutional Neural Network - CNN Eduardo Todt, Bruno Alexandre Krinski

Convolutional Neural Networks for Deep Learning: An Introduction · 2017-10-05 · Introduction: Convolutional Neural Networks (CNN) Convolutional Neural Networks: A deep learning

Newton Methods for Convolutional Neural Networkscjlin/papers/cnn/newton-CNN.pdf · used networks such as Convolutional Neural Networks (CNN). One reason is that Newton methods for

Wootz: A Compiler-Based Framework for Fast CNN Pruning …5 7 (a) (b) Figure 1. CNN and CNN Pruning. Conv1 and Conv2 are the first two consecutive convolutional layers in the CNN

Pattern Recognition Letterscedric.cnam.fr/~thomen/papers/Chevalier_PRL_18.pdf · 2.2. Convolutional neural networks Convolutional Neural Networks (CNN) have been a leading method