ASP Vision: Optically Computing the First Layer of

Convolutional Neural Networks using Angle Sensitive Pixels

#cvsaisentanCVPR 16 読み会

@mhr380 1

2

本日のメニュー

3

ASP Vision: Optically Computing the First Layer of

Convolutional Neural Networks using Angle Sensitive Pixels

Huaijin (George) Chen*, Suren Jayasuriya*, Jiyue Yang, Judy Stephen, Sriram

Sivaramakrishnan, Ashok Veeraraghavan, Alyosha Molnar

(* = joint first authors)In CVPR 2016 (Oral Presentation)

Presenter: Hajime Mihara (@mhr380)

4

どんな論文？

5

どんな論文？ｱｯ CNNだ !

6

どんな論文？

ｱｯ… ?

7

どんな論文？

ｱｯ… ?ASP Vision: Optically Computing the First Layer of

Convolutional Neural Networks using Angle Sensitive Pixels

8

どんな論文？

ｱｯ… ?ASP Vision: Optically Computing the First Layer of

Convolutional Neural Networks using Angle Sensitive Pixels

Optically Computing the First Layer of Convolutional Neural Networks

「光学的に CNNの第１層を計算する」！？

9

ざっくり言うと : 背景• 画像からの一般物体認識タスクに「画像」は本当に必要？• 現在のカメラは、人が鑑賞・認識できる画像を出力• CV のタスクに最適化された装置ではないよね

• コンピュータが理解しやすいデータを出力するカメラって？

10

ざっくり言うと : 提案手法• センサ出力が画像ではなく、ガボールフィルタをかけた画像になるような CMOS イメージセンサを提案• CMOS センサのピクセル上に、様々な回折格子を設置することにより実現

11

ざっくり言うと : 結果• CNN による一般物体認識タスクにおいて• 画像を入力し、ガボールフィルタをかけた画像を入力した場合と、作成した CMOS の信号を入力した場合で、認識性能は変わらなかった• しかし、計算機上での 1 層目の演算を省略、センサの電力を 90%削減、センサ -CPU 間の通信帯域を 1/10に

12

どんな人たち？• Huaijin (George) Chen*• Suren Jayasuriya*• Jiyue Yang• Judy Stephen• Sriram Sivaramakrishnan• Ashok Veeraraghavan• Alyosha Molnar

• Assistant Prof. (PI) @ Rice Univ. • Computational Photography 分野では

著名な研究者• Last Name の発音が難解

（ Computational Photography 界隈あるある）

• 博士課程学生＠ Rice Univ.• Google Scholar には、この論文と

CVPR ’15 の論文の計２本が登録http://hc25.web.rice.edu/

http://www.ece.rice.edu/~av21/

13

どんな人たち？• Huaijin (George) Chen*• Suren Jayasuriya*• Jiyue Yang• Judy Stephen• Sriram Sivaramakrishnan• Ashok Veeraraghavan• Alyosha Molnar

• cornell Univ. でイメージセンサを研究するグループ。• 応用先として、 Computational Imaging にも取り組

み、近年は CV/CP 分野にも進出（ ICCP2014 に MIT の R. Raskar らとの共著論文あり）

http://molnargroup.ece.cornell.edu/

14

内容

15

Angle Sensitive Pixels (ASP) 1/5• cornell Univ. の Molnar Group が開発した光の入射角度により、信号強度が変化する CMOS センサ• 初出は 2012 年、 IEEE Journal of Solid-state Circuits にて

*A. Wang. et al., “A Light-Field Image Sensor in 180 nm CMOS”, IEEE Journal of Solid-state Circuits, Vol. 47, No. 1, Jan. 2012.

16

Angle Sensitive Pixels (ASP) 2/5• ASP は、ピクセル表面に回折格子を設置することにより実現• 回折 (diffraction) ってなんだっけ？• 媒質中を伝わる波に対し障害物が存在するとき、波がその背後など、幾何学的には到達できない領域に回り込んで伝わっていく現象（ Wikipedia 「回折」）

http://cweb.canon.jp/eos/special/dlo/factor/img/img-03-01.gif

17

Angle Sensitive Pixels (ASP) 3/5• 回折格子ってなんだっけ？• 英語では回折格子のことを (diffraction) grating と言うらしい• 多数のスリットを並べ、回折を起こすような素子

波の干渉が生じるため、強め合ったり弱めあったりする（干渉縞）• 縞の位置は波長依存性があるため、白色光を分光するために利用（この論文ではあまり使わない）

（左図） http://www.shimadzu.co.jp/products/opt/guide/index.html（右図） Wikipedia 「回折格子」

18

Angle Sensitive Pixels (ASP) 4/5• ASP で重要となる現象： Talbot 回折

回折格子ｘ２

波長 λ の光（平面波）

格子下方の位置2 ・ n ・ d / λに回折格子の自己像が形成間隔 d

19

Angle Sensitive Pixels (ASP) 4/5• ASP で重要となる現象： Talbot 回折

この効果により、インパルス応答がガボールフィルタのようになる

回折格子ｘ２

波長 λ の光（平面波）

格子下方の位置2 ・ n ・ d / λに回折格子の自己像が形成間隔 d

20

Angle Sensitive Pixels (ASP) 5/5• 実装とインパルス応答の例

角度や空間周波数の異なる様々な回折格子パターンを配置

21

カメラとセンサのプロトタイプ

22

電力・通信帯域削減 1/2• 電力• CMOS 内の AD 変換をめっちゃ最適化したというお話• 顕著にエッジが立っている画素を検出し、その周辺だけ

AD 変換を行う• （なぜこんなことが可能なのかはわかりませんでした…）• （そもそも CMOS センサって列ごとに動作するのでは…？）

pp.906

23

電力・通信帯域削減 2/2• 通信帯域• 送りたいのは、ガボールフィルタをかけたあとの画像• こちらもめっちゃ最適化したという話

• 非ゼロ要素のみ送信• ランレングスで圧縮

24

実験•従来の CNN と、提案する ASP を用いたシステムで認識の精度が変わらないことを示す• データセットは MNIST, CIFAR-10/100, PF-83 を用意•比較手法として、 VGG-M-128, NiN, LeNet を用意• 提案手法の２層目以降は、比較手法と同一のネットワーク構造

25

実験• 結果

精度はあまり変わらない（ポジティブな意味で）

26

センサの解析•ソニー製スマートフォン用イメージセンサとの電力・通信帯域の比較

単位面積あたりのエネルギ消費が340 : 33 (単位略）電力消費を 90%抑えた

384x384x8bit で圧縮率は 10:1 に

27

まとめ• Angle Sensitive Pixels (ASP) と CNN を組み合わせて

Visual recognition 用のシステムを構築した• 認識精度を下げずに、エネルギ効率や圧縮効率を向上させた