high quality imagedeblurringwitghpanchromaticpixels
TRANSCRIPT
![Page 1: High quality imagedeblurringwitghpanchromaticpixels](https://reader033.vdocuments.mx/reader033/viewer/2022060117/558762b3d8b42a842b8b46c2/html5/thumbnails/1.jpg)
High quality Image Deblurringwith Panchromatic PixelsSiggraph 2012 文献紹介
石井
![Page 2: High quality imagedeblurringwitghpanchromaticpixels](https://reader033.vdocuments.mx/reader033/viewer/2022060117/558762b3d8b42a842b8b46c2/html5/thumbnails/2.jpg)
この文献でいいたいこと 試作した白色画素付きセンサで Deblur メリット
白色画素は高速・高感度・ブレなし撮影 デメリット
白色画素は色が無い
ブレ無しグレー画像とブレ有りカラー画像からブレ無しカラー画像を推定する
![Page 3: High quality imagedeblurringwitghpanchromaticpixels](https://reader033.vdocuments.mx/reader033/viewer/2022060117/558762b3d8b42a842b8b46c2/html5/thumbnails/3.jpg)
従来の Deblur(1) 一枚画像からの推定 Fergus ら (2006 siggraph) Shan ら (2008 Siggraph)
Natural Image Prior Multi Scale Inference Natural Image Prior Map Estimation
Levin ら (2009 CVPR) Map Estimation
![Page 4: High quality imagedeblurringwitghpanchromaticpixels](https://reader033.vdocuments.mx/reader033/viewer/2022060117/558762b3d8b42a842b8b46c2/html5/thumbnails/4.jpg)
従来の Deblur(2)
Computational Photography 的アプローチ Ben Ezra ら ( CVPR 08)
低解像度ブレなしと高解像度ブレ有りを併用 Raskar ら (2006 siggraph)
Coded Exposure Joshi ら (2009 siggraph)
Deblur with gyro
![Page 5: High quality imagedeblurringwitghpanchromaticpixels](https://reader033.vdocuments.mx/reader033/viewer/2022060117/558762b3d8b42a842b8b46c2/html5/thumbnails/5.jpg)
従来の Deblur(3)
Yuan ら (2007 Siggraph) Image Debluring with Blured/Nosy Pair
ISO設定/画像アライメント/シャッター速度設定が難しい
![Page 6: High quality imagedeblurringwitghpanchromaticpixels](https://reader033.vdocuments.mx/reader033/viewer/2022060117/558762b3d8b42a842b8b46c2/html5/thumbnails/6.jpg)
目的 シャッター速度制御可能な白色画素 位置合わせ不要
CMOS/5Mpix
白色ブレなしとカラーブレ有りからカラーブレなしを推定
![Page 7: High quality imagedeblurringwitghpanchromaticpixels](https://reader033.vdocuments.mx/reader033/viewer/2022060117/558762b3d8b42a842b8b46c2/html5/thumbnails/7.jpg)
New Color Filterでのデモザイク RGGB ではないため新たなデモザイク
手法が必要 Noise Reduction Pan Image Reconstruction Bayer Pattern Interpolation Color Difference image computing Color Difference image upsampling Image Demosaicing
![Page 8: High quality imagedeblurringwitghpanchromaticpixels](https://reader033.vdocuments.mx/reader033/viewer/2022060117/558762b3d8b42a842b8b46c2/html5/thumbnails/8.jpg)
New Color Filterでのデモザイク RGGBではないため新たなデモザイク手法が必要 Noise Reduction Pan Image Reconstruction(b)
![Page 9: High quality imagedeblurringwitghpanchromaticpixels](https://reader033.vdocuments.mx/reader033/viewer/2022060117/558762b3d8b42a842b8b46c2/html5/thumbnails/9.jpg)
New Color Filterでのデモザイク RGGBではないため新たなデモザイク手法が必要 Bayer Pattern Interpolation Color Difference image computing (c)
![Page 10: High quality imagedeblurringwitghpanchromaticpixels](https://reader033.vdocuments.mx/reader033/viewer/2022060117/558762b3d8b42a842b8b46c2/html5/thumbnails/10.jpg)
New Color Filterでのデモザイク RGGB ではないため新たなデモザイク
手法が必要 Color Difference image upsampling Image Demosaicing
![Page 11: High quality imagedeblurringwitghpanchromaticpixels](https://reader033.vdocuments.mx/reader033/viewer/2022060117/558762b3d8b42a842b8b46c2/html5/thumbnails/11.jpg)
Debluring with Pan Pixels 定式化
B=ブレ画像、 L=ブレなし画像、 K=PSF、 N=ノイズ
Two Shuttered Imaging Device (a): 高感度 短時間露光 (P1)グレー画像
(b): ブレ有り長時間露光 (P2)グレー画像(c) : ブレありカラー画像(d) : 高ノイズ短時間露光 カラー画像
今回のデバイスは、 (a),(c) を使う
![Page 12: High quality imagedeblurringwitghpanchromaticpixels](https://reader033.vdocuments.mx/reader033/viewer/2022060117/558762b3d8b42a842b8b46c2/html5/thumbnails/12.jpg)
Bayesian Deconvolution 既存手法と同様 尤度 Image Prior (Levinら によって提案) エッジの分布とエッジの残差の積
Kernel Prior:L1ノルム
![Page 13: High quality imagedeblurringwitghpanchromaticpixels](https://reader033.vdocuments.mx/reader033/viewer/2022060117/558762b3d8b42a842b8b46c2/html5/thumbnails/13.jpg)
推定:目的関数 MAP推定
カーネル推定とブレなし画像推定の繰り返し
カーネル推定
ブレなし画像推定
![Page 14: High quality imagedeblurringwitghpanchromaticpixels](https://reader033.vdocuments.mx/reader033/viewer/2022060117/558762b3d8b42a842b8b46c2/html5/thumbnails/14.jpg)
実験結果 比較方法
Non-blindな方法と比較 Blindな方法と比較 カーネルが大きい場合 カーネルにノイズがのる場合
![Page 15: High quality imagedeblurringwitghpanchromaticpixels](https://reader033.vdocuments.mx/reader033/viewer/2022060117/558762b3d8b42a842b8b46c2/html5/thumbnails/15.jpg)
Non Blind手法と比較
![Page 16: High quality imagedeblurringwitghpanchromaticpixels](https://reader033.vdocuments.mx/reader033/viewer/2022060117/558762b3d8b42a842b8b46c2/html5/thumbnails/16.jpg)
Blind手法と比較
![Page 17: High quality imagedeblurringwitghpanchromaticpixels](https://reader033.vdocuments.mx/reader033/viewer/2022060117/558762b3d8b42a842b8b46c2/html5/thumbnails/17.jpg)
Large Kernel で比較
![Page 18: High quality imagedeblurringwitghpanchromaticpixels](https://reader033.vdocuments.mx/reader033/viewer/2022060117/558762b3d8b42a842b8b46c2/html5/thumbnails/18.jpg)
カーネルにノイズがある場合
![Page 19: High quality imagedeblurringwitghpanchromaticpixels](https://reader033.vdocuments.mx/reader033/viewer/2022060117/558762b3d8b42a842b8b46c2/html5/thumbnails/19.jpg)
Blured/Noisy Pair の画像で評価
![Page 20: High quality imagedeblurringwitghpanchromaticpixels](https://reader033.vdocuments.mx/reader033/viewer/2022060117/558762b3d8b42a842b8b46c2/html5/thumbnails/20.jpg)