説明用資料2014 2 14提出.pptx[読み取り専用] powerpoint -...
TRANSCRIPT
![Page 1: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/1.jpg)
工学院大学情報学部
情報デザイン学科合志 清一
2014年2月14日
映像のリアルタイム超解像化― 理論的限界を超える超解像技術 ―
![Page 2: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/2.jpg)
映像はビッグデータ
• 非圧縮ハイビジョンデータは1.5Gbps1時間で162Tbit
• 4Kテレビはハイビジョンの8倍のデータ量• 8Kテレビはハイビジョンの16~32のデータ量
![Page 3: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/3.jpg)
![Page 4: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/4.jpg)
2K(ハイビジョン)から8Kへ
ハイビジョン(1920x1080)
4K(3840x2160)
8K(7680x4320)
![Page 5: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/5.jpg)
時代は4Kテレビへ
![Page 6: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/6.jpg)
4Kテレビが店頭に並んでも4Kコンテンツが無い
4Kテレビは販売されているけれど・・・
ハイビジョン放送も4Kテレビで見ればきれい?
ハイビジョン放送を高画質化して4Kテレビで表示
高画質化:見た目をきれいにする
高解像度化:解像度を向上させる
![Page 7: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/7.jpg)
精細情報(エッジ)を検出
加算
エンハンサーやアンシャープマスクの名前で広く知られる技術
従 来 技 術
![Page 8: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/8.jpg)
エンハンサーの欠点エンハンサーによるエッジ強調が強すぎるとノイズ(粒上雑音)が目立つ
![Page 9: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/9.jpg)
http://www.toshiba.co.jp/regza/detail/superresolution/resolution.html
![Page 10: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/10.jpg)
夢の技術超解像
超解像化
実現不可能!可能ならばハイビジョン放送は不要
![Page 11: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/11.jpg)
ハイビジョンテレビに搭載された超解像技術は?
• 地上ディジタル放送の画質を超解像機能搭載のハイビジョン受信機と非搭載のハイビジョン受信機で比較
• 2台はいずれも55インチのフラグシップモデル• 画面を10Mピクセルのディジタルカメラで撮影
地上デジタル放送の画質
超解像機能搭載超解像機能未搭載 著作権取扱注意
超解像機能搭載テレビは同一サイズでも低解像度
ハイビジョン放送を受信し4Kテレビに表示すれば・・・。
![Page 12: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/12.jpg)
繰り返し計算 低解像度画像
高解像度画像
再構成超解像による高解像度化
低解像度画像をたくさん集めると高解像度画像を作ることが出来る
![Page 13: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/13.jpg)
http://www.nikikai21.net/blog/cat4/
テノール、バリトン、バスをたくさん集めるとソプラノの音になる
ボケ画像をたくさん集めると高精細画像を作ることができる
![Page 14: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/14.jpg)
http://www.ok.ctrl.titech.ac.jp/res/CSR/NSR/index-ja.htmlよりダウンロード可能
![Page 15: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/15.jpg)
現画像と再構成超解像画像で同一画角(拡大無し)
http://www.ok.ctrl.titech.ac.jp/res/CSR/NSR/index-ja.htmlよりダウンロード可能
![Page 16: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/16.jpg)
![Page 17: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/17.jpg)
![Page 18: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/18.jpg)
図1 映像における連続フレーム
ビデオカメラ1ビデオカメラ2 ビデオカメラ3 ビデオカメラ4
![Page 19: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/19.jpg)
図7 位相差を有する4枚の静止画
ビデオカメラ1
ビデオカメラ2
ビデオカメラ3
ビデオカメラ4
![Page 20: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/20.jpg)
収束条件
難しい理論(数式)を使えば結果がよいわけではない
![Page 21: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/21.jpg)
提 案 手 法
HPF CUB LMT
ADD
Image
Input
Image
Output
HPF: High Pass FilterCUB: CubeLMT: Limiter
ADD: Adder
The proposed method
(c)(b)(a)
(d)
Horizontal axes
Level
(a) Image Input
Horizontal axes
Level
(b) Output of HPF
Horizontal axes
Level
(c) Output of CUB
Horizontal axes
Level
(d) Image Output
![Page 22: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/22.jpg)
解像度の定量的測定(従来手法では拡大画像の高精細化は困難)
図3の2次元フーリエ変換結果図2の2次元フーリエ変換結果図1の2次元フーリエ変換結果
図3. 提案手法による超解像化図1.縦横2倍に拡大した画像 図2.従来手法による高解像度化
![Page 23: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/23.jpg)
![Page 24: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/24.jpg)
HD->4K HD->4K+超解像映像
SR with non-Linear signal processing
![Page 25: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/25.jpg)
展示系統図
信号源(フルハイビジョン)
フルハイビジョン信号(1920x1080)
既存超解像機能付き4K TV
(3840x2160)
ハイビジョン=>4K TV拡大+非線形超解像
4K TV(モニタ)(3840x2160)超解像機能無
非線形超解像ON/OFF可能
4K TV信号として入力 4K TV付属機能を用いてHDTV=>4K変換+超解像処理
(1920x1080)(3840x2160)
![Page 26: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/26.jpg)
• (0.01)=0.218
• 工学院ON-既存間で優位水準1%有意差が存在
ヤードスティック結果:A
刺激間距離OFF-ON ON-既存 OFF-既存
1.55 1.53 0.03
-1 -0.5 0 0.5 1 1.5
OFF ON 既存
0.03 1.53
■ HD=>4K拡大(OFF) ▲ HD=>4K拡大+工学院超解像(ON) ◆ 既存4K+超解像(既存)
![Page 27: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/27.jpg)
ヤードスティック結果:B
• (0.01) =0.193
• 工学院ON-既存間で優位水準1%有意差が存在
刺激間距離OFF-ON ON-既存 OFF-既存
1.73 1.67 0.07
-1 -0.5 0 0.5 1 1.5
OFF ON 既存
0.07 1.67
■ HD=>4K拡大(OFF) ▲ HD=>4K拡大+工学院超解像(ON) ◆ 既存4K+超解像(既存)
![Page 28: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/28.jpg)
8K映像超解像処理前
![Page 29: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/29.jpg)
8K映像超解像処理後
![Page 30: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/30.jpg)
他の超解像技術との違い
1. 理論的限界(ナイキスト周波数)を超える高解像度化が可能
2. 処理が非常に軽い
理論的根拠提示
3. 1枚の画像に適用可能
8K映像でリアルタイム(実時間)処理可能 再構成超解像では処理不可能
複数枚(フレーム)の映像は不要 再構成超解像は複数フレーム必要
4. フォーカスずれにも効果有り
![Page 32: 説明用資料2014 2 14提出.pptx[読み取り専用] PowerPoint - 説明用資料2014_2_14提出.pptx[読み取り専用] Author tsutomu yamagishi Created Date 12/24/2013 3:23:59](https://reader030.vdocuments.mx/reader030/viewer/2022041200/5d2fc4e088c9930e6e8dd7a4/html5/thumbnails/32.jpg)
Thank you!