cvsaisentan5 multi view stereo 3.3
TRANSCRIPT
![Page 1: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/1.jpg)
CV勉強会@関東 発表資料
CV最先端ガイド5 複数画像からの三次元復元手法
3.3章-4章
2015/03/28 takmin
![Page 2: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/2.jpg)
自己紹介
テクニカル・ソリューション・アーキテクトテクニカル・ソリューション・アーキテクトテクニカル・ソリューション・アーキテクトテクニカル・ソリューション・アーキテクト
皆川皆川皆川皆川 卓也(みながわ卓也(みながわ卓也(みながわ卓也(みながわ たくや)たくや)たくや)たくや)フリーエンジニア(ビジョン&フリーエンジニア(ビジョン&フリーエンジニア(ビジョン&フリーエンジニア(ビジョン&ITラボ)ラボ)ラボ)ラボ)
「コンピュータビジョン勉強会@関東」主催「コンピュータビジョン勉強会@関東」主催「コンピュータビジョン勉強会@関東」主催「コンピュータビジョン勉強会@関東」主催
博士(工学博士(工学博士(工学博士(工学))))
略歴:略歴:略歴:略歴:1999-2003年年年年
日本日本日本日本HP(後にアジレント・テクノロジーへ分社)にて、(後にアジレント・テクノロジーへ分社)にて、(後にアジレント・テクノロジーへ分社)にて、(後にアジレント・テクノロジーへ分社)にて、ITエンジニアとしてシステム構築、プリエンジニアとしてシステム構築、プリエンジニアとしてシステム構築、プリエンジニアとしてシステム構築、プリ
セールス、プロジェクトマネジメント、サポート等の業務に従事セールス、プロジェクトマネジメント、サポート等の業務に従事セールス、プロジェクトマネジメント、サポート等の業務に従事セールス、プロジェクトマネジメント、サポート等の業務に従事
2004-2009年年年年
コンピュータビジョンを用いたシステムコンピュータビジョンを用いたシステムコンピュータビジョンを用いたシステムコンピュータビジョンを用いたシステム/アプリアプリアプリアプリ/サービス開発等にサービス開発等にサービス開発等にサービス開発等に従事従事従事従事
2007-2010年年年年
慶應義塾大学大学院慶應義塾大学大学院慶應義塾大学大学院慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻後期博士課程にて、コンピュータビジョンを専攻後期博士課程にて、コンピュータビジョンを専攻後期博士課程にて、コンピュータビジョンを専攻
単位取得退学後、博士号取得(単位取得退学後、博士号取得(単位取得退学後、博士号取得(単位取得退学後、博士号取得(2014年)年)年)年)
2009年年年年-現在現在現在現在
フリーランスとして、コンピュータビジョンのコンサルフリーランスとして、コンピュータビジョンのコンサルフリーランスとして、コンピュータビジョンのコンサルフリーランスとして、コンピュータビジョンのコンサル/研究研究研究研究/開発等に従事開発等に従事開発等に従事開発等に従事2
![Page 3: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/3.jpg)
発表内容
3.3 デプスマップからのメッシュ復元
3.4 復元結果
4 むすび
3
![Page 4: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/4.jpg)
3.3 デプスマップからのメッシュ復元
� 複数のデプスマップを融合してポリゴンメッシュを復元したい
4
![Page 5: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/5.jpg)
メッシュ復元の流れ
1. 三次元空間をボクセルで離散化。
� ボクセルがノードでボクセル同士の接続をエッジとしたグラフ
Voxel Node Edge
5
![Page 6: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/6.jpg)
メッシュ復元の流れ
2. それぞれのボクセルが物体の内部にあるのか外部にあるのかを推定する。
In
Out
6
![Page 7: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/7.jpg)
メッシュ復元の流れ
3. InとOutの境界部分をMarching-cubesなどの手法でポリゴンメッシュとして復元する
7
![Page 8: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/8.jpg)
Marching-cubes
� 隣り合う8つボクセルがどのようなIn/Outの組み合わせかによって割り当てるポリゴンを決めるアルゴリズム
8
![Page 9: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/9.jpg)
In-Outの二値ラベリング手法
� エッジにデプスマップ情報を埋め込む手法
� ノードにデプスマップ情報を埋め込む手法
In
Out
9
![Page 10: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/10.jpg)
In-Outの二値ラベリング手法
� エッジにデプスマップ情報を埋め込む手法
� ノードにデプスマップ情報を埋め込む手法
In
Out
10
![Page 11: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/11.jpg)
エッジにデプスマップ情報を埋め込む
1. 各ボクセルにノードを隣接関係に双方向のエッジを持たせる
11
![Page 12: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/12.jpg)
エッジにデプスマップ情報を埋め込む
2. 各デプスマップの表面と交差するグラフのエッジをマーク (InからOut)
12
![Page 13: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/13.jpg)
エッジにデプスマップ情報を埋め込む
3. 各視点を統合し、多くの視点でマークされたエッジほど小さい容量を設定する。
容量小さい
13
![Page 14: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/14.jpg)
エッジにデプスマップ情報を埋め込む
4. 「Source」と「Sink」ノードを加え、Sinkを一番外側のボクセルノードと結び、容量を無限大に、Sourceを全てのノードと結び容量を小さな定数に設定する。
14
![Page 15: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/15.jpg)
エッジにデプスマップ情報を埋め込む
5. 最大フロー最小カット問題を解き、「Sink」側のノードを外部、「Source」側のノードを内部とラベリングする。
15
![Page 16: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/16.jpg)
最大フロー最小カット問題
� グラフをSourceからSinkへ向かうエッジの切断コストの和が最小となるように分割する。
Source
Sink
1000
0.001
2
2
2
2
2
0.25
0.5
2
最最最最小カット小カット小カット小カット
= = = = 0.001+0.25+0.5+0.0010.001+0.25+0.5+0.0010.001+0.25+0.5+0.0010.001+0.25+0.5+0.001
16
![Page 17: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/17.jpg)
In-Outの二値ラベリング手法
� エッジにデプスマップ情報を埋め込む手法
� ノードにデプスマップ情報を埋め込む手法
In
Out
21
![Page 18: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/18.jpg)
ノードにデプス情報を埋め込む
1. 各カメラから見てデプス表面より手前のボクセルをOut、表面と接した一つ奥のボクセルをInとマークする。
22
![Page 19: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/19.jpg)
ノードにデプス情報を埋め込む
2. デプスマップを融合し、各ボクセルがOut/Inとマークされた回数を数える。(In > OutならばInの可能性高)
23
![Page 20: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/20.jpg)
ノードにデプス情報を埋め込む
3. ノイズの影響を除去するため、隣り合うボクセルは同じラベルになりやすいような制約をつけて、Graph-cutsでラベルを判定
24
![Page 21: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/21.jpg)
ノードにデプス情報を埋め込む
3. ノイズの影響を除去するため、隣り合うボクセルは同じラベルになりやすいような制約をつけて、Graph-cutsでラベルを判定
� � �
�
� � �
(��,��)∈��
エネルギー最小化問題エネルギー最小化問題エネルギー最小化問題エネルギー最小化問題
全ボクセルにつけられたラベルの組み合わせで決まるエネルギー
隣り合うボクセルのラベルが同じなら0、違うなら1
付与したラベルの負のカウント数
25
![Page 22: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/22.jpg)
3.4 復元結果
� 16枚の640x480画素の画像から復元した結果
photo-consistencyが低い(黒)
デプスマップ入力画像 メッシュ化して別の角度からレンダリング27
![Page 23: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/23.jpg)
3.4 復元結果
� 16枚の640x480画素の画像から復元した結果
デプスマップ入力画像 メッシュ化して別の角度からレンダリング28
![Page 24: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/24.jpg)
3.4 復元結果
� 312枚の640x480画素の画像から復元した結果
� 最大フロー/最小カットアルゴリズム使用
入力画像例
ポリゴンメッシュ
29
![Page 25: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/25.jpg)
3.4 復元結果
� 3枚の3456x2304画素の画像から復元した結果
テクスチャがなく、復元が難しい30
![Page 26: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/26.jpg)
3.4 復元結果
� 140枚の3456x2304画素の画像から復元した結果
入力画像例
ポリゴンメッシュ
31
![Page 27: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/27.jpg)
3.4 復元結果
� 72枚の5M画素のデプスマップから復元した結果
� Graph-cutを使用
32
![Page 28: cvsaisentan5 Multi View Stereo 3.3](https://reader034.vdocuments.mx/reader034/viewer/2022042701/55a8d8821a28aba93e8b4600/html5/thumbnails/28.jpg)
4. むすび
�近年の三次元フォトグラフィー技術の進化
� 10cm四方の物体を10枚ほどの画像から0.1mm以
下の精度
�三次元復元の流れ、利用可能なソフトウェア/
サービスの紹介
� MVSアルゴリズムの詳細の解説
33