development of the application that uses imaging technologysisp/old_report/2012/19/project19.pdf ·...
TRANSCRIPT
![Page 1: Development of the application that uses imaging technologysisp/old_report/2012/19/project19.pdf · た。隣り合った画像同士の重なりあう部分を切り落と し、重み付きの透過で2](https://reader031.vdocuments.mx/reader031/viewer/2022011823/5ed46c959801056341574403/html5/thumbnails/1.jpg)
プロジェクト報告書 Project Report 提出日 (Date) 2013/01/16
画像技術を利用したアプリケーションの設計開発
Development of the application that uses imaging technology
1010203 内藤優貴 Yuki Naito
1 背景
近年、科学技術の発展とともに、画像や映像処理の技
術が目覚ましく発達している。3D映像やホログラムを
見せる技術だけでなく、画像や映像を情報として処理
し、コンピューターに認識させる技術も研究が進んでい
る。その中で画像処理に関するプログラミングライブラ
リの一般への普及や、プロジェクターやカメラの小型
化、低価格化等も急速に進み、画像技術はより身近なも
のとなってきている。本プロジェクトでは、頭部の周囲
に複数台のWeb カメラを設置し、それらから取り込ん
だ映像をヘッドマウントディスプレイに投影するような
装置を作製する。また、複数のWebカメラから取り込
んだ映像にユーザーが意識的に干渉できるようなインタ
フェースも合わせて作製する。それにより、日常的に行
なっている「見る」という行為を変化させ、現実ではで
きないことを実現し、未知の体験をすることを目指す。
2 課題の設定と到達目標
私たちのプロジェクトでは、画像技術を利用すること
によって何か面白いものを作ることはできないかと考え
た。そこでヒトの「見る」という行為に注目し、画像技
術を利用することによって、視野を広げたり普段と違う
景色を見ることができたりすれば面白いのではないか
と考えた。それらを踏まえ「ヘッドマウントディスプレ
イと ebカメラを用いた「見る」行為に面白さを付加す
る装置の開発」というテーマを設定し、実際にそのよう
な成果物を作ることを目標とした。人が日常生活で知覚
している周囲の環境を少し変わった形で「見る」ことに
より面白さを生み出し、それを体験する装置の開発を行
う。また、この装置を実現することによって画像処理や
コンピュータビジョンに関するプログラミング知識など
の専門的な技術や知識の習得を行う。これらの目的を達
成するため、コンピュータビジョン向けライブラリであ
る OpenCVを中心としたプログラム設計を行う。
3 課題解決のプロセスとその結果 (前期)
前期は、プロトタイプとしてヘッドマウントディスプ
レイの周辺に 8個のWebカメラを装着した装置を開発
し、これを「I++」と名付けた。I++ という名前には
「私たちが想像した面白さ」を意味する“Interesting”と
“Imagination”という 2つの「I」を、目 (視界) を意味
する“Eye”に付加する、という意味が込められている。
(図 1)
図 1 プロトタイプ
3.1 水平 360度の視界
プロトタイプは、8 個のWeb カメラを切り替えるこ
とで、水平 360度の視界を実現している。これにより、
頭を動かさなくとも後方や横、斜め後方などを見ること
が可能となっている。前方以外の映像を見ながら移動す
る場合、前方に障害物があったとしても回避することが
難しいため、前方確認用として小さなウインドウを視界
の右下に表示出来るようにした。ウィンドウでは、今自
分がどの方向の映像を見ているのかを確認出来るように
するために、Web カメラと同じ個数である 8 個の三角
形を用いて、映像を取得しているWebカメラの位置を
表現し、視界の右上に表示した。(図 2)
3.2 エフェクト
Web カメラから取得した映像に対して、拡大縮小や
回転、2値化処理やネガポジ反転処理といった特殊な効
果を施す、「エフェクト」という機能も実装した。
![Page 2: Development of the application that uses imaging technologysisp/old_report/2012/19/project19.pdf · た。隣り合った画像同士の重なりあう部分を切り落と し、重み付きの透過で2](https://reader031.vdocuments.mx/reader031/viewer/2022011823/5ed46c959801056341574403/html5/thumbnails/2.jpg)
図 2 カメラ方向表示
・グロー効果
物体の輪郭に光芒が発生したように見せ、発光して
いるような効果を付加する。このエフェクトでは、
画像にぼかしを加えたものにオリジナルの画像の
RGB値に加算する処理を行う。
・エッジ検出 (1)
物体の輪郭を抽出して強調表示する。
・ネガポジ反転
画像の色を反転して表示するエフェクトで、画像の
RGB値を反転して表示する。
・エッジ検出 (2)
エッジ検出 (1) よりさらに輪郭を強調して表示す
る。キャニー法と呼ばれるアルゴリズムを利用した
もので、輪郭の検出、輪郭の連続の判定に閾値を設
定し、それに従って処理を行う。(図 3)
図 3 エッジ検出 (2)
・2値化
画像を黒と白の 2 色に変換して表示する。このエ
フェクトでは、画像をグレースケールに変換した
後、明度が閾値以上である部分は白に、閾値以下で
ある部分は黒に変換している。(図 4)
4 課題解決のプロセスとその結果 (後期)
後期では、前期に開発したプロトタイプで得た反省点
などをもとに、新たに最終成果物を開発した。(図 5)
図 4 2値化
図 5 最終成果物
4.1 Webカメラの増設とシームレス結合
最終成果物では、頭の周囲につけるWeb カメラを 26
個に増やした。アクリル材質のボウルにWebカメラを
固定し、それを頭に被るような形にした。また、頭に
被ったときにしっかりと固定されるように、ヘルメット
をボウルに固定して利用した。(図 6)
図 6 頭に被るボウル
頭の周囲に取り付けられた 26 個のWeb カメラから
得られる一つ一つの画像を、一枚の画像になめらかに結
合することで、なめらかな水平 360 度の視界を実現し
た。隣り合った画像同士の重なりあう部分を切り落と
し、重み付きの透過で 2つの画像を繋げた。これによっ
て、多少の違和感はあるものの上手く画像を結合させる
ことができた。
4.2 エフェクトの追加
プロトタイプでは OpenCVの基本的な処理を利用し
た簡単なエフェクトが多かったが、最終成果物では、顔
認識技術などのより高度な技術を使い、様々な新エフェ
![Page 3: Development of the application that uses imaging technologysisp/old_report/2012/19/project19.pdf · た。隣り合った画像同士の重なりあう部分を切り落と し、重み付きの透過で2](https://reader031.vdocuments.mx/reader031/viewer/2022011823/5ed46c959801056341574403/html5/thumbnails/3.jpg)
クトを開発した。以下にいくつかを紹介する。
・シンメトリー
入力画像を元に縦軸を中心とした左右対称の画像を
つくり出す。
・モノクロ
入力画像から色を抜き、グレースケールとして出力
する。
・カラーレトロ
Web カメラから入力された画像の RGB の値の R
成分を強調し、さらに画像の色調を極端にするよう
な操作を行なっている。これによって、ユーザーは
普段見ている視界を赤みがかったレトロ調の視界で
楽しむことができる。
・ドットアニメーション
Webカメラから入力された画像の色調を極端にし、
画像全体にモザイクをかける操作を行なっている。
これによって、ユーザーはファミコンの中の世界に
迷い込んだような視界を楽しむことができる。(図
7)
図 7 ドットアニメーション
・残像
画像に残像のような効果を与える。I++では while
ループを用いることにより表示する画像を更新して
いるが、表示した画像をコピーし 1ループの間だけ
保持し重ねることにより、残像のような効果を作り
出している。(図 8)
図 8 残像
・ヘブン状態
画像に幸せな演出を加える。入力画像に対して予め
用意した虹色のグラデーション画像をオーバーレイ
合成し、さらにその上から光の画像を加算合成して
いる。光がスクロールする演出は変数によって制御
されている。(図 9)
図 9 ヘブン状態
・顔認識モザイク
Web カメラから入力された画像の中から人間の顔
を認識し、顔にモザイクをかけるという効果を与え
る。これによってユーザーは自分が見た人の顔にモ
ザイクがかかっている視界を楽しむことができる。
(図 10)
図 10 顔認識モザイク
・顔ぼかし
Web カメラから入力された画像の中から人間の顔
を認識し、顔をぼやかすという効果を与える。エ
フェクトの内容は顔認識モザイクと似ているが、ぼ
かしをかけることによって、モザイクとは異なる視
界を楽しむことができる。(図 11)
・顔に花
Web カメラから入力された画像の中から人間の顔
を認識し、顔の周囲に花が咲くという効果を与え
る。認識した顔の座標から画像を上書きする場所を
指定し、用意した花の画像を画素値の上書きによっ
て描画する。(図 12)
・天使化
![Page 4: Development of the application that uses imaging technologysisp/old_report/2012/19/project19.pdf · た。隣り合った画像同士の重なりあう部分を切り落と し、重み付きの透過で2](https://reader031.vdocuments.mx/reader031/viewer/2022011823/5ed46c959801056341574403/html5/thumbnails/4.jpg)
図 11 顔認識ぼかし
図 12 顔に花
Web カメラから入力された画像の中から人間の顔
を認識し、頭の上に天使の輪を描画するという効果
を与える。認識した顔の座標から頭の位置を算出
し、用意した天使の輪の画像を画素値の上書きに
よって描画する。(図 13)
図 13 天使化
4.3 機器の可搬化
この I++ では、ノートパソコンやヘッドマウント
ディスプレイのプロセッサなどの様々な機材を使用して
いる。これらの機材を箱(おかもち)に収納して、それ
を背中に背負い身に付けることができるようにした。こ
れによって、I++ を使用しながらの移動が容易になっ
た。(図 14)(図 15)
5 今後の課題
プロジェクト全体目標である「「見る」行為に面白さ
を付加する装置の開発」は、目標の成果物を実際に完成
させることが出来た。現段階の装置では、頭の周囲に取
り付けられた 26 台のWeb カメラを切り替えることに
図 14 おかもち
図 15 おかもち内に収納されている周辺機器
よって周囲 360 度を見る、視界にエフェクトをかけて
普段見ることの出来ない視界を見る、接続されたコント
ローラーによって視界を操作する という 3 点が可能で
ある。今後の改善点としは、Web カメラの切替速度の
向上、装置自体の軽量化・小型化、などが挙げられる。
参考文献
[1] GaryBradski, AdrianKaehler, 松田晃一 . 詳解
OpenCV-コンピュータビジョンライブラリを使っ
た画像処理・認識, オーム社, 2009.