development of the application that uses imaging technologysisp/old_report/2012/19/project19.pdf ·...

プロジェクト報告書 Project Report 提出日 (Date) 2013/01/16

画像技術を利用したアプリケーションの設計開発

Development of the application that uses imaging technology

1010203 内藤優貴 Yuki Naito

1 背景

近年、科学技術の発展とともに、画像や映像処理の技

術が目覚ましく発達している。3D映像やホログラムを

見せる技術だけでなく、画像や映像を情報として処理

し、コンピューターに認識させる技術も研究が進んでい

る。その中で画像処理に関するプログラミングライブラ

リの一般への普及や、プロジェクターやカメラの小型

化、低価格化等も急速に進み、画像技術はより身近なも

のとなってきている。本プロジェクトでは、頭部の周囲

に複数台のWeb カメラを設置し、それらから取り込ん

だ映像をヘッドマウントディスプレイに投影するような

装置を作製する。また、複数のWebカメラから取り込

んだ映像にユーザーが意識的に干渉できるようなインタ

フェースも合わせて作製する。それにより、日常的に行

なっている「見る」という行為を変化させ、現実ではで

きないことを実現し、未知の体験をすることを目指す。

2 課題の設定と到達目標

私たちのプロジェクトでは、画像技術を利用すること

によって何か面白いものを作ることはできないかと考え

た。そこでヒトの「見る」という行為に注目し、画像技

術を利用することによって、視野を広げたり普段と違う

景色を見ることができたりすれば面白いのではないか

と考えた。それらを踏まえ「ヘッドマウントディスプレ

イと ebカメラを用いた「見る」行為に面白さを付加す

る装置の開発」というテーマを設定し、実際にそのよう

な成果物を作ることを目標とした。人が日常生活で知覚

している周囲の環境を少し変わった形で「見る」ことに

より面白さを生み出し、それを体験する装置の開発を行

う。また、この装置を実現することによって画像処理や

コンピュータビジョンに関するプログラミング知識など

の専門的な技術や知識の習得を行う。これらの目的を達

成するため、コンピュータビジョン向けライブラリであ

る OpenCVを中心としたプログラム設計を行う。

3 課題解決のプロセスとその結果 (前期)

前期は、プロトタイプとしてヘッドマウントディスプ

レイの周辺に 8個のWebカメラを装着した装置を開発

し、これを「I++」と名付けた。I++ という名前には

「私たちが想像した面白さ」を意味する“Interesting”と

“Imagination”という 2つの「I」を、目 (視界) を意味

する“Eye”に付加する、という意味が込められている。

(図 1)

図 1 プロトタイプ

3.1 水平 360度の視界

プロトタイプは、8 個のWeb カメラを切り替えるこ

とで、水平 360度の視界を実現している。これにより、

頭を動かさなくとも後方や横、斜め後方などを見ること

が可能となっている。前方以外の映像を見ながら移動す

る場合、前方に障害物があったとしても回避することが

難しいため、前方確認用として小さなウインドウを視界

の右下に表示出来るようにした。ウィンドウでは、今自

分がどの方向の映像を見ているのかを確認出来るように

するために、Web カメラと同じ個数である 8 個の三角

形を用いて、映像を取得しているWebカメラの位置を

表現し、視界の右上に表示した。(図 2)

3.2 エフェクト

Web カメラから取得した映像に対して、拡大縮小や

回転、2値化処理やネガポジ反転処理といった特殊な効

果を施す、「エフェクト」という機能も実装した。

図 2 カメラ方向表示

・グロー効果

物体の輪郭に光芒が発生したように見せ、発光して

いるような効果を付加する。このエフェクトでは、

画像にぼかしを加えたものにオリジナルの画像の

RGB値に加算する処理を行う。

・エッジ検出 (1)

物体の輪郭を抽出して強調表示する。

・ネガポジ反転

画像の色を反転して表示するエフェクトで、画像の

RGB値を反転して表示する。

・エッジ検出 (2)

エッジ検出 (1) よりさらに輪郭を強調して表示す

る。キャニー法と呼ばれるアルゴリズムを利用した

もので、輪郭の検出、輪郭の連続の判定に閾値を設

定し、それに従って処理を行う。(図 3)

図 3 エッジ検出 (2)

・2値化

画像を黒と白の 2 色に変換して表示する。このエ

フェクトでは、画像をグレースケールに変換した

後、明度が閾値以上である部分は白に、閾値以下で

ある部分は黒に変換している。(図 4)

4 課題解決のプロセスとその結果 (後期)

後期では、前期に開発したプロトタイプで得た反省点

などをもとに、新たに最終成果物を開発した。(図 5)

図 4 2値化

図 5 最終成果物

4.1 Webカメラの増設とシームレス結合

最終成果物では、頭の周囲につけるWeb カメラを 26

個に増やした。アクリル材質のボウルにWebカメラを

固定し、それを頭に被るような形にした。また、頭に

被ったときにしっかりと固定されるように、ヘルメット

をボウルに固定して利用した。(図 6)

図 6 頭に被るボウル

頭の周囲に取り付けられた 26 個のWeb カメラから

得られる一つ一つの画像を、一枚の画像になめらかに結

合することで、なめらかな水平 360 度の視界を実現し

た。隣り合った画像同士の重なりあう部分を切り落と

し、重み付きの透過で 2つの画像を繋げた。これによっ

て、多少の違和感はあるものの上手く画像を結合させる

ことができた。

4.2 エフェクトの追加

プロトタイプでは OpenCVの基本的な処理を利用し

た簡単なエフェクトが多かったが、最終成果物では、顔

認識技術などのより高度な技術を使い、様々な新エフェ

クトを開発した。以下にいくつかを紹介する。

・シンメトリー

入力画像を元に縦軸を中心とした左右対称の画像を

つくり出す。

・モノクロ

入力画像から色を抜き、グレースケールとして出力

する。

・カラーレトロ

Web カメラから入力された画像の RGB の値の R

成分を強調し、さらに画像の色調を極端にするよう

な操作を行なっている。これによって、ユーザーは

普段見ている視界を赤みがかったレトロ調の視界で

楽しむことができる。

・ドットアニメーション

Webカメラから入力された画像の色調を極端にし、

画像全体にモザイクをかける操作を行なっている。

これによって、ユーザーはファミコンの中の世界に

迷い込んだような視界を楽しむことができる。(図

7)

図 7 ドットアニメーション

・残像

画像に残像のような効果を与える。I++では while

ループを用いることにより表示する画像を更新して

いるが、表示した画像をコピーし 1ループの間だけ

保持し重ねることにより、残像のような効果を作り

出している。(図 8)

図 8 残像

・ヘブン状態

画像に幸せな演出を加える。入力画像に対して予め

用意した虹色のグラデーション画像をオーバーレイ

合成し、さらにその上から光の画像を加算合成して

いる。光がスクロールする演出は変数によって制御

されている。(図 9)

図 9 ヘブン状態

・顔認識モザイク

Web カメラから入力された画像の中から人間の顔

を認識し、顔にモザイクをかけるという効果を与え

る。これによってユーザーは自分が見た人の顔にモ

ザイクがかかっている視界を楽しむことができる。

(図 10)

図 10 顔認識モザイク

・顔ぼかし

Web カメラから入力された画像の中から人間の顔

を認識し、顔をぼやかすという効果を与える。エ

フェクトの内容は顔認識モザイクと似ているが、ぼ

かしをかけることによって、モザイクとは異なる視

界を楽しむことができる。(図 11)

・顔に花

Web カメラから入力された画像の中から人間の顔

を認識し、顔の周囲に花が咲くという効果を与え

る。認識した顔の座標から画像を上書きする場所を

指定し、用意した花の画像を画素値の上書きによっ

て描画する。(図 12)

・天使化

図 11 顔認識ぼかし

図 12 顔に花

Web カメラから入力された画像の中から人間の顔

を認識し、頭の上に天使の輪を描画するという効果

を与える。認識した顔の座標から頭の位置を算出

し、用意した天使の輪の画像を画素値の上書きに

よって描画する。(図 13)

図 13 天使化

4.3 機器の可搬化

この I++ では、ノートパソコンやヘッドマウント

ディスプレイのプロセッサなどの様々な機材を使用して

いる。これらの機材を箱（おかもち）に収納して、それ

を背中に背負い身に付けることができるようにした。こ

れによって、I++ を使用しながらの移動が容易になっ

た。(図 14)(図 15)

5 今後の課題

プロジェクト全体目標である「「見る」行為に面白さ

を付加する装置の開発」は、目標の成果物を実際に完成

させることが出来た。現段階の装置では、頭の周囲に取

り付けられた 26 台のWeb カメラを切り替えることに

図 14 おかもち

図 15 おかもち内に収納されている周辺機器

よって周囲 360 度を見る、視界にエフェクトをかけて

普段見ることの出来ない視界を見る、接続されたコント

ローラーによって視界を操作する という 3 点が可能で

ある。今後の改善点としは、Web カメラの切替速度の

向上、装置自体の軽量化・小型化、などが挙げられる。

参考文献

[1] GaryBradski, AdrianKaehler, 松田晃一 . 詳解

OpenCV-コンピュータビジョンライブラリを使っ

た画像処理・認識, オーム社, 2009.