平成25年度 中間発表 - oita...
TRANSCRIPT
所属 大隈研究室
指導教員 大隈ひとみ
発表者 渡邉 賢明
平成25年度 卒業研究 中間発表
目次
1. はじめに
2. テーマ変更について
3. 使用ソフトについて
4. 現在までにできていることについて
5. CG映し出しのプログラムの説明と問題点
6. 音声再生のプログラムと改良点
7. 今後の課題
8. 開発環境
9. 参考文献
1. はじめに
•筒井浩平氏
「Android端末でのARアプリケーションの開発」 （平成23年度卒業研究）
→AR技術に関心を持った
• AR（Augmented Reality) 拡張現実
現実の環境から与えられる情報に、コンピュータが作り出した情報を
付加し、補足の情報を与える技術。
IDEA＊IDEA
（http://www.ideaxidea.com/archives/2010/06/ikea_ar_catalog.html）
IKEAの事例
2.1 テーマ変更について
• 構想発表
『AR技術を用いたグリーティングカード作成ソフトの開発』
• 機能：
①ユーザ1（作成者）が写真を使ってARを作れる。
②ユーザ1が作ったARをユーザ2（閲覧者）が端末を使い閲覧できる。
• 変更理由：
1. ARの良さを活かせない。（あらゆる角度から見える、音声など）
2. プログラム一つ一つをしっかり理解したい。
3. ユーザの手間を極力省きたい。
2.2 開発アプリの概要
•対象：小学生以下の子ども
•使用シーン：スマホorタブレットを持つ親と一緒に
車の名前・特徴を学ぶ
• コンテンツ：働く車（パトカー・救急車・消防車）
•機能：CGの映し出し
CGと対応した音声の再生
CG映し出しの際に車の名称表示
動きのあるCG
実行画面（合成）
3.1 NyARToolkit
• C言語ライブラリ「ARToolkit」を参考に実装された
オープンソースのライブラリ
• ARアプリケーションが容易に作成可能
• ARToolkitと違う点
画像サイズ無制限
IDマーカ判別機能 など
サンプル実行画面
3.2 CG作成ソフトについて
フリーソフトである
サンプルCGがあり、色々と試すことが可能なソフト
メタセコイアを使用
実行画面
4. 現在までに出来ていること
• CGの映し出し
• マーカに対応した音声の再生
• カメラ上に文字の表示
• データ元
• メタセコ素材！
(http://sakura.hippy.jp/meta/)
• BowRoll
(http://bowlroll.net/up/dl6192)
5.1 CGの映し出しのプログラム 映し出す
メタセコイアデータを指定
実際に格納している場所を取得 3Dを処理するレンダラー
5.2 CGの映し出しのプログラム マーカの検出
３Dモデル表示準備 （マーカの種類判別・3D変換行列取得）
レンダラーに ３D描画命令を送る
5.3 CGの映し出しのプログラム
マーカ上にCGを映し出す
5.4 CG映し出しの問題点 • 『CGの半分しか映し出されない』
5.5 解決策
• 原因：
メタセコイアでCG作成時…
ミラーリングを行った際に、フリーズ作業を行っていない。
○ミラーリング…左右片方を作り、左右対称の鏡像を
反対側に映し出す機能。
○フリーズ作業…鏡像を実体化にする機能。
ミラーリングした際、他ソフトで形を表示させるために必要な機能。
メタセコイアで簡単なモデリング(人)
（http://cg.xyamu.net/metasequoia/entry67.html）
6.1 音声再生のプログラム
音源設定
音声再生手順
6.2 音声再生のプログラム
音声再生
音声停止
6.3 音声再生の問題点 •原因：
isDetect ⇒マーカを見つけたら
Trueになる設定
各マーカに対応したisDetectを用意する必要がある。
6.4 マーカごとに音声を切り替えるプログラム
３Dモデル表示準備
（マーカの種類判別・3D変換行列取得）
patthiroを認識したらisDetect[0]=True
pattkanjiを認識したらisDetect[1]=True
検出したマーカの配列番号取得 patthiro=0; pattkanji=1
6.5 マーカごとに音声を切り替えるプログラム
isDetect[0]⇒patthiroを認識した時
mp[0]⇒patthiroに対応した音再生
isDetect[1]⇒pattkanjiを認識した時
mp[1]⇒pattkanjiに対応した音再生
再生の操作
7.1 今後の課題
• CGに動きを加える
• マーカを認識したら対応した文字が表示されるようにする
• CGをタッチしたら音声が鳴るようにする
• CG作成
7.2 最終審査までのスケジュール
月 項目
10月 CG作成（10月～） 文字表示
11月 CGの動き
12月 タッチした際の動作
最終審査
8.開発環境
9.1 参考文献・参考サイト • 6/4
• IDEA＊IDEA
（http://www.ideaxidea.com/archives/2010/06/ikea_ar_catalog.html）
• 7/26
• モバイルARアプリ開発“超”入門
（http://www.atmarkit.co.jp/ait/articles/1110/24/news120.html）
• 8/27
• NyARToolKit for Android
（http://sixwish.jp/Nyartoolkit/Android/）
• 9/26
• メタセコ素材！
(http://sakura.hippy.jp/meta/)
• 10/1
• Yahoo!知恵袋
（http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q1186788751）
9.2 参考文献・参考サイト • 10/11
• 逆引きAndroid入門
（http://www.adakoda.com/android/000071.html）
• 10/13
• メタセコイアで簡単なモデリング(人)
（http://cg.xyamu.net/metasequoia/entry67.html）
• 10/15
• BowRoll
(http://bowlroll.net/up/dl6192)
• Metasequoia初心者講座
（http://ktg.xii.jp/mqo/mqo-basic/mqobsc_001.html）
3.1 構想発表から現在までの変更点について •開発環境
• 構想発表 中間発表
• Processingとは…
Java言語を簡略し、
グラフィックス処理に特化した言語
• JavaとAndroidのプログラムを作成することが
可能
• 変更理由：参考文献が少ない。
• （引用：http://yasakawa.blogspot.jp/2012/02/processing.html）
3.1 NyARToolkit
•加藤博一氏（現奈良先端科学技術大学院大学教授）と
ワシントン大学HITL（Human Interface Technology Lab)によって
開発されたC言語ライブラリ「ARToolkit」を参考に実装された
オープンソースのライブラリ
• ARアプリケーションが容易に作成可能
• ARToolkitと違う点
画像サイズ無制限
IDマーカ判別機能 など
4.2 問題点２ • 『CGに色が塗られていない』
問題点2
•原因：
テクスチャファイルを格納していない。
• テクスチャ…CGの面に貼り付ける2D画像。
（例：模様、色、顔など）
5.3 プログラムの説明
マーカの検出処理
マーカ検出の変数設定
マーカ区別に使用
5.2 プログラムの説明 パターンファイル設定 patt[0]=patthiro patt[1]=pattkanji
音源設定
5.5 プログラムの説明
isDetect[0]⇒patthiroを認識した時
isDetect[1]⇒pattkanjiを認識した時
mp[0]⇒patthiroに対応した音再生
mp[1]⇒pattkanjiに対応した音再生
5.4 プログラムの説明
patthiroを認識したらisDetect[0]=True
pattkanjiを認識したらisDetect[1]=True
マーカの一致率が60％を超えるか判定
3.1 NyARToolkit
•加藤博一氏（現奈良先端科学技術大学院大学教授）と
ワシントン大学HITL（Human Interface Technology Lab)によって
開発されたC言語ライブラリ「ARToolkit」を参考に実装された
オープンソースのライブラリ
• ARToolkitと違う点
画像サイズ無制限
IDマーカ判別機能 など
3.3 メタセコイアについて
•拡張子 .mqo
•株式会社テトラフェイスが開発や提供をしている3DCG作成ソフト
• フリーソフトとして使用可能
• サンプルデータ有
• 使用説明サイトも豊富
• NyARToolkitに対応
5.9 マーカごとに音声を切り替えるプログラム
パターンファイル設定 patt[0]=patthiro patt[1]=pattkanji
マーカに対応した順番で配置
• http://harukasaigusa.blog116.fc2.com/blog-entry-21.html
1. はじめに
•筒井浩平氏
「Android端末でのARアプリケーションの開発」 （平成23年度卒業研究）
→AR技術に関心を持った
• AR（Augmented Reality) 拡張現実
現実の環境から与えられる情報に、コンピュータが作り出した情報を
付加し、補足の情報を与える技術。
IDEA＊IDEA
（http://www.ideaxidea.com/archives/2010/06/ikea_ar_catalog.html）
1.1 ARについて
手軽に作れそうなソフトはあるのか？
誰でも簡単にＡＲを作ることができるソフトを開発したい！
ARの仕組みについて勉強してみたい！！
開発環境を
整えなければいけない
ＷＥＢカメラが必要
お金がかかる
ユーザ① ユーザ②
グリーティングカード 作成者
閲覧者
AR
1.2 イメージ図
2. 3種類のAR
• ①ロケーションベースAR
GPSなどから取得可能な位置情報を利用して情報提示を行う
例）セカイカメラ
• ②マーカ型ビジョンベースAR
決まった形の図形を認識することによって情報を提示する
例）IKEAのカタログ
• ③マーカレス型ビジョンベースAR
現実の環境に実在する物体や空間そのものを認識・識別し、
それを基に提示位置を特定し情報を出現させる。
例）てのりん
2.1 マーカ型ビジョンベースAR
決まった形の図形を認識することによって情報を提示する
表示位置を指定する画像
・枠と枠外の色は不一致
・線対称・点対称を避ける
工学ナビ
（http://kougaku-navi.net/index.html）
3. ＡＲマーカの仕組み
数値データ （パターンファイル）
CGデータ
3.1 パターンファイル （例：patt.hiro)
• パターンファイルの作り方
①マーカを作る。
②専用のソフトを使い、パソコンにつないだ
WEBカメラで映す。
・ ARToolKit Marker Generator Online
・ mk_patt.exe
数値化
パターンファイル
3.2 NyIDマーカ
• 3000万以上のパターンが存在
•直接数値情報を読み取ることができる。
→パターンファイルが必要でない
データベース
4. グリーティングカード作成・閲覧の概要
ユーザ① ユーザ②
グリーティングカード 作成者 閲覧者
マーカID番号
マーカID番号
4.1 作成者と閲覧者の機能
作成者 閲覧者
①
マーカとコンテンツの 関連付け
・写真選択 ・マーカ選択 ・フレーム選択
関連付けデータの
読み込み機能
②
サーバへの
アップロード機能
マーカ認識と
コンテンツの再生
4.2 作成者側実行画面
4.3 閲覧者側実行画面
5. 中間までの取り組み 月 項目
7月
マーカとコンテンツ 関連付け機能の
作成
マーカ認識と コンテンツの再生 のシステム構築
8月
9月
10月
中間発表
6. 開発環境
OS Windows 7
言語 Java
ライブラリ
• ＮｙＡＲ4psg • Mqo Viewer
Library for Processing
OS Windows 7
言語 Java
統合開発環境 Eclipse
ライブラリ NyARToolkit for
Android
7. 参考文献
• ARプログラミング Processingでつくる拡張現実感のレシピ
（橋本直著：オーム社：2012年：）
• The Sixwish project
（http://sixwish.jp/AR/Marker/section01/）
• IT用語辞典 e-Words
（http://e-words.jp/w/AR-2.html）
（http://e-words.jp/w/ARE3839EE383BCE382ABE383BC.html）
• メタセコ素材！
（http://sakura.hippy.jp/meta/）
• IDEA＊IDEA
（http://www.ideaxidea.com/archives/2010/06/ikea_ar_catalog.html）
7. 参考文献
• 工学ナビ
（http://kougaku-navi.net/index.html）
• Google play
(https://play.google.com/store/apps/details?id=com.tonchidot.sekaicamera&hl=ja)
(https://play.google.com/store/apps/details?id=com.kddi.ar.satch.satchviewer)
• アットマーク・アイティ
(http://www.atmarkit.co.jp/ait/articles/1109/26/news136.html)