【vdc6】世界初？無線を使わない、cgキャラクターとのarダンスレッスン
TRANSCRIPT
2016/02/26
アイティアクセス（株）
江 天
世界初？無線を使わない、
CGキャラクタとのARダンスレッスン
1
会社概要会社名：アイティアクセス株式会社所在地： 本社 〒222-8545
神奈川県横浜市港北区新横浜3-17-6TEL：045-474-9095 / FAX：045-474-8823 大阪営業所 〒541-0054大阪府大阪市中央区南本町2-6-12サンマリオンＮＢＦタワー 16階TEL：06-6121-8005 / FAX：06-6121-8038
E-mail： [email protected]： http://www.itaccess.co.jp/設立：2000年4月25日資本金：2億円主要株主：イノテック株式会社 ８５％
株式会社ACCESS １５％役員：代表取締役社長 高橋 尚取締役 高木 敏宏取締役 澤村 宗仁
従業員数：62名（2015年3月31日現在、役員除く）取引先銀行：みずほ銀行/新横浜支店/りそな銀行/
新横浜支店/横浜銀行/新横浜支店
会社概要
横浜本社（イノテックビル） 大阪営業所（サンマリオンNBFタワー）
• 特に画像表示関連製品の仕事が多いです
Digital PianoKARAOKEGame
FA Controller
Navigation OA
Handy MultimediaIP 伝送装置
IC card
TV / Internet TV
Digital Camera
STB
L-mode
Recorder
2
2013年～AR向け各種ミドルウェアを移植・販売
– Vuzix M100, EPSON BT-200, Telepathy Jumper …
• コンテンツ開発ツール・Ｅｎｇｉｎｅ– SEGA Acroarts
• 画像認識ライブラリ–モルフォ
• 動画双方向通信– ACCESS NetFront VideoTalk
• マーカ認識– Qualcomm Vuforia
3
• センサAPI、ARマーカとの連動合成
• 双方向動画通信
• 顔認識
– いずれもＭ１００上にて移植動作
4
• 福井県主催– ２０１５年１１月～– 鯖江の眼鏡産業– ２０１８年福井国体
5
• 福井国体でのＡＲコンテンツ化を見据えてマスコットキャラクタ「はぴりゅう」を３ＤＣＧキャラクタ化する
• 実際に踊る「はぴねすダンス」とＣＧキャラによるダンスを連動させることで、大会アピールにつなげる
• 両手が使えて、どの方向からでも画像が確認できる、HMD「ならでは」のメリットを生かす
6
• あらかじめ電子透かしデータを入れた音楽（はぴねすダンス）を流す
→ HMDに表示されたＣＧキャラクタ（はぴりゅう）が音楽に連動して踊る
7
はぴねすダンスの音楽をかけてみると…
はぴりゅうが踊り出すから、合わせて踊ってみよう
はぴりゅうが見えるかな？
まずスマートグラスをかけてみよう
映っているものがみえるように調整してね
※WiFiなどは一切接続していません。音楽のみで連動動作します。
• 動画だと単にCGとダンスを同時再生しているだけに見えるが、実際は「鳴っている音に反応してダンス」している
8
• 音声透かし技術とタイムコード– ダンスの曲内にタイムコードの透かし情報を埋め込む
• 透かし情報は人間の耳には聞こえない
– ＨＭＤまたはタブレットのマイクが音を拾い解析 →タイムコード取得
• ベース技術– Civolution社 SYNCNOWを使用
→ NexGuard社に分社、コンテンツ保護に
• メリット– ＷｉＦｉなどの設定は一切不要。マイクのみでOK
– 1対多で接続数制限がない
– 時間軸で連動させることができる– タブレットやスマホでも同様のことが可能（ただしかざす必要がある）
9
• PCスピーカからサウンドを鳴らし、M100を付けて踊ってもらう
• 総勢400名程度が実験に参加
• 周囲の雑音がかなり大きくても認識は良好• M100の携帯性はダンス向き
• 小さい子供への利用は課題が多い（非透過、装着性、視認性）• やはり消費電力が課題
10
• 体育館のスピーカーでのテスト–音楽CD（電子透かし埋め込み済）を再生
–問題なく認識成功–ダンス同期も問題なし
11
• ダンスゲームのようにミラー反転すべきだった？• ダンスの振付に適したキャラクタではないので･･･
• 無音では透かし情報が埋め込められない• タイムコード取得には数秒を要する
– ので、いきなりダンスが開始されると厳しい
12
「バーチャルキャラクタ模範演技」
• 音楽が開始されると、バーチャルキャラクタが音楽に合わせて模範演技を行う
• 持ち込んだHMDもしくはタブレットにてアプリを起動するだけでOK
動画との違い：
• 実際に鳴る音楽とキャラクタの再生タイミングが自動的に合わせられる
• 実演技とCG演技を比較して同時に見ることができる
2018年福井国体、2020年オリンピックに!!とするには、もう一捻りアイデアがないと・・・
13
タブレット/スマホ VR-HMD AR-HMD
普及率 ◎ △ ×
コスト ◎ △ △
堅牢さ ○ ○ △
没入感 × ◎ ○
携帯性 ○ × △
作業性（両手がつかえるか） × ○ ◎
操作性 ○ ○別デバイス
×
• 混同されがちだが、ARとVRは目指す方向性が全く逆
• タブレットや腕時計で済む用途なら、あえてHMDでやる意味は無い
→ AR-HMD「ならでは」の利点を生かしたキラーアプリが必要
14
• コンテンツ開発ツール/Engine
– Unity / UnReal ･･･ 無償版あり
• 画像認識ライブラリ– OpenCV、Google Cloud Vision等 ･･･ 無償
• 動画双方向通信– WebRTC ･･･ OS付属
• マーカ認識– Vuforia、ARToolKit ･･･ 無償版あり
⇒ 今後はほとんどのツール・ライブラリが無償になり、サービスやコンテンツのアイデアが中心になる
15
• 求められるもの–情報の視覚への投影
• 網膜走査型（富士通レーザーアイウェア）• 究極的には視神経への直接接続が理想？
–電子的情報の付加• 情報量は取捨選択され、質が高いほど良い
– 「ウェアラブル」による携帯性• 常に身に着けることによるメリット• 両手が使えること 視線追尾も？
→ つまり、「いつでも」「欲しい情報を」
「視界を妨げず」「操作せず」取れること
常時接続にて機械学習型画像認識、AIエンジンのアシストとか
16
• 今回用いたCivolution社の音声・映像透かし技術SyncNow以外でも
• Sassor社 「Abis」
– IoT向けビッグデータ分析エンジン
• モルフォ 「Scene Classifier」
– 「Deep Learning」を用いた画像認識組み込みソフトウェア
などなど、様々なソフトウェアの組み合わせをベースに、
顧客の求めるサービスに沿った形でトータル提案をしていきます
17
