Transcript
Page 1: センサー・VR・MR 基本とオススメ

センサー・VR・MR

基本とオススメ

一般社団法人T.M.C.N

株式会社ホロラボ株式会社システムフレンド

前本知志

Page 2: センサー・VR・MR 基本とオススメ

・KINECTやHoloLens等のセンサーデバイスを使ったアプリ(イベントコンテンツ、画像処理、画像認識、医療系)ARアプリ、VRアプリ、MixedRealityアプリなどを作っています。http://www.systemfriend.co.jp/kinect_nui https://youtu.be/ZSXwhj8HqkE

・株式会社ホロラボ Co-founder(共同創設者)http://hololab.co.jp/

・TMCN (Tokyo MotionControl Network) Co-founder(共同創設者)https://www.facebook.com/TokyoMotioncontrolNetwork

・著書「Intel RealSense SDK センサープログラミング」https://www.shoeisha.co.jp/book/detail/9784798139630

・Microsoft MVP for Windows Developmenthttps://mvp.microsoft.com/ja-jp/PublicProfile/5002154?fullName=Satoshi%20%20Maemoto

前本 知志

2

Page 3: センサー・VR・MR 基本とオススメ

属性関連図

3

株式会社システムフレンドシステム開発部 部長

株式会社ホロラボCo-fouder (共同創設者)

一般社団法人T.M.C.N

Co-fouder (共同創設者)

Microsoft MVP

Windows Development

(Windows Mixed Reality)

前本 知志 US

Microsoft Corp.

パートナー

AR・MR・VR開発 センサー&デバイスコミュニティ

HoloLens専門

Page 4: センサー・VR・MR 基本とオススメ

情報専門学校ではこれまで

プログラミングコンテスト審査員学園祭での展示

センサーについての課外授業

などをさせて頂いています。

Page 5: センサー・VR・MR 基本とオススメ

VR・MR

(XR)

Page 6: センサー・VR・MR 基本とオススメ

知っておくと頭が良さそうに思われる?表

日本語名 見分けるポイント

VR(ブイアール) 仮想現実 宇宙とか体内とか女の子の部屋とか、ありえない場所に放り込まれる振り向くとゾンビがいる

MR(エムアール) 複合現実 カメラ映像または普通に眼鏡越しで現実世界が見える

CGが常にカメラ映像の手前に表示されるものもあれば、CGに自分の手をかざすと手より前のCGは見えるし、手より奥のCGは手に隠れるものもある

これらは基本的には現実と仮想の比率が変わるだけで同じものです。この表は学術的には正しくないですが、普通の人に知ったかぶりするには十分です。

Page 7: センサー・VR・MR 基本とオススメ

VRの例

Page 8: センサー・VR・MR 基本とオススメ

MR(AR)の例

Page 9: センサー・VR・MR 基本とオススメ

オススメ機材事例紹介

ラボにもあるよ!

Page 10: センサー・VR・MR 基本とオススメ

オススメ01

KINECT V2

Page 11: センサー・VR・MR 基本とオススメ

http://www.systemfriend.co.jp/charamirror

ラボにもあります!

DEMO

Page 12: センサー・VR・MR 基本とオススメ

オタ芸とめっちゃ合う(ISCプログラミングコンテスト)

https://youtu.be/ivL6ZxukTlo

Page 13: センサー・VR・MR 基本とオススメ

ユニティちゃんと踊れる!抱っこだってできる!

2015/08/28

CEDEC 2015

https://youtu.be/ZSXwhj8HqkE

Page 14: センサー・VR・MR 基本とオススメ

オススメ02

HTC VIVE

Page 15: センサー・VR・MR 基本とオススメ

VR3D空間で自由にインタラクションできる DEMO

https://youtu.be/n2o5pIb3be8

Page 16: センサー・VR・MR 基本とオススメ

余談

今日まで開催中の展示会ライブ・エンターテイメントEXPO

VR空間で谷に掛かるつり橋を渡るコンテンツ

よろけるとリアル女子が手をとって助けてくれる

計算された様々な楽しさがバランスよく存在している。

• VR空間でのスリル溢れる体験• リアルに手に感じる触感• 現実に戻った時の、、

インスピレーションを得るためにVR系のイベントに参加しましょう。

Page 17: センサー・VR・MR 基本とオススメ

オススメ03

HoloLens

Page 18: センサー・VR・MR 基本とオススメ

日本は世界で最もHoloLensが盛り上がっている国

Page 19: センサー・VR・MR 基本とオススメ

SAOっぽい世界観を作れる

https://youtu.be/A_bdeYlpasE

Page 20: センサー・VR・MR 基本とオススメ

めざせスカウター!HoloLensによる特定個人の顔認識アプリ制作とその課題

東京工業大学 情報理工学院 数理計算科学系岩崎謙汰 高橋良希

オーグマー!

ABC2017 SpringMR/VRトラック(4201 T5)16:30 ~ 16:55

https://www.slideshare.net/IwasakiKenta/abc-spring2017-vol2

Page 21: センサー・VR・MR 基本とオススメ

自己紹介

東京工業大学 M2 岩崎謙汰

研究:SNSのグラフサンプリング

趣味:電車で30分プログラミング先週作ったゲーム3本

Unityエンジニア/クライアント側担当

AR/MR開発で楽しく暮らしたい

Page 22: センサー・VR・MR 基本とオススメ

人物認識をAIに行わせその属性を現実空間に表示する

https://youtu.be/YLaE4w7X9D8

Page 23: センサー・VR・MR 基本とオススメ

アプリの全体像

HoloLens 被写体

① Webカメラから画像を取得

サーバー

③ OpenCVで顔の中心の座標の取得

④ Deep Learningによる識別

⑥ 顔の中心の座標にRayを飛ばし、頭上の座標を推定

⑦ 3D空間上にラベルを表示

出典: http://tsubakit1.hateblo.jp/entry/2017/02/22/230100

yoshiki

Page 24: センサー・VR・MR 基本とオススメ

KINECT x HoloLens x Tango

複数のデバイスが同じ空間を共有

Page 25: センサー・VR・MR 基本とオススメ

https://youtu.be/O9F4Pi1R6xE

Page 26: センサー・VR・MR 基本とオススメ

オススメ04

JINS MEME

https://github.com/SystemFriend/JINS-MEME-Unity-Plugin/

このあとのご紹介を楽しみにしましょう!Unity開発用Pluginを公開しています。

Page 27: センサー・VR・MR 基本とオススメ

VR,MRは今注目のテクノロジーである

現実と仮想をうまく織り交ぜると新しい体験がうまれる

ものづくりのヒントは学外のイベントや開発者との交流からも

複数のデバイスの特徴を組み合わせると面白い

ISCラボは素敵なデバイスの宝庫。ぜひ活用しましょう。

ポイント


Top Related