+

Kinect meets music - モーショントラッキングで音楽の新時代が始まる -

サイボウズ・ラボ ユース　第二期生　中島 遼　　　　　　　　　　　　 第一期生　桐井 祐樹

+自己紹介中島 遼

東京電機大学 情報通信工学科サイボウズ・ラボユース 第 2 期コアメンバー自然言語処理　趣味で DTM神姫神姫ー！

桐井 祐樹筑波大学 情報学群 情報科学類サイボウズ・ラボユース 第 1 期サブメンバーセキュリティ & プログラミングキャンプ 2010 言語

組ロボット開発 最近は Web アプリケーション開発など

+Kinect × music

KinectMicrosoft Xbox360 向けのゲームデバイスRGB カメラ・深度センサ等を搭載コントローラ無しでゲームを操作できる

「音」と「映像」で誰もが音楽を楽しめるアプリケーション

はじめての共同開発

+2012 年夏の開発合宿ではKinepad 3D

Visual C# （ .NET Framework 4 ）Kinect for Windows SDKmidi-dot-net

（ MIDI プログラミング用ライブラリ）LoopBe1 （仮想 MIDI デバイス）

Kinect から取得できる骨格位置情報でMIDI 対応ソフトウェア / ハードウェアを操作する

+MIDI デバイスとの連携の仕組みKinepad 3D

骨格位置情報 → MIDI メッセージを送信対応しているシンセサイザにも送信可能

今回の場合…PC

Kinepad 3D

LoopBe1仮想 MIDIデバイス

FL StudioDAW

MIDI メッセージ送信

MIDI メッセージ送信

+MIDI デバイスとの連携の仕組みKinepad 3D

骨格位置情報 → MIDI メッセージを送信対応しているシンセサイザにも送信可能

今回の場合…PC

Kinepad 3D

MIDIインターフェース

MIDI 対応機器シンセ

サイザーなど

+MIDI デバイスとの連携の仕組み

関節の位置情報を Kinect から取得Y

Z

X

1.0

1.02.0

-1.0

-1.0

1.0

+MIDI デバイスとの連携の仕組み

-1 　　　　　　 0 　　　　　　 1

　　　　　 ＋１ 0 　　　　　　 1 　　　　　　 2

MIDI Control Change

0

127

X, Y それぞれの値を +1 した値に比例して MIDI CC の値が変化するようにする

動作デモ