studio di musica - 音楽学習におけるインターフェースの提案 -
DESCRIPTION
Studio di musica - 音楽学習におけるインターフェースの提案 -. Presenter: B1 markun Advisor : chacha tacky. 背景. ・西洋音楽という最も原始的で制約の厳しい音楽ジャンルを専門に勉強している ・モバイル端末の普及により,音楽学習環境向上したが,未だコンピュータと人間のインターフェースが未熟なために,コンピュータを学習に有効活用できずにいる ・前期はアプリケーションの中身部分をやったので 今期はインタフェース部分を勉強したい. 音楽学習の STEP. 模倣. 分析. ・師の演奏を模倣. - PowerPoint PPT PresentationTRANSCRIPT
Studio di musica- 音楽学習におけるインターフェースの提案 -
Presenter: B1 markunAdvisor : chacha tacky
2
背景
・西洋音楽という最も原始的で制約の厳しい音楽ジャンルを専門に勉強している
・モバイル端末の普及により,音楽学習環境向上したが,未だコンピュータと人間のインターフェースが未熟なために,コンピュータを学習に有効活用できずにいる
・前期はアプリケーションの中身部分をやったので今期はインタフェース部分を勉強したい
3
音楽学習の STEP
分析模倣
・自己の演奏の分析・師の演奏との比較
・師の演奏を模倣
昇華
・師の演奏を自己の表現として吸収・個有な表現の追求
4
音楽学習の STEP
分析模倣
・自己の演奏の分析・師の演奏との比較
・師の演奏を模倣
昇華
・師の演奏を自己の表現として吸収・個有な表現の追求
5
問題意識 1: 模倣過程の現状
・練習中両手が 塞がっている
・巻き戻し・再生
移動楽器を置いて・・・
問題意識 2: 分析過程の現状
6
・巻き戻しするときに巻き戻したい場所からジャストで再生されない
・再生バーを移動させるのが面倒
機能要件
ジェスチャーで遠隔操作できること
無数のループポイントを設置でき,微細な単位で ループ可能であること
7
8
目的
・音楽学習における効率的なインターフェースを追求する
ジェスチャー認識モジュール
具体的なジェスチャーモデル
9
ループポイントモジュール
10
・ループポイントにピンを設置し,その間を自由にループできるようにする
11
Studio di musica Demonstration
音楽再生
ループポイント
速度変換
録音
システム構成図
ループポイントモジュール
ID3 タグ管理モジュール
再生管理モジュール
LeapmotionMp 3ファイル
ジェスチャ認識 モジュール
再生データ
データ
今期の実装
13
ループポイントモジュールの実装– ループポイント設置インターフェース– ループポイント間の再生・繰り返し
ジェスチャー認識モジュールの実装– 指数認識による操作– 指の平行移動による操作
14
Studio di musica Demonstration
LoopPointer
ID3tagReader
評価方法
15
慶應義塾ワグネル・ソサエティ・オーケストラの団員 5 人 ( トロンボーン 2 人,トランペット 1 人 , ホルン 2 人 ) に実際に利用してもらう
評価観点– ループポイントシステムの利便性– 楽器ごとに適したジェスチャーに関して口頭アン
ケート
リピートシステムの評価
16
リピートポイントの設置箇所– 曲番号 (A.B) にそってポイントを設置する人が多
かった– 長いメロディーに関してはフレーズごとにポイン
トを打つ傾向がある
リピートシステムの評価– 1時間の曲の場合,聞きたいところを探すのに時
間がかかるため,曲番号間で再生できることはとても評価できる
ジェスチャーシステムの評価
17
楽器ごとに最適なジェスチャーがある
仮説
複数のジェスチャーを提示した結果,どのジェスチャーがどの操作に対応しているのか忘れる
楽器ごとの適したジェスチャーよりも,再生や繰り返しをアフォードするようなジェスチャーの方が好ましい
結果
考察
18
センサ精度によりジェスチャーの誤作動が多かったため,工夫が必要である
リピートポイントの約 0.5~1秒の微妙なズレの改善
今後の課題
19
UBI研究会に向けての論文の執筆
Kinect でも検証してみる
Leapmotion における操作感が認識できるモジュールの実装
まとめ
20
音楽学習における音楽プレイヤーの効率的なインターフェースの提案ならびに,アプリケーションの実装を行った
評価において,仮説とは異なるユーザーの新しいニーズを発見できた