アナグラプレゼン資料 cedec

『未来館常設展示「アナグラのうた」にみるゲーミフィケーションの事例／情報科学とコンピューターゲームが協力して描きだした未来の「シアワセ」インタラクティブセッションサウンド編

株式会社ブレインストーム中村隆之

2012年 8月 19日日曜日

「アナグラのうた」とは• 延床面積:150㎡

• レーザーセンサー:20基

• プロジェクター:24基

• スピーカー:11個+ウーファー1個

• 日本科学未来館に2011年8月にオープンした

• 空間情報科学に関する常設展示

• ボーカロイドが歌う

• サウンド制御にMax/MSPを利用


「アナグラのうた」とは

•文化庁メディア芸術祭にて、優秀賞を頂きました。


このプレゼンのハイライトは?

• プレイヤーの体験内容によって歌を自動生成（ボーカロイドを使用）

• 11.1chのスピーカーをリアルタイムにコントロール

• 大型施設の展示のサウンドコントロールににMax/MSP

を利用

• ここから、サウンドの技術的な話になります。


プレゼンター中村隆之　自己紹介

• 1967年生まれ

•東京都出身

•ビデオゲーム向けの音楽効果音制作会社経営。

•作曲、サウンドプログラムなどが職業


• 1990年　セガ入社• 1991年　「F1エキゾーストノート」• 1992年　「アウトランナーズ」• 1993年　「バーチャファイター」• 1994年　「バーチャファイター２」• 1996年　セガ退社、ドリームファクトリー入社• 1996年　「トバル2」• 1998年　「エアガイツ」• 1999年　独立、ブレインストーム設立• 2000年　「剣豪」• 2004年　「ルミネス」• 2005年　「メテオス」• 2006年　「NINETY-NINE NIGHTS」• 2007年　「ルミネス２」• 2009年　「スティッチDS オハナとリズムで大冒険」• 2011年　「アナグラのうた」、ゲームサウンド制作　多数

略歴


1990年当時のセガ

•アーケードゲームが盛ん

•メガドライブ発売直後

•サウンドクリエイターもプログラムを書く。

•曲と効果音のデータはアセンブラのマクロで書かれていた。


当時、私のプログラム経験

•大学時代、ポケコンでBASIC自作プログラム

•秋葉原ヤマギワテクニカでパソコン販売員

•セガに入社後サウンドプログラムを教わる

• Z80,68000アセンブラを習得


当時の曲データ


プログラムをかけるようになって，

• アセンブラマクロで曲データを手入力しなくてはいけないことに不満を持った。(MML)

• 当時のセガの開発基盤にはMIDI I/Fをつけられた。

• ゲーム基板でStandard MIDI Fileがそのまま読めるプログラムを開発


Model1ゲーム基板

VirtuaFighter


アーケードゲームのサウンドプログラム(1992年頃）

• MIDIでゲームサウンドを制御できるようになり，

• VirtuaFighterの様なメイン基板とサウンド基板が分離している筐体は、MIDIでやり取りしていた。

• テストプログラムには、MAX/OPCODEを利用した。

• これが、私のMaxを使い始めたきっかけ。

• 当時、MaxをMIDIのテストツールとして利用した。


とういう背景


そんな私が「アナグラのうた」のサウンドシステムを作りました。

アナグラのサウンドシステムは、

Max/MSPによって動いています。


「アナグラのうた」のサウンドシステム


まずはビデオをご覧ください。


スピーカーの配置


Max/MSPとは？Max

Max （マックス）は、サンフランシスコのソフトウェア企業Cycling '74が開発・保守している音楽とマルチメディア向けのグラフィカルな統合開発環境（ビジュアルプログラミング言語）である。作曲家やメディアアーティストらに20年以上使われ続けている。

Max/MSP前バージョンまではDSPの追加機能を備えたMax/MSP（マックス・エムエスピー）という名で発売されており、それに追加モジュールとして映像を取り扱うJitter（ジッター）が別売りで販売されていた。

ヴァージョン5からは全てのMaxにJitterが含まれ、MaxとMSPとJitterは一つのパッケージとして販売されるようになった。これにより名称は再びMaxに戻った。

モジュール化

Maxは非常にモジュール性が高く、ほとんどのルーチンは共有ライブラリの形で存在している。APIによってサードパーティーが（external objectsと呼ばれる）新たなルーチンを開発可能である。結果として、多くのMaxユーザーが商用か否かに関わらず、拡張を行っている。拡張性とグラフィカルなユーザインタフェースにより、Maxはインタラクティブな音楽パフォーマンスソフトウェア開発におけるリングワ・フランカともいうべき存在になっている。

(Wikipediaより)


http://ja.wikipedia.org/wiki/%E3%82%B5%E3%83%B3%E3%83%95%E3%83%A9%E3%83%B3%E3%82%B7%E3%82%B9%E3%82%B3

http://ja.wikipedia.org/wiki/%E3%82%B5%E3%83%B3%E3%83%95%E3%83%A9%E3%83%B3%E3%82%B7%E3%82%B9%E3%82%B3

http://ja.wikipedia.org/wiki/%E3%82%BD%E3%83%95%E3%83%88%E3%82%A6%E3%82%A7%E3%82%A2

http://ja.wikipedia.org/wiki/%E3%82%BD%E3%83%95%E3%83%88%E3%82%A6%E3%82%A7%E3%82%A2

http://ja.wikipedia.org/w/index.php?title=Cycling_%2774&action=edit&redlink=1

http://ja.wikipedia.org/w/index.php?title=Cycling_%2774&action=edit&redlink=1

http://ja.wikipedia.org/wiki/%E9%9F%B3%E6%A5%BD

http://ja.wikipedia.org/wiki/%E9%9F%B3%E6%A5%BD

http://ja.wikipedia.org/wiki/%E3%83%9E%E3%83%AB%E3%83%81%E3%83%A1%E3%83%87%E3%82%A3%E3%82%A2

http://ja.wikipedia.org/wiki/%E3%83%9E%E3%83%AB%E3%83%81%E3%83%A1%E3%83%87%E3%82%A3%E3%82%A2

http://ja.wikipedia.org/wiki/%E7%B5%B1%E5%90%88%E9%96%8B%E7%99%BA%E7%92%B0%E5%A2%83

http://ja.wikipedia.org/wiki/%E7%B5%B1%E5%90%88%E9%96%8B%E7%99%BA%E7%92%B0%E5%A2%83

http://ja.wikipedia.org/wiki/%E3%83%93%E3%82%B8%E3%83%A5%E3%82%A2%E3%83%AB%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9F%E3%83%B3%E3%82%B0%E8%A8%80%E8%AA%9E

http://ja.wikipedia.org/wiki/%E3%83%93%E3%82%B8%E3%83%A5%E3%82%A2%E3%83%AB%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9F%E3%83%B3%E3%82%B0%E8%A8%80%E8%AA%9E

http://ja.wikipedia.org/wiki/%E4%BD%9C%E6%9B%B2%E5%AE%B6

http://ja.wikipedia.org/wiki/%E4%BD%9C%E6%9B%B2%E5%AE%B6

http://ja.wikipedia.org/wiki/%E3%83%A1%E3%83%87%E3%82%A3%E3%82%A2%E3%82%A2%E3%83%BC%E3%83%88

http://ja.wikipedia.org/wiki/%E3%83%A1%E3%83%87%E3%82%A3%E3%82%A2%E3%82%A2%E3%83%BC%E3%83%88

http://ja.wikipedia.org/w/index.php?title=%E3%83%87%E3%82%B8%E3%82%BF%E3%83%AB%E3%82%B5%E3%82%A6%E3%83%B3%E3%83%89%E3%83%97%E3%83%AD%E3%82%BB%E3%83%83%E3%82%B5&action=edit&redlink=1

http://ja.wikipedia.org/w/index.php?title=%E3%83%87%E3%82%B8%E3%82%BF%E3%83%AB%E3%82%B5%E3%82%A6%E3%83%B3%E3%83%89%E3%83%97%E3%83%AD%E3%82%BB%E3%83%83%E3%82%B5&action=edit&redlink=1

http://ja.wikipedia.org/wiki/%E6%98%A0%E5%83%8F

http://ja.wikipedia.org/wiki/%E6%98%A0%E5%83%8F

http://ja.wikipedia.org/wiki/%E3%83%A2%E3%82%B8%E3%83%A5%E3%83%BC%E3%83%AB

http://ja.wikipedia.org/wiki/%E3%83%A2%E3%82%B8%E3%83%A5%E3%83%BC%E3%83%AB

http://ja.wikipedia.org/wiki/%E3%82%B5%E3%83%96%E3%83%AB%E3%83%BC%E3%83%81%E3%83%B3

http://ja.wikipedia.org/wiki/%E3%82%B5%E3%83%96%E3%83%AB%E3%83%BC%E3%83%81%E3%83%B3

http://ja.wikipedia.org/wiki/%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%AA

http://ja.wikipedia.org/wiki/%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%AA

http://ja.wikipedia.org/wiki/%E3%82%A2%E3%83%97%E3%83%AA%E3%82%B1%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9F%E3%83%B3%E3%82%B0%E3%82%A4%E3%83%B3%E3%82%BF%E3%83%95%E3%82%A7%E3%83%BC%E3%82%B9

http://ja.wikipedia.org/wiki/%E3%82%A2%E3%83%97%E3%83%AA%E3%82%B1%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9F%E3%83%B3%E3%82%B0%E3%82%A4%E3%83%B3%E3%82%BF%E3%83%95%E3%82%A7%E3%83%BC%E3%82%B9

http://ja.wikipedia.org/wiki/%E3%82%B5%E3%83%BC%E3%83%89%E3%83%91%E3%83%BC%E3%83%86%E3%82%A3%E3%83%BC




http://ja.wikipedia.org/wiki/%E6%8B%A1%E5%BC%B5%E6%80%A7

http://ja.wikipedia.org/wiki/%E6%8B%A1%E5%BC%B5%E6%80%A7

http://ja.wikipedia.org/wiki/%E3%83%A6%E3%83%BC%E3%82%B6%E3%82%A4%E3%83%B3%E3%82%BF%E3%83%95%E3%82%A7%E3%83%BC%E3%82%B9

http://ja.wikipedia.org/wiki/%E3%83%A6%E3%83%BC%E3%82%B6%E3%82%A4%E3%83%B3%E3%82%BF%E3%83%95%E3%82%A7%E3%83%BC%E3%82%B9

http://ja.wikipedia.org/wiki/%E3%83%AA%E3%83%B3%E3%82%B0%E3%83%AF%E3%83%BB%E3%83%95%E3%83%A9%E3%83%B3%E3%82%AB

http://ja.wikipedia.org/wiki/%E3%83%AA%E3%83%B3%E3%82%B0%E3%83%AF%E3%83%BB%E3%83%95%E3%83%A9%E3%83%B3%E3%82%AB

Max/MSPを使い制御したこと　その１• 「通常サウンド」「アナグラの歌」「まつりの歌」の３つのモードを一つのプログラムで実行。• 体験者の動作に応じた効果音の再生• プロジェクターの現れるオブジェクト（動物）の効果音制御• イキトイキでの、音声の録音とその音の曲への反映


通常時のサウンド（歌が流れいない状態）

• 1000年後、人類のいない、コンピュータだけの世界、そのアンビエントを表現

•開発開始直後の震災

•テストプログラム開発中だった。

•そして、Nagiの誕生


•震災直後の人を癒やしたいという衝動

•音のフィードバック&ディレイとサイン波の融合というアイディア

•同化ｐのメンバーの後押し

•約一ヶ月で3000ダウンロード

Nagiの誕生


通常状態効果音の制御イキ・トイキ録音

表示ＰＣ

効果音ファイル(.wav)

ME10音響再生制御MAX/MSP

参照

音

出力

サウンドＰＣ

コンテンツＰＣ

ME01

ME05表示制御音楽データ受信・送信

効果音再生信号

効果音再生信号録音開始・終了要求

ME11音声録音

イキ・トイキ収録ファイル(.wav)

生成

軌跡ＩＤor

ＱＲコード

イキ・トイキ録音した後にロストした場合について要検討※軌跡ＩＤ変わるので

・効果音ファイル名・スピーカー座標




Max/MSPを使い制御したこと　その２• 複数曲の連続再生と、「まつり」発生条件の制御• 11個のSP、1個のウーハーの音量コントロール• エフェクト，ディレイのコントロール• 映像PCへのタイミング信号の送信• イキトイキでの、音声の録音とその音の曲への反映


可変ボーカルファイル(.wav)

既存ボーカルファイル(.wav)

軌跡ＩＤ(.txt)

ME10音響再生制御

MAX/MSP

参照

参照

参照

ME09 歌合成.vsqから.wavを生成

生成

軌跡ＩＤ生成

生成完了信号送信

.vsq生成可変ボーカルファイル(.vsq)

生成

参照

ME08wav生成

音

出力

生成

サウンドＰＣ


ME01

ME02歌詞テキスト生成

履歴ＰＣ

過去体験データ

参照


表示ＰＣ

再生QUE送信

歌詞表示ダンス表示

データ受け取りデータ解析

歌詞テキスト

歌詞番号

歌詞番号

歌詞データ（軌跡ＩＤ）（物語番号）（体験パターン）（曲パターン）（.vsq）

歌終了信号

プレイヤーデータ（軌跡ＩＤ）（ＱＲコード）（軌跡データ）（全員分のデータ）

軌跡ＩＤ軌跡ＩＤ

伴奏ファイル(.wav)

イキ・トイキ収録ファイル(.wav)

参照

参照

アナグラのうた歌の生成と映像の制御

パーティクル制御信号


パーティクルアニメーション


まつり状態歌の再生と映像の制御

祭り曲ファイル(.wav)

ME10音響再生制御MAX/MSP

参照

音

出力

サウンドＰＣ


ME01


表示ＰＣ

状態判定（手をつないだか）

歌詞表示ダンス表示

データ受け取りデータ解析

歌詞番号

歌詞番号

歌終了信号

歌終了信号

祭り待機状態信号

祭り開始信号

状態判定（ＱＵＥが何人たまっているか）



パーティクルアニメーション


歌詞と歌の自動生成


•歌にYAMAHA VOCALOID VY-1を使う。

•体験者の情報をリアルタイムに歌にして欲しい。

•複数パターンの曲を用意して欲しい。(10パターン）

• さらにダンスミュージックであって欲しい。

要望


課題：歌詞の自動生成• アナグラでの体験を元に歌詞を自動的につくる• 名前• 体験した装置• 録音した音声• アナグラの物語

体験者の情報をリアルタイムに歌にしてほしい

• これらの情報が反映した歌詞をつくる。• どうやって？


パーツの組み合わせで１曲分の歌詞にする

• 体験者の名前を頭２文字だけ抜き出し歌詞に入れる。• 名前の文字数が固定数である必要があった。

• 体験者の行動から歌詞パーツを組み合わせ、体験内容に合った歌詞をリアルタイムで生成。

• さらに！• すべての曲のメロディの音符数をそろえる。• それにより、全曲で歌詞を共通化できる。

歌詞のテンプレートをつくる


歌詞パーツパターン表


歌の生成は、専用プログラム

というプロセスを経て，ボーカルのWAVファイルを用意する。

歌詞の自動組み合わせでTEXTを生成

VSQ（VOCALOID)用のファイル変換

VSQファイルをWAVファイル変換


実際に聞いて見よう

•同一歌詞、別メロディの10曲


パターン1

「まっていたんだ　まおちゃんを」

10パターンの曲，歌の冒頭部分を聞き比べ

パターン2 パターン3

パターン4 パターン5 パターン6

パターン7 パターン8 パターン9

パターン10


曲の再生の問題点

•伴奏WAVデータと歌WAVデータの同期再生

•さらに10パターンの違う曲

•ボーカロイドの歌へのエフェクト処理（ディレイなど曲毎の対応）


伴奏Intro 伴奏A 伴奏B 伴奏C

歌A 歌B

歌曲の構造

再生のタイミングを細かくコントロールすることによって、同期に失敗しない

歌のwaveファイルを準備

歌C

歌A 歌B 歌C

再生順を記述したシーケンスTEXTを作る

シーケンスファイルに沿って再生


テンポ

伴奏用TEXTファイル名

体験者の声の録音ファイル名

再生終了記号再生終了記号

再生ファイル名小節数


なぜリアルタイム再生しないのか？

• VSTiなどを利用すれば、Waveファイルの作成はいらないのでは？

•マシンが安定して同期することを最優先


歌毎のスピーカーとディレイ制御

• 12のスピーカーのボリューム制御

• 12のスピーカーのディレイ制御

• シーケンスファイルにより曲毎に，曲のテンポに合わせ，ディレイタイム、設定を変更出来る。


曲の制御と同様にボリューム、ディレイもテキストファイルにシーケンス情報として記述しました。


テンポに対する倍率（ディレイ）


映像制御

•映像表示は，全て映像PCによるもの

• Maxからはタイミングデータの送信

•歌詞の表示タイミング

•パーティクルサイズのコントロール


テンポに対する倍率（ディレイ）

パーティクルのグループ

パーティクルの種類

Lineに入れる値


映像への制御も同様にシーケンスファイルで。


Max/MSPを利用するメリット


•開発期間に関して

• 3月から8月までの6ヶ月間の内、実質の開発期間2ヶ月間程度

• 11曲の制作と効果音、そしてMax/MSPのプログラムをほぼ一人で。


• Max/MSPに用意されているモジュール

•タイミング制御が容易、テンポの設定のみで小節数、拍数で制御

•オーディオ信号の同時処理のプログラムが書ける。


時間があれば実演ライブ・プログラミング


Ｑ＆Ａ


アナグラプレゼン資料 cedec

Documents