音にこだわる! ネイティブアプリだからできる 快適なサウンド演出
TRANSCRIPT
Copyright ©CRI Middleware Co., Ltd.
音にこだわる!ネイティブアプリだからできる
快適なサウンド演出
2015年5月16日
株式会社CRI・ミドルウェア
一條 貴彰
Copyright ©CRI Middleware Co., Ltd.
このロゴの会社です
Copyright ©CRI Middleware Co., Ltd.
(株)CRI・ミドルウェア
1990年 人工知能・CD・音声・映像技術の研究開発FM-Towns・メガCDなど
1995年 セガサターン用ADXのリリース 50タイトル2015年 iPhone・Android・PS4・Xbox One・Wii U
PS Vita・3DS・PSP・PS3・Xbox360・Wii
Windows・NDS・PS2・Xbox・GC用 3000タイトル(2015/4/1)
Copyright ©CRI Middleware Co., Ltd.
サウンドミドルウェア
Copyright ©CRI Middleware Co., Ltd.
ゲームサウンドに求められるもの
Copyright ©CRI Middleware Co., Ltd.
サウンドに求められるもの1
● データサイズを小さく!(3つの評価軸)
● メモリ使用量を小さく!圧縮すれば、メモリ常駐のサイズは減る。ストレージからのストリーム再生にすれば、メモリ常駐は不要。圧縮して、ストリーム再生を増やせば、メモリ使用量は減る。
圧縮 音質
再生のCPU負荷
音質のチェック
同時に何本再生?
Copyright ©CRI Middleware Co., Ltd.
サウンドに求められるもの2
●気持ちのいいサウンド楽曲や効果音だけでなく、切り替え時の滑らかさなど。
● ゲーム情報としてのサウンド操作SEや、ジングル、警告音など、ユーザーへの通知をわかりやすく。
● キャラや世界の表現ボイスのバリエーションや、しっかり聞き取れる音声。環境音や賑やかさの表現など。
Copyright ©CRI Middleware Co., Ltd.
サウンド演出の有無
● サウンド再生比較
単に音が鳴っているのと、ちょっとした演出を入れた場合の違い
- クロスフェード
- ランダム再生
- パラメータのランダマイズ
- ダッキング
- 発音数制御
→ 自然さ、聞き心地の良さ、ゲーム的な強調。
Copyright ©CRI Middleware Co., Ltd.
デモ
Copyright ©CRI Middleware Co., Ltd.
実装だ!
Copyright ©CRI Middleware Co., Ltd.
iOS:よい
Copyright ©CRI Middleware Co., Ltd.
Android:大変
Copyright ©CRI Middleware Co., Ltd.
Android たいへん
• サウンド再生が遅い
– OSの問題で、根幹解決は難しい
• 特定の端末で不具合
– シーク再生が変
– ストリーミング再生がだんだんズレる
– Android 5.0 (Lolipop)でうまく動かない
– アプリがバックグラウンドに入ると、音周りが挙動不審に
• データの保護は期待できない
– SDカードからさくっとoggデータが抜かれる
Copyright ©CRI Middleware Co., Ltd.
サウンドミドルウェア
Copyright ©CRI Middleware Co., Ltd.
ADX2の場合
● ADX2が解決するポイント
- 大量データ調整・圧縮後の音質チェック
- イントロ付きループ再生
- サウンド再生時のCPU負荷軽減
- サウンドデザイナが設定可能な演出
- スマホ実機で動いているゲームで直接サウンド調整
- 再生遅延対策
など。
Copyright ©CRI Middleware Co., Ltd.
「ADX2」セット内容
• 専用サウンドツール「CRI Atom Craft」– ゲーム内での音の鳴り方を管理・設定するツール
• サウンドライブラリ
–サウンド演出の実装がラクに
–オリジナルの圧縮コーデックで小さく
–動的なサウンドエフェクト適用がラクに
• ピッチチェンジ、リバーブなど各種エフェクト
• 複数の音を時系列に配置して再生
– インタラクティブな音作り
Copyright ©CRI Middleware Co., Ltd.
■ プログラマとサウンドデザイナの分業
パラメータ制御や再生タイミング、発音数制御などは、データ側に設定。
→プログラム側は単純な再生制御だけでOK。
ADX2の基本コンセプト
プログラマ
ADX2オーサリングツール
!
サウンドデザイナー
Copyright ©CRI Middleware Co., Ltd.
オーサリングツール
■ CRI Atom Craft
- 音量調整
- 圧縮設定
- ストリーム再生設定
- 圧縮後の音質チェック
- パックファイルの分け方
- ランダム再生等の演出設定
- インタラクティブミュージック
など
Copyright ©CRI Middleware Co., Ltd. 19
音素材を時系列に並べる
ボリュームやピッチの
変化などグラフで加工
エフェクトの設定
キュー
(音の単位)
キューの中身CRI Atom Craftのツール構成
Copyright ©CRI Middleware Co., Ltd.
ADX2の「キュー」という概念
名前:「Shot1」※この名称でプログラムから呼ぶ
• 同時再生の上限値:3プログラムからコールされまくっても大丈夫
• カテゴリー:SEカテゴリーごとのボリューム変更などに使う
• プライオリティー:5カテゴリー内で優先度をつける。
波形データと再生位置
キューの設定欄(一部)
Copyright ©CRI Middleware Co., Ltd.
ADX2の独自コーデック
• HCA / HCA-MX コーデック
– 圧縮率はmp3 / Oggと同程度(人の声の圧縮に多少強い)
– CPU負荷低め、大量にリクエストしても急に負荷が上がらない
– さらにデコード処理負荷を大幅に抑える特別な仕組み
Copyright ©CRI Middleware Co., Ltd.
HCA-MXコーデックの特長
• 音を同時再生する際のCPU負荷が軽くなります。
• 従来wavで鳴らしていた素材も圧縮できるようになり、ディスク容量とメモリ使用量が節約できます。
• 制限事項
– HCA-MXでは音ごとのピッチ変更、フィルタ変更などができません。
– サンプリングレートを統一する必要があります。(デフォルトは32KHz)
Copyright ©CRI Middleware Co., Ltd.
イントロ付きループ
■ 途切れず、綺麗にループするBGM
- ループポイント付き波形の圧縮・再生に対応
- イントロ付きループBGMをプログラムの工夫無しで実現
Copyright ©CRI Middleware Co., Ltd.
サウンドごとの音量調整
■ ADX2のオーサリングツール上で調整
- BGMやSEの音量はADX2ツール上で調整。素材波形の変更不要。- BGMカテゴリを作って、BGMの一括音量調整。- アプリからの動的な音量調整ももちろん可能。
Copyright ©CRI Middleware Co., Ltd.
ダッキングとカテゴリ
■ カテゴリ指定によるダッキング
- 音声再生中はBGMの音量を下げるような処理をデータ側のみで設定。
- サウンドをカテゴリにわけて、まとめてボリューム調整するなどの利用も可能。
M01
音楽カテゴリ (変化)
M02 M03S01
セリフカテゴリ (トリガ)
S02 S03
ダッキング指示
変化カテゴリ
トリガカテゴリ
Copyright ©CRI Middleware Co., Ltd.
[Android] 再生レイテンシ
■ Android用の低レイテンシ再生モード
- ネイティブサウンドレンダラという低レイテンシ再生モードあり。
Copyright ©CRI Middleware Co., Ltd.
[Android] 遅延推測機能β版
■ 端末のサウンド再生遅延時間をライブラリで推測
プログラムによる再生指示
スピーカーからの発音
ここにかかる時間が「再生遅延時間」。??? ミリ秒。
● Android の場合
- 遅い!- 機種によって差が激しい!遅いと 200msec以上。- 誰も教えてくれない!
ADX2に遅延時間推測関数を追加。※β版です。現在はUnityのみ。
Copyright ©CRI Middleware Co., Ltd.
インゲームプレビュー機能
■ スマートフォン実機と通信- スマートフォンで実行中のゲームと CRI Atom Craft でWiFi接続。→ ゲームで実際に色々な音が重なる状況で聞こえ方を調整可能。音量、エフェクト、メモリ再生の波形などを直接変更。
- CRI Atom Craft で作成中のサウンドをPCではなくスマホから鳴らす事も。(ターゲットプレビュー機能)
Copyright ©CRI Middleware Co., Ltd.
「ADX2」導入メリット
• 音声圧縮&再生負荷を軽減
– 多重再生時に重くならないモードがある独自コーデック。
圧縮やクオリティはmp3/Ogg同等ながら、再生負荷が低い。
– イントロ付きループBGMが使える。(任意ポイントでのループ)
音質アップと容量削減が両立できます。
• ツールによるサウンド演出設計
– 大量音声データの管理がラクに。
– プログラムを触らずに音量やエフェクトの調節ができる。
サウンド周りのコーディング量が大幅に減ります。
Copyright ©CRI Middleware Co., Ltd.
ご注意
• ブラウザゲーム出力に非対応– ネイティブライブラリを動かせるブラウザがChromeしか無いため
• Windows Phone 7/8に非対応– 端末…
– 10は不明。PCと共通で行ける?
30
Copyright ©CRI Middleware Co., Ltd.
個人アプリ開発者・インディーゲーム向けサウンドツール
無料ツール機能制限なし
Copyright ©CRI Middleware Co., Ltd.
「ADX2 LE」とは
• 無償版サウンドエンジン+オーサリングツール
– 個人のインディーゲーム開発、ゲームジャム向け
• 無償で利用可能(有料で頒布するゲームに使ってもOK)
• ゲーム販売の売上1,000万円以下まで
• 二次創作は自己責任だぞい
公式サイトhttp://www.adx2le.com/からSDKダウンロード
Copyright ©CRI Middleware Co., Ltd.
アプリ事例
Copyright ©CRI Middleware Co., Ltd.
「ADX2 LE」の使用条件
• 前年度年商が1,000万円以下の会社または団体・個人であること
• コンテンツの配信元が自身であること※販売権を自身で持ち、パブリッシャーを介さず自分でApp Storeなどに登録する。
• コンテンツの売上が1,000万円以内であること
「ADX2 LE」を使用したコンテンツ配信の条件
(コンテンツの無償/有償に関わらず)
“本コンテンツには、(株)CRI・ミドルウェアの「CRI ADX2 (TM) LE」が使用されています。”
• 著作権表記
Copyright ©CRI Middleware Co., Ltd.
関連書籍 続々発刊!
Copyright ©CRI Middleware Co., Ltd.
おまけ:アルファムービー演出(法人専用)
Copyright ©CRI Middleware Co., Ltd.
Sofdec2のキーポイント
■ 動画をテクスチャとして使う
- ムービーテクスチャ を実現。動画を貼り付ける。描画はアプリの自由。
- 透過情報 を入れたアルファムービーが利用可能。 演出の幅が大きくアップ。
- 柔軟でリッチな再生機能 にも対応。
(例: シームレスループ/連結再生、複数再生、タイミング情報埋め込み)
Copyright ©CRI Middleware Co., Ltd.
Sofdec2 for cocos2d-x
ムービー
■ ムービースプライトクラス(サンプル)- スプライトにムービーを貼ることができます。- cocos2d-x ならではの、クリッピングノードやアクションの機能も利用可能。
Copyright ©CRI Middleware Co., Ltd.
Android版デモのダウンロード
■ アルファムービデモのAndroid版
- http://crimw.me/alphamovie- 「提供元不明のアプリ」のインストールを許可してください。- 容量 約23MByte
<動作環境>ARMv7対応のCPU
Copyright ©CRI Middleware Co., Ltd.
…http://www.cri-mw.co.jp/contact