1 ．研 究 発 表

( 1 ) 芝公仁，曽我麻佐子，ジョナ・サルズ，“舞台芸術のライブパフォーマンスにおける CG映像の投影”，映像情

報メディア学会技術報告 vol.34, no.18, AIT2010-79, pp.5-8 (May 2010)

( 2 ) Jonah Salz, Asako Soga, Masahito Shiba, “Tradition meets Technohlogy: Integrating Japanese Noh & New

Technology in Shakespeareʼs Macbeth,” Body, Space & Technology Journal, vol.9, no.1 (Apr. 2010)

( 3 ) Jonah Salz, Asako Soga, Masahito Shiba, “Shakespeareʼs Sleep no More: Macbeth made noh/new,

English/Japanese, actual/virtual,” Ryukoku University Intercultural Studies, no.14, pp.127-168 (Mar. 2010)

( 4 ) 曽我麻佐子，芝公仁，ジョナ・サルズ，“伝統芸能と CG映像の融合による舞台作品創作の試みと評価〜�マ

クベス夫人の悪夢�の創作と能舞台における実践〜”，情報処理学会人文科学とコンピュータシンポジウム論

文集，vol.2009，pp.95-100 (Dec. 2009)

( 5 ) 芝公仁，“コンテンツサーバ統合のための P2P ネットワークの活用”，情報処理学会人文科学とコンピュータシ

ンポジウム論文集，vol.2009，pp.281-286 (Dec. 2009)

( 6 ) Asako Soga, Masahito Shiba, Jonah Salz, “Choreography Composition and Live Performance on a Noh Stage,”

Proc. of the 8th ACM SIGGRAPH International Conference on Virtual Reality Continuum and its Application in

Industry, pp.317-318 (Dec. 2009)

( 7 ) Masahito Shiba, Asako Soga, Jonah Salz, “A Virtual Performance System and its Application on a Noh Stage,”

Proc. of the 2009 ACM Symposium on Virtual Reality Software and Technology, pp.267-268 (Nov. 2009)

( 8 ) 藤田健太郎，河野良之，曽我麻佐子，藤田和弘，“舞踊のための和装アニメーション加工とリアルタイム振付

の試み”，平成21年度電気関係学会関西支部連合大会講演論文集，G14-6 (Nov. 2009)

( 9 ) ジョナ・サルズ，“創作能�Sleep no more 〜マクベス夫人の悪夢〜�Potential for Creating Collaborative

Performance through Noh & Computer Graphic Projections,” Pecha Kucha Night Nishinomiya #2 (Nov. 2009)

(10) 曽我麻佐子，“伝統芸能と CG映像の融合による舞台作品創作の可能性”，国際クロスメディアカンファレンス

(Sep. 2009)

(11) Masahito Shiba, “A Method of Managing Distributed Contents in Heterogeneous Servers,” Proc. of the 5th

International Conference on Intelligent Information Hiding and Multimedia Signal Processing, pp.1148-1151

(Sep. 2009)

(12) Asako Soga, Bin Umino, Motoko Hirayama, “Automatic Composition for Contemporary Dance using 3D Motion

Clips: Experiment on Dance Training and System Evaluation,” Proc . of International Conference on

Cyberworlds 2009, pp.171-176 (Sep. 2009)

2 ．2009年度の研究計画

本研究の目的は，モーションキャプチャ(以下，Mocap)システムで取得したリアルな人体動作を文化やアートの分

野で活用するための環境を整備することである．Mocap データには，伝統芸能などの人体動作を 3次元情報として

アーカイブ化できるだけでなく，CGキャラクタを差し替えるだけで様々な映像を作成できるという利点がある．こ

れらは，次世代の文化・アートコンテンツ制作において大変有用である．本研究では，以下の 3つの課題に取り組ん

だ．

34

曽我 麻佐子 (理工学部・助教) 研究代表者

ジョナ・サルズ (国際文化学部・教授)

芝 公 仁 (理工学部・助教)

研究組織

伝統芸能と情報技術の融合によるインタラクティブアート創作

システムの開発と応用課 題

( 1 ) Mocap データを用いた創作支援システムの開発および CGコンテンツ制作

Mocap データを用いて舞台芸術などで実用可能なアートコンテンツを制作するシステムとして，舞台用の振付を

自動生成するシステムと，舞台上でリアルタイムに振付を生成するシステムの開発を行う．さらに，Mocap データ

を用いて実際に舞台で使用する CGコンテンツの制作を行う．

( 2 ) デバイス管理機構の構築および舞台における CG映像投影システムの運用

舞台上で情報機器を用いて映像や音声を活用するためには，舞台に様々なデバイスを設置し動作させる必要があ

る．特に，様々な演出のために積極的にデバイスを利用するためには，複数のデバイスを組み合わせて使用する必要

がある．本研究では，複数のデバイスを統合的に管理し協調させるデバイス管理機構を構築する．

( 3 ) 伝統芸能の実演と CG映像による舞台作品の創作および上演

開発したシステムを用いて実際に舞台用のCG映像を制作および投影し，伝統芸能の実演と合わせた舞台作品とし

て上演する．具体的には，芥川龍之介の小説�蜘蛛の糸�(1918年)を舞台作品に適応する．この物語は舞踊作品およ

び CG映像作品としての可能性を秘めており，日本の能や狂言などの伝統芸能の実演と，CG映像により物語を解釈

することを試みる．

3 ．研究実績の概要(研究経過と成果)

本研究では，舞台でのライブパフォーマンスにおいて，映像を用いた効果的な演出を支援するシステムの構築を

行った．具体的には，Mocap データを用いて舞台芸術などで実用可能なアートコンテンツを制作するシステムと，

様々な演出のために複数のデバイスを管理し舞台に CG映像を投影・制御するシステムの開発を行った．さらに，開

発したシステムを用いて，�Sleep no more�と�蜘蛛の糸�の 2 つの舞台公演を行った．以下，これらの 2 つの公演

における情報技術の活用手法について報告する．

3． 1．Sleep no more

まず，舞台演出で情報技術を活用する試みとして，�Sleep no more�を創作した．本作品は，シェイクスピアの

�マクベス�に基づく創作能であり，2009年 7月に京都の大江能楽堂にて公演を行った．�Sleep no more�では，能

舞台という映像の活用が難しい環境において，CGによる仮想役者と実際の役者の共演を実現した．

能舞台における映像投影

本公演では，能舞台が持つ制約およびパフォーマンスの形態を考慮し，次のように舞台への映像の投影を行った．

・能舞台を改造せず，能の様式に従ったライブパフォーマンスを実施する

・等身大の人体を投影する

・様々なシーンを投影し，リアルタイムに制御する

通常，能舞台は古い建築物であり，それ自体が歴史的な価値を持つことも多く，舞台に装置を組み込むことは許さ

れない．タイルドディスプレイなどでも大きなサイズの映像を提示することができるが，重量が大きく，能舞台に設

置するのには適さない．伝統芸能やアートパフォーマンスにおいて CG映像を容易に活用できるようするためには，

短時間での設置および撤去が可能なシステムが必要になる．そこで本公演では，軽量のスクリーンとノート型の PC

を用いた．また，能舞台では背面投射が困難であり観客席側から投影を行うため，スクリーンが大きくなると舞台上

で役者が使用できるスペースが小さくなる．そこで，本公演では，等身大の人体が投影できる最低限の大きさとし

て，高さ 160cm幅 220cmのスクリーンを設置した．さらに，台形補正機能付きのプロジェクタを使用し，舞台脇か

ら斜めに映像を投影することで，役者が映像を遮ることなく移動できる範囲を広くした．本公演は創作能のパフォー

マンスではあるが，能の様式に従って上演するため，通常の能舞台と同様に，観客は正面と側面から観覧することと

した．さらに，能舞台の象徴ともいえる松の描かれた鏡板を残し，役者が出入りする切戸も使用可能とするため，ス

クリーンは図 1 のように通常地謡が座る地謡座に斜めに設置した．本公演では，我々が開発したシステムで，静止

画，ビデオ，CGアニメーションなどを投影した．

35

図 1 �Sleep no more�の舞台構成

インタラクティブ振付生成

�Sleep no more�では，インタラクティブに振付を創作することを目的とし，これまでに蓄積した舞踊のモー

ションアーカイブと振付シミュレーションシステム�Web3D Dance Composer(以下，WDC)�を用いて，舞台で実

演する振付の創作を行った． 2人の実役者と 1 人の CG役者が同じ振付を踊るユニゾンの部分はWDCの対話型機能

を用いてダンサー 2 名と共同で創作した．さらに，CG役者の振付の一部はWDCの自動振付機能を用いて自動的に

生成した．また，ライブパフォーマンスでは，舞台の進行や即興演技に対応するため，予め決められた動作をするだ

けでなく，公演中にリアルタイムに CG役者の動作を決められることが望ましい．そこで，能役者と CG役者を共演

させるシーンでは，実役者の動きに合わせて CG役者を制御するリアルタイム振付を行った．具体的には，マクベス

の物語に出演する 3 人の魔女を， 2人の実役者と 1 人の CG役者によるコンテンポラリーダンスで表現した．また，

マクベス夫人が暗殺を思い出すシーンでは，マクベス夫人を能シテ方が演じ，マクベス夫人の内面を表す仮想的な役

を�ゴースト�として CG役者で表現した．図 2 は実役者と CG役者の共演の様子である．

図 2 �Sleep no more�の公演の様子 (左： 3 人の魔女の共演，右：能役者とゴーストの共演)

3． 2．蜘蛛の糸

2 つのスクリーンを用いてより多くの映像を使用した舞台作品として，�蜘蛛の糸�を創作した．本作品は，芥川

龍之介の�蜘蛛の糸�に基づく創作演劇であり，2010年 2月にキャンパスプラザ京都にて公演を行った．�蜘蛛の糸�

では，日本の能と狂言の実演をベースに，CGで表現した極楽と地獄の世界を連続して巡る演出を行った．さらに，

Mocap システムで取得した能のデータを使用し，極楽と地獄を CGと能で表現することを試みた．

2 つのスクリーンによる映像投影

�蜘蛛の糸�では， 2つのスクリーンでより多くの映像を使用し，複数の世界を連続して巡る演出を行った．本公

演での舞台の構成を図 3に示す．本公演では，舞台の左右に 2つのスクリーンを設置し映像の投影を行った．役者が

演じる部分は大きく 2 つに分かれており，スクリーンの前は物語中の林や地獄，スクリーンの間は極楽として使用し

た．また，スクリーンの横にはナレーターを配置した．映像投影には背面投射を用いて，スクリーンの前に役者がき

36

ても映像に影が写らないようにした．本公演で使用した計算機には 2つのディスプレイ出力を持つビデオカードを使

用し，これらの 2 つの出力を 2つのプロジェクタに接続した．本公演では，次の 3種類の映像投影を行った．

・ 2 つのスクリーンに同一の映像を投影

・ 2 つのスクリーンに異なる映像を投影

・ 2 つのスクリーンに左右連続した 1つの映像を投影

例えば，オープニングの御釈þ様が登場する極楽のシーンでは， 2つのスクリーンに同一の蓮池のCG映像を投影

した．また，かんだたが林の中で蜘蛛を踏み殺そうとする回想シーンでは，林を撮影した実写の映像と，かんだたと

蜘蛛のCG映像の 2 つを，左右のスクリーンに投影した．本公演では，地獄の各レベルの大きな CG映像を 2つのス

クリーンに投影し，舞台上に地獄の世界を表現した．このように， 2つのスクリーンを柔軟に使用できるため，極楽

から順に地獄を見下ろしていくような場面でも，投影する映像を制御し，舞台上の場面を次々と切り替えていく演出

を行うことができた．

図 3 �蜘蛛の糸�の舞台構成

能のモーションデータを用いた振付創作

�蜘蛛の糸�では，能の動作をMocap システムで取得し，極楽と地獄を能のCGアニメーションで表現すること

を試みた．

極楽のシーンでは，能の特徴的な上半身の動きを蓮の花に割り当てることで蓮ダンスの創作を試みた．人体の上半

身と同じ構造を持つ蓮の花のCGモデルを作成し，蓮の花の部分には上体の動作，葉の部分には腕の動作を割り当て

た．これを極楽の池の中に 7つ配置し， 4種類の動作を繫げて連続再生した．図 4は蓮用の人体動作と蓮ダンスの

CGである．

また，地獄のシーンでは鬼と餓鬼(囚人)を能の形かた

で表現することを試みた．地獄にはいくつかのレベルがあり，下

のレベルに行くほど餓鬼は弱っていく．本公演では 3つのレベルを次のように定義し，これらのテーマに合わせて能

の基本動作を割り当てた．

・レベル 3：鉄棒

・レベル 2 ：針の山

・レベル 1：血の池

最も極楽に近いレベル 3では，鬼は力強さ，餓鬼は困惑を表現した．鬼の動作には，ダイナミックで激しい動作と

して，なぎなたの舞や刀の舞を，餓鬼にはすり足で後退する動作を割り当てた．レベル 2 では，地獄の刑の一つとし

て有名な針の山を配置した．鬼は�天狗�のすり足で針の山を監視し，餓鬼は足を組んで座る�安座�の姿勢で針の

山に配置した．レベル 1では，餓鬼のみを血の池の中に配置し，両腕を上げながらすり足で歩き回る動作を割り当

て，血の池の表面から浮かんで出てくるように，CGキャラクタの座標軸を変更した．極楽から地獄の各レベルを紹

介するシーンでは，レベルの高い方から低い方へ順に 2画面に連続した映像を表示し，絵巻のようにスクロールさせ

た．かんだたが蜘蛛の糸を登っていくシーンでは，レベルの低いシーンから高いシーンへ，視点を揺らしながら徐々

に上げていき，かんだたの視点を表現した．図 5 はかんだたが蜘蛛の糸を登っていくシーンの様子である．

37

図 4 蓮ダンス(左：蓮ダンスのMocap データ，右：蓮ダンスのCG)

図 5 �蜘蛛の糸�の公演の様子

3． 3．結 果

�Sleep no more�では，公演後，観客によるアンケート評価と実役者のインタビューを行った．�Sleep no more�

における CG映像の投影では，特に， 3 人の魔女のうち 1 人を CGで表現した点について，斬新である，新鮮であ

る，面白い試みであるなどの意見が多かった．また， 3 人のダンサーの動きが一致したときに魅力的である，想像を

超えてとてもなめらかで臨場感があった，などの意見が得られた．また，ゴーストは人間が実演するより CGで表現

した方が効果的，などの意見が得られた．改良点として，スクリーンの拡大，CGの質の向上が挙げられた．スク

リーンについては，スクリーンと役者を同時に見られない，スクリーンにばかり注目してしまう，舞台上にスクリー

ンがあることに違和感がある，などの否定的な意見も多かった．全体的には，リハーサル時間が少なく，試験的に

行ったにも関わらず，我々の演出に一定の効果はあったと考えられる．

�蜘蛛の糸�では，公演後，観客，役者，スタッフ約15名によるディスカッションを行った．�蜘蛛の糸�におけ

る CG映像の投影では，CG映像と舞台全体との調和がとれたものであり，観客から否定的な意見は得られなかった．

映像投影は背面投射で行ったため，役者の負担は少なく，役者が舞うスペースを制限することもなかった．逆に，役

者の影をスクリーンに映し出すなどの演出も可能となった．さらに，実役者が激しく動く場合は，スクリーンの映像

をあまり動かないようにするなど，それぞれ見せ場を用意したことが改善に繫がった．スクリーンについては，舞台

進行とスクリーン映像の同期が面白い，CGが出てくるので飽きない，などの意見が得られた．しかし， 2つのスク

リーンの間に能役者が舞うスペースを用意したため， 2つのスクリーンを同時に視界に収めることが難しく，連続し

た映像として認識するのは難しかった．

舞台での実践と評価結果より，舞台における CG映像の活用には様々な可能性があり，特に実役者と CG役者の共

演や，役者が実演できないシーンのCG再現などは演出効果として有効であることがわかった．伝統芸能と CG映像

の融合の試みは，伝統芸能をよく知っている人，純粋に生の演奏・舞台を見たい人には不向きであるかも知れない

が，能や狂言の知識があまりない人に内容の理解を深めるために有効であり，伝統芸能の観客層を広げる可能性もあ

ることがわかった．

38