09mm321 255 - saitama universityyankee.cv.ics.saitama-u.ac.jp/~kunolab/research/... ·...
TRANSCRIPT
ICS-11M-921
複数鑑賞者の反応の観察に基づき適応的に解説するミュージアムガイドロボット
指導教員 久野 義徳 教授
平成 23年 2月 7日提出
埼玉大学大学院 理工学研究科数理電子情報系専攻 情報システム工学コース
09MM321
柴田 高志
埼玉大学 理工学研究科・工学部久野研究室
埼玉県さいたま市桜区下大久保 255
概要
観客と相互的にコミュニケーションをする場面が多いミュージアムで，ロボットが案内役となり活動する研究が盛んになってきている．こうしたミュージアムガイドの研究は，単に安全にナビゲーションを行うことから，どのように観客の注意を引き付けて説明を行うか，さらにどのように観客と相互行為を行うかに関心が移ってきている．我々はこれまで，美術館での学芸員と観客の相互行為を，言葉と身体の動きの連携に焦点を当て，社会学の会話分析から調査・分析してきた．その結果，ロボットが作品の説明を行う場合でも，文の切れ目などの適切なタイミング (TRP)
で，観客の方向へ正しく振り向くことが，観客の反応を増加させることに効果的であることを見出してきた．
一方で，これまでのロボットは 1人対 1人のガイドを想定して設計していたが，実際のミュージアムでは家族や友人同士，恋人同士などのグループで鑑賞に来ることが多い．そのため，複数の観客がロボットに集まってきた場合でも，TRPで 1人の観客にしか振り向かないため，上手くガイドができないという問題が明らかになった．そこで，本論文では，全方位カメラとレーザ測域センサを相補的に組合せた複合センサを用いて複数の観客を検出・追跡することで，複数の観客に対して適応的な解説を行うミュージアムガイドロボットを提案する．特に，ガイドツアーの中で観客の興味を引き出したり，会話を促進させたりするための質問行動に着目し，この際の観客への視線配布と観客の反応の認識について検討した．
本研究では，ロボットが観客に質問をする際の人間の反応を，複合センサを用いて「積極的反応」，「中立的反応」，「消極的反応」の 3種類に分類し，よりロボットに積極的反応を示す観客に質問するように設計した．しかし，全方位カメラは解像度が低いため，観客の詳細な反応の認識は難しい．そこで，観客の詳細な反応の認識を行うために，新たに 3台のパンチルトズームカメラ（PTZカメラ）を導入した．この 3台の PTZカメラは互いに独立した観客の反応の認識を行う．このようなガイドロボットシステムを設計し，JICA横浜海外移住資料館にて実証実験を行った．実証実験の結果，ロボットと観客が 1人対 1人のガイドの時と同様に，1人対複数のガイドの時でも，ロボットに対して同期的な反応を示すことを確認した．
i
本論文は，第 2章では，実際のミュージアムでの学芸員の複数鑑賞者に対する解説行動の調査・分析に基づき，ガイドロボットの設計について検討する．第 3章では，複数人環境でガイドするロボットの開発とその有効性を検証するために実施した実験について述べる．最後に第 4章にて，全体を総括し，まとめ今後の展開について述べる．
ii
目 次
概要 i
図目次 vi
表目次 viii
第 1章 序論 1
1.1 本研究の背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 本研究の目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 本研究の課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.4 本研究の位置づけ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.5 本論文の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
第 2章 学芸員と複数鑑賞者の振る舞いの調査 6
2.1 はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.2 関連研究 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.3 研究目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.4 学芸員の複数人に対する解説行動の調査 . . . . . . . . . . . . . . . 9
2.4.1 ギャラリーツアーでの質問行動と視線配布の問題点 . . . . . 9
2.4.2 大原美術館における相互行為分析 . . . . . . . . . . . . . . . 11
2.4.3 JICA横浜海外移住資料館における相互行為分析 . . . . . . . 16
iii
2.5 ロボットシステムの改善点 . . . . . . . . . . . . . . . . . . . . . . . 18
2.6 まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
第 3章 複数人環境で解説をするガイドロボットの開発 19
3.1 はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.2 関連研究 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.3 研究目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.4 複数人物追跡のための複合センサの開発 . . . . . . . . . . . . . . . 22
3.4.1 レーザ測域センサと全方位カメラを用いた複合センサ . . . . 22
3.4.2 複数人に対する認識実験 . . . . . . . . . . . . . . . . . . . . 27
3.4.3 実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.4.4 認識実験の考察 . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.5 PTZカメラを用いた頭部ジェスチャ計測システム . . . . . . . . . . 29
3.5.1 ガイドロボットシステムの概要 . . . . . . . . . . . . . . . . 29
3.5.2 人物行動の計測 . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.5.3 頭部ジェスチャの認識 . . . . . . . . . . . . . . . . . . . . . 33
3.6 JICA横浜海外移住資料館における実証実験 . . . . . . . . . . . . . 35
3.6.1 実験概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.6.2 観客の振る舞いの分類 . . . . . . . . . . . . . . . . . . . . . 38
3.6.3 ビデオデータの分析 . . . . . . . . . . . . . . . . . . . . . . 40
3.6.4 実証実験における観客のエンゲージメント . . . . . . . . . . 41
3.6.5 実証実験の考察 . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.7 まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
第 4章 結論 45
iv
4.1 まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.2 今後の課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
謝辞 49
参考文献 51
発表文献 56
v
図 目 次
1.1 観客を話に引き込むミュージアムガイドロボット . . . . . . . . . . 2
1.2 ミュージアムでのギャラリーツアーの様子 . . . . . . . . . . . . . . 4
2.1 視線配布による選択法 . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2 視線固定による選択法 . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.3 トランスクリプト 1：「年とったバッカント」 . . . . . . . . . . . . . 13
2.4 トランスクリプト 2：「年とったバッカント」 . . . . . . . . . . . . . 14
2.5 トランスクリプト 3：「年とったバッカント」 . . . . . . . . . . . . . 14
2.6 トランスクリプト 4：「年とったバッカント」 . . . . . . . . . . . . . 15
2.7 トランスクリプト 1：「野菜山車」 . . . . . . . . . . . . . . . . . . . 16
3.1 レーザ測域センサ（北陽電機製 UTM-30LN） . . . . . . . . . . . . 23
3.2 全方位カメラ（Vstone製 VS-C42U-200-TK） . . . . . . . . . . . . 23
3.3 ガイドロボットシステム . . . . . . . . . . . . . . . . . . . . . . . . 26
3.4 観客の振る舞いの認識 . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.5 パンチルトズームカメラ（Logicool製 Qcam Orbit AF） . . . . . . 29
3.6 ガイドロボットシステムの概観 . . . . . . . . . . . . . . . . . . . . 31
3.7 FaceAPIによる頭部追跡の様子 . . . . . . . . . . . . . . . . . . . . 32
3.8 追跡システムによる計測の様子 . . . . . . . . . . . . . . . . . . . . 34
3.9 解説シナリオ 1：「野菜山車」 . . . . . . . . . . . . . . . . . . . . . 36
vi
3.10 解説シナリオ 2：「野菜山車」 . . . . . . . . . . . . . . . . . . . . . 37
3.11 実験の配置図 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.12 TRPにおいて観察された観客の積極的反応の割合 . . . . . . . . . . 40
3.13 ロボットによる自動判定結果 . . . . . . . . . . . . . . . . . . . . . 41
vii
表 目 次
3.1 レーザ測域センサの仕様 . . . . . . . . . . . . . . . . . . . . . . . . 24
3.2 全方位カメラの仕様 . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.3 認識実験の結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.4 パンチルトズームカメラの仕様 . . . . . . . . . . . . . . . . . . . . 30
3.5 アンケート調査内容 . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.6 Q1における人間の主観による判定と提案手法による判定との比較 . 42
3.7 Q2における人間の主観による判定と提案手法による判定との比較 . 42
viii
第1章 序論
1.1 本研究の背景
少子高齢化の進展と深刻な人手不足と共に，ロボット市場の社会的需要が高まり，経済産業省によると，2035年には 9.7兆円を超える市場規模にまで成長すると予測されている．世界最大級のルーヴル美術館の年間来場者数は，年間 850万人を超え，パリの街中では，毎日数万人の人間が，モナ・リザとミロのヴィーナスを鑑賞していくという．また，計 18の博物館，美術館，国立動物園からなるスミソニアン博物館では，1億 3,650万点もの文化遺産や標本を所蔵しており，2009年には年間約3千万人が訪れた．
一方で，ミュージアムには，展示品についての深い知識を持つ学芸員がおり，作品の解説をしてくれることがある．しかしながら，多くの美術館や博物館で，経営赤字などによる人員不足が課題となっており，現状ではすべての作品を学芸員が常に解説することはもはや現実的ではなく，多くの場合，展示品の解説をしてくれる音声ガイドがある．
観客にとってこの音声ガイドと学芸員の解説のどちらがより鑑賞の手助けになるかを考えると，学芸員から作品の解説をされた方が，視線や顔の表情，ジェスチャ，手振り・身振り，声のトーン，相手との間の取り方など，「言葉以外の手段」を使っている分そのメッセージが伝わりやすいことは明らかである．そこで，人間のように言語と非言語行動を上手く協調させて，観客の鑑賞を支援するミュージアムガイドロボットによる解説が可能となれば，学芸員のように展示品の持つメッセージを円滑に観客へと伝達し，理解を助けることができると考えられる．また，ロボットが人間にメッセージを伝えるという本質は，情報システムが人間との社会的コミュニケーションを成立させるための技術を確立させると共に，介護施設や商業施設などの広範な分野への応用も期待でき，社会的意義は大きい．
1
1.2 本研究の目的
本研究では，コンピュータビジョンシステムから得られる映像を用いて人物を観察し，社会学的知見に基づいて，言語行動と非言語行動を連携させることで，観客と円滑なコミュニケーションをするガイドロボットを開発することを目的とする．この実現には人間の学芸員の解説行動の調査・分析と頑健な人物の頭部追跡技術が必要となる．
具体的には，本研究では美術館や博物館などの数人～20人程度の人物が同時に存在する空間に着目する．そして，カメラなどのセンサで観測可能な領域について，人物頭部の三次元位置及び向きを実時間で計測する手法を開発する．また，大原美術館での実証実験の分析によりロボットの改善点を検討し，複数人環境においてもロボットが観客を話に引き込むことができるガイド手法の確立を目指す（図 1.1）．
図 1.1: 観客を話に引き込むミュージアムガイドロボット
1.3 本研究の課題
ロボットのカメラなどの画像センサによる人物追跡では，人物が必ずしもカメラに対して一定方向を向いていないために起こる見えの変化の問題や，広い範囲を観察することにより頭部が低解像度で観察される問題，昼間と夜間などの照明変動の問題，さらに，ミュージアムの展示品などの複雑な背景の問題などの課題がある．
2
また，実際の美術館や博物館などへの適用を考えると，カメラなどのセンサ配置には物理的な制約があることから，障害物や人物相互による遮蔽により，センサによる観測が得られない領域が生じることが予想される．このような状況を検知し，速やかに追跡を再開するため，人物の出現や消失の頑健な検出も重要な課題である．
1.4 本研究の位置づけ
観客と相互的にコミュニケーションをする場面が多いミュージアムで，ロボットが案内役となり活動する研究が盛んになってきている．Thrunらは，RhinoとMinervaという 2つのガイドロボットを用いて，Deutsches Museum Bonn と The
Smithsonian’s National Museum of American Historyにてツアーガイドロボットの実験を行っている [31, 32]．また，塩見らは大阪の科学博物館で，Robovieを用いてツアーガイドロボットの実験を行った [27]．
こうしたミュージアムガイドの研究は，単に安全にナビゲーションを行うことから，どのように観客の注意を引き付けて説明を行うか，さらにどのように観客と相互行為を行うかに関心が移ってきている．塩見らは，ロボットが身振り手振りしながら話すことで，ロボットへの友好性やグループアテンションがどのように増えるかをアンケート調査によって分析している [27]．Sidnerらは，ロボットが話の途中で観客を振り返ることが，観客のうなずき等のエンゲージメントを増やすということを報告している [28]．また，葛岡らは，ロボットが説明の途中で “言い直し”や “
沈黙”をおくことで，観客の関心を引き付けることができることを示している [16]．
人間と人間のコミュニケーションの場面だけでなく，人間とロボットのコミュニケーションにおいても言語と非言語行動の協調が重要であることが明らかになりつつあり [10]，いくつかの研究では，説明を行う際の人間の言語と非言語行動の関係を調べることで，人間に対して説明を行うロボットの開発を試みている．例えば，Mutluらは，物語を語るロボットに，人間が行うのと同様な方法で，文法的に適切な場で聞き手に視線を向けるようにした [20]．
我々もまたミュージアムで観客の鑑賞を支援するロボットを開発してきた．このロボットは言語と非言語行動を協調させることで効果的な説明を試みるが，社会学と工学の専門家が共同で学習を進めることにより，人間の感性に合うロボットを開発していくという点でこれまでの研究とは大きく異なる．具体的には，まずミュージアムで実際に人々が活動している現場で，自然に生じているコミュニケーションや身体的な行動を，複数のビデオカメラやマイクロフォンを用いて録画，録音する（図 1.2）．次に，そのデータを社会学のエスノメソドロジー（人間がコミュニケー
3
ションや相互行為をどのように行っているか，その方法論を研究する）や会話分析の方法で分析する．実際の分析では，録画録音したデータをコンピュータを用いてデジタル化し，そこでの会話や身体的な行動を 1コマずつ詳細に分析していく．そして分析に基づき，人間の活動を支援するミュージアムガイドロボットの開発をする．さらに，開発したシステムをもう一度人々が活動している現場で，そのロボットが本当に役立つかどうかを評価，検証をするというアプローチで研究を進めている．
図 1.2: ミュージアムでのギャラリーツアーの様子
我々は以上の研究手法から，ロボットの言語と非言語行動を適切に協調させることで，観客の反応が増えることを見出してきた [15, 33]．これは，タイミングを考慮せずに単に観客に振り向くのではなく，文の切れ目などの発話の移行が適切となる場所 (Transition Relevance Place：TRP) で観客に振り向くことが効果的であることを指摘し，その有効性を示したものである．また，これまでの実験において，観客の反応はロボットの振り返りと同期して起きていたことから，TRPで振り向くと，ロボットの説明に観客を引き付ける効果があることが分かった．さらに，これは実験室での実験であるため，実際の環境 (大原美術館)でも同様の反応が観察されることを実証実験を通してその有効性を確認した [9, 38]．従来の研究では観客とロボットが 1対 1の場面を想定して，ロボットを設計していたが，実際のミュージアムでは家族連れやカップルなどのグループで鑑賞に来ていることがわかった．そこで，本研究では，複数人相手の実用的なロボットのガイド手法の確立を目指す．
4
1.5 本論文の構成
本論文の構成は以下の通りである．
1章 序論2章 学芸員と複数鑑賞者の振る舞いの調査3章 複数人環境で解説をするガイドロボットの開発4章 結論
本論文は，第 2章にて，実際のミュージアムにおいて学芸員と複数鑑賞者の振る舞いを調査・分析し，複数人環境におけるガイドロボットの振る舞いを検討する．第3章では，異なるセンサを相補的に組み合わせた複合センサを用いることで，より実用的な人物追跡手法とガイドロボットシステムについて述べる．そして，開発した複合センサをロボットに適用し，実験室的環境で実施した予備実験と実際のミュージアムで実施した実証実験について詳細に述べる．最後に第 4章にて，全体を総括し，本研究のまとめと残された課題について議論する．
5
第2章 学芸員と複数鑑賞者の振る舞いの調査
2.1 はじめに
科学技術の飛躍的な進歩に伴い，近い将来ロボットが商業施設，駅構内，博物館などの人間社会において活躍することが期待されつつある [11, 24, 29]．特に，ミュージアムは説明の対象となる展示物が数多くあり，多くの観客が展示物を鑑賞に来ている．現在，ミュージアムには，様々な鑑賞支援がされており，例えば，ラベル，パンフレット，本，インターネットコーナー，学芸員によるギャラリートークやボランティアによる随時の解説，PDAを使用した音声ガイドなどがある．
また，近年のロボット研究では，人間と交流する機会の多い美術館や科学館などのミュージアムにおいて，ロボットが案内役となり観客とコミュニケーションをする研究が様々なグループで実施されている [2, 26, 27, 31, 32]．このミュージアムで活動するガイドロボットは，従来の PDA ガイドシステムよりも次に示す 2つの利点を持っているため，開発に対する関心が増してきている．まず 1つ目に，ロボットは言葉に加えて，視線や指差しのような目に見える非言語行動も使うことができる点である．2つ目に，ロボットは目に見える非言語行動を通して，同時に複数の観客の輪の中に入ることができることがガイドロボットの大きな特徴である．
これらのことから，ミュージアムガイドロボットの研究は，ヒューマンロボットインタラクションの有望な研究領域のひとつとなっている．
6
2.2 関連研究
近年のミュージアムガイドの研究は，ロボットが複数の観客に対して，展示品をより効果的に説明するために，どのように言語と非言語行動を組み合わせればよいのかということに焦点を当てている．
Bennewitzらは顔画像処理によって得られた人の立ち位置や発話の多さを考慮することで，複数の観客の中から 1 人を選び，その人へと視線を向けるロボットを提案した [2]．Shiomiらはロボットに対して最適な位置に動かすことを観客に示すことでロボットの明確な発話の有効性を示した [27]．Yonezawaらは観客の視線方向を検出することができるビジョンシステムを開発し，広告を見ている人々の視線方向によって最適な発話や行動をするシステムを持つロボットを提案した [35, 36]．これらの研究は言語や非言語行動を通して複数の観客とロボットが相互行為をする関係性があるが，実際の学芸員と観客の間の相互行為分析に基づいてはいない．
我々は社会学とコンピュータサイエンスの研究者が共同研究することでミュージアムガイドロボットの開発に取り組んでいる．また，我々の研究はロボットが複数の観客の輪の中に参加し，発話に加えて目に見える身体的行動を使うという傾向とも関連づいている．
そして，我々の研究手法は以下のような特徴がある．まず，実際のミュージアムで学芸員と観客の相互行為を撮影し，社会学の分野で開発された相互行為分析を使うことで分析を行う点である．特に，注視，頭部動作，身体の向きのような目に見える非言語行動が，どのように言語と連携しているのかということに焦点を当てている．そして，言語と非言語行動を連携することができるガイドロボットを開発し，どのように観客とロボットが相互行為をするのかを調査するために実際のミュージアムで実験を実施している．再びこれらの実験の相互行為分析を用い，得られた知見をロボットの改良へと繋げていく．
このような社会学の研究とロボットの開発を組み合わせた学際的な研究を通して，Yamazakiらは文の切れ目などの発話の移行が適切となる場所（Transition Relevance
Place:TRP）で観客に振り向くことが，観客の適切な反応を促すことに効果的であることを見出してきた [33]．また，ロボットが絵画作品について被験者に質問する際に，頭部を観客に向けることによって円滑に知識を伝達することができることを示してきた．さらに，この知見が実際のミュージアムである大原美術館（倉敷）でも有効であることを示してきた [34]．
7
2.3 研究目的
本研究では，複数の観客に対して適切に解説を行うロボットを設計することを目指す．これまでのミュージアムにおける人間の学芸員の調査から，人間のガイドが言葉と身体的行為を用いて，観客全員に質問をすることで，すべての観客を話に引き込む解説を行っていることがわかった．
PDAはミュージアムにとっては静粛さ “silence”を保ち，観客にとっては便利であることから多くのミュージアムで利用されている．しかし，観客がPDAの利用に集中してしまうことで，展示物の鑑賞に集中できない場合もある．また，家族連れやカップルなどの複数人のグループで鑑賞している観客がPDAを利用すると，別々に鑑賞を行うことになり一緒に楽しめないという分離 “segregation”の問題が鑑賞支援の大きな問題となっている．
一方で，ミュージアムガイドロボットを利用した鑑賞支援システムは，実際の展示物に言葉と身体的行為を用いて解説でき，同時に複数の観客の輪の中に入ることができるという利点をもっている．しかし，単にロボットをミュージアムに置き，説明を流すだけでは観客を引き付けることができない．そのため，ロボットの形状や動作をどうするかという研究や，作品に関心がある観客をどのように見分けるかという研究が盛んに行われている．
我々のこれまでの研究は，複数の観客がいる場合でも，ロボットと観客の一対一の相互行為を中心に分析を行い，ロボットも解説の最初の時点であらかじめ一人の観客を選び出し，その同じ観客に対して振り向くように設計していた．そこで，本章では，複数人環境でもガイドできるロボットの開発を目的として，実際のミュージアムにおける複数の観客に対する学芸員の解説行動を調査し，効果的なガイド方法を検討する．
8
2.4 学芸員の複数人に対する解説行動の調査
本節では，複数人に対する説明を可能とするガイドロボットへの拡張のため，学芸員と複数の観客間に着目し，会話分析・相互行為分析の観点から分析を行う．
2.4.1 ギャラリーツアーでの質問行動と視線配布の問題点
近年，ミュージアムにおけるギャラリーツアーにおいて鑑賞者に「考えさせる」という問題提起型のガイド方法が試行されてきている．例えば，現在，世界各国で新しい鑑賞教育プログラムを積極的に展開しているArenasは，ギャラリーツアーにおける講師は解説者ではなく司会役に専念する方が良いと述べている [1]．その影響もあって，ギャラリーツアーの中で観客の興味を引き出したり，会話を促進させたりするための質問がよく用いられるようになってきている．
我々は，ギャラリーツアーのいくつもの社会学的研究を通じて，学芸員が観客に対して質問を頻繁に使用することが分かった．また，学芸員が複数の観客に質問をする際に，学芸員が様々な方法で観客に視線を向けていることが分かった．さらに，学芸員は実際に質問をする前にも，様々な方法で観客に視線を向けていることが分かった．
このような，質問と視線の問題は，会話分析においても，関心を集めている．Sacks
らは，現在の話し手が次の話し手を選択するテクニックの一つとして，質問のような，隣接対の ( “first pair-part”)が用いられると指摘している [22] ．また複数の聞き手の中で，ある一人の聞き手を選ぶ際には，その特定の聞き手にアドレスするための仕方 (例えば名前を呼ぶ)が使われる．こうした特定の聞き手にアドレスする仕方の一つは，話し手が特定の聞き手に向けた視線である．
しかし，こうした話し手の視線のもつ特定の聞き手を話し手として選ぶ機能には限界があると，Lernerは指摘している [17, 18]．視線は，その特定の聞き手がその話し手の視線に気づいているとき，すなわち話し手の視線を見ているときにのみ有効となる．話し手の視線が特定の聞き手を文脈から自由に選択できるわけではない．話し手が質問をする前に，聞き手の様子をみたり，あるいは聞き手に自分を見させるための行為をしたりすることが必要なのである．
同じような問題は，Goodwinも指摘している．聞き手の視線の問題を追求する中で，Goodwinは話し手の視線の問題も扱っている．Goodwinは，話し手は，聞き手が自分を見ているとわかっている時に，聞き手に視線を向けると述べている．そ
9
うでないと，話し手は，自分に視線を向けていない聞き手を見ることになって，そのときにはすぐに話を始められないからである [6]．Goodwinは，話し手は “言い直し” と “沈黙”を用いて，聞き手の視線を自分に向けさせると述べている．さらに，Goodwinは，複数の聞き手がいるときには，話し手はこうしたテクニックを用いて，聞き手の視線を集めると同時に，言葉を (sentence unit)さらに付け加えながら，自分を見ている聞き手を話し手として選ぶと述べている [6, 7]．
このように，質問の際の話し手の視線を考えるためには，その質問の前の行動やそれを観察するための視線の問題を考える必要がある [8]．また，話し手がどのように話や質問を組み立てながら，聞き手を選んでいるかを考える必要がある．
Sacksは，“dirty joke”の語りの分析において，語り手が多人数に長い語りをするような場合，その語りの中に，謎解きを組込むことに着目している [23]．謎は解答と一緒になって情報を伝達する働きを持っていると述べている．
こうした問題から，我々は大原美術館と JICA横浜海外移住資料館でのギャラリーツアーにおいて，学芸員が質問の際に，あるいは質問の前に，どのような行為をするか，また，どのように視線を向けるのかに着目し観察をした．さらに，その視線によって，どのように聞き手を選ぶのかを観察した．
10
2.4.2 大原美術館における相互行為分析
日本の代表的な美術館である大原美術館における学芸員の観察から得られた，いくつかの例を述べていく．まず，学芸員が作品を解説する場面（学芸員 1人，観客3人）を撮影し，特に質問行動の場面に着目し，分析した．
図 2.1: 視線配布による選択法
図 2.2: 視線固定による選択法
図 2.1は，学芸員が観客に対して，解説している場面である．観客が複数いる場合は，学芸員はすべての観客に視線配布を行い，観客の視線を集め，注意を引き付けている．そして，観客の視線の変化を観察し，明らかに視線を外した観客ではな
11
く，自分に視線を向け続けている観客を選び，質問をしていた．この話し手の視線の向け方を「視線配布による選択法」と呼ぶ．
一方，図 2.2は，別の学芸員が観客に対して，解説している場面である．学芸員は観客の方へ大きく一歩踏み出し，視線や指差しを固定することによって，答え手を質問の前に選び，質問をしていた．この話し手の視線の向け方を「視線固定による選択法」と呼ぶ．
この 2手法のうち，「視線配布による選択法」をロボットにとらせることが有効ではないかと考えた．その理由を以下に示す．
1. 「視線配布による選択法」は，観客全員に対して質問をしているような印象を与え，観客全員のより積極的な反応を引き出すことができるであろう．
2. 「視線配布による選択法」は，正解を知っている可能性のある観客を選ぶことができ，また，質問に答えたくない観客や答えを知らない観客を選ばないことによって，観客の困惑を減らし，体面を守ることができ，観客全員とより積極的に相互行為ができるようになるであろう．
12
図 2.3から図 2.6は，学芸員が銅像「年とったバッカント」（アントワーヌ・ブールデル作）を解説している場面である．この場面では，学芸員と観客が 1人対 1人の場合と異なり観客が複数いることで学芸員の視線配布の対象者は増えるが，学芸員はすべての観客に視線配布を行っている．そして，学芸員は，観客に対して単なる質問ではなく，観客全員を巻き込む謎を提出する．ここでは 2つの謎を提出している．最初の謎は，次の謎を解くためのヒントとして構成されている．
GE1：学芸員女性 A, B, C, D, E, F ：観客GE1‐‐‐： GE1に向けて視線が止まっている (.)：Short pause
O： 他の観客 [：Overlap
1行目：観客の視線2行目：発話した言葉
F‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐01. F：なんですけど 何してるんでしょうね
F‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐02. GE1：はぁなるほどね 何してるんでしょうね ちょっと気になる
図 2.3: トランスクリプト 1：「年とったバッカント」
図 2.3で，学芸員は，観客 Fの質問から，「この銅像は何をしているのか」という最初の謎を提出する．そのあと，学芸員はすべての観客に対して，各自に解答をしてもらう．学芸員は，観客の提出したそれぞれの解答に対して肯定的な評価をするが，学芸員自身の解答は言わない．
その後，学芸員は第 2の謎「バッカントってなんか知っています」を提示する（図2.4）．
13
01. GE1：ちなみに なんかさっきすごくタイトル気になる (.)
02. GE1：「バッカント」ってなんか知ってます？
図 2.4: トランスクリプト 2：「年とったバッカント」
01. GE1：これで こうすぐ検討がすぐついちゃう02. B：へぇ :::
03. E：あそうなんですか↓04. GE1：バッカント知ってます？＜バッカント :::
図 2.5: トランスクリプト 3：「年とったバッカント」
さらに，学芸員は，図 2.5で，第 2の謎の答えが第 1の謎の答えのヒントになることを示した後，第 2のパズルを全員を見回すと同時に両手で全員を指差して，全員に質問を投げかけている．
図 2.6で，観客全員のわからないという反応の後，学芸員は 3行目で「バッカス」というヒントを与え，さらに 12行目で「バッカント」とは「バッカスの女性信者」という答えを言う．こうした謎と解答によって，学芸員は「バッカスとはお酒の神様であり，バッカントとはバッカスの女信者である」という知識を観客に与える．このとき，観客は「ふーん」と言って学芸員の方を見ている．また，学芸員は 15行目で「酔っ払ってんのかな」という第 1の謎のヒントを出す．そのとき，観客全員が視線を銅像へと同時に移動する．それによって，観客は銅像をみることで，その答えの適切さを自ら見つけ出そうとする．このように学芸員は，謎を提出するだけでなく，謎の答えを出す時にも，観客全員の参与の仕方を，「受動的に答えを聞くもの」から，積極的な参加者，つまり，「自ら銅像を見て答えの適切さを探し出すもの」へと変化させた．こうした観客の参与枠組みの全体の変化，すなわち，視線が同時に銅像に向けられることを通して，学芸員も観客の知識の獲得や理解を確かめることができると考えられる．
14
01. E：知らないです02. (0.1)
03. GE1：バ、[バッカス04. C：[な名前じゃないですよ [ね05. GE1：[え？06. C：＜名前じゃ07. A：バッカスってお酒の神様？08. GE1：09. GE1：＝そうそうそう！10. B：あ:::
11. GE1：バッカスっていうお酒の神様なん–がいますよね12. GE1：バッカントっていうのはその、女信者のこというんですよ13. E：B：ふ：：：：ん14. GE1：だからぁまぁついつい私なんかすぐこう：これを見てね15. GE1：あぁ酔っ払ってんのかな、16. GE1：とかね思ってしまうんですけれども
図 2.6: トランスクリプト 4：「年とったバッカント」
15
2.4.3 JICA横浜海外移住資料館における相互行為分析
次に，日本人の海外移住資料を展示する歴史資料館である JICA横浜海外移住資料館で，学芸員の解説行動の分析を行った．図 2.7は，学芸員が 4人の観客に対して，「野菜山車」の作品を解説している場面である．
GE2：学芸員男性 A, B, C, D ：観客GE2‐‐‐： GE2に向けて視線が止まっている (.)：Short pause
O： 他の観客 [：Overlap
01. GE2：これ：あの：（手のひらで山車を示す）
02. （1.0）03. GE2：屋根を見ていただきますと：(.)°お：°04. GE2：ただ野菜が (.)なら、並んでるだけじゃないですよね？
（GE2は指差しで出しの屋根を示す）（Aは視線を山車の上部に向ける）
05. (1.7)
06. A：（うなづく）07. GE2：んん (.)なな何に-に見えますか？08. A：国旗ですね09. GE2：ねえ、星条旗ですよね
: （全員に対して振り向く）
図 2.7: トランスクリプト 1：「野菜山車」
この場面でも，学芸員は「屋根を見ていただきますと，ただ野菜が並んでいるだけじゃないですよね？」といって，山車に関する最初の謎を提出している．しかし，同時に，その謎は，「何に見えますか？」という第 2の謎の予備質問にもなっている．学芸員は，最初の謎で観客全員の関心を，謎とその対象に引きつけた上で，頷くなどの積極的な反応を示している観客Aに対して，「何に見えますか？」という第 2の謎を提出していた．
図 2.7で，学芸員は「屋根を見ていただきますと」と言いながら屋根に視線と指差しを向け，観客全員の視線を屋根に導く．さらに，学芸員は，文の切れ目の時点
16
で言葉の終わりを伸ばしながら，観客を振り向いている．そうして，学芸員は，最初の謎の提出と同時に，再び視線と指差しを屋根に向け，その謎の発話の終わりで屋根を指差しながら観客を見て質問をしていた．このように学芸員は最初の観客への振り返りで観客の視線を確認し，屋根を指差して謎を出し，観客の視線や振る舞いを確認していると考えられる．
学芸員は，質問の後に，1.7秒の沈黙を置き，その間に，肯定的な反応をしている人，つまり，頷いている人を見回してで確認している．第 2の謎は，積極的な反応を示している観客（A）に対して提示されている．学芸員は，頷いた観客Aに視線を向けて「何に見えますか？」と質問する．そして，学芸員は，観客Aの答え「国旗ですね」を聞いた後，「星条旗ですよね」と言いながら全員に対して振り向くことで，この質問と答えのやりとりを観客Aに対してだけでなく，観客全員に対して確認する．その時，観客全員の視線は山車の屋根の部分に向けられている．このようにして，学芸員は，観客全員に謎と解答による情報を全員に対して伝達し，観客はその解答を自分の目で確認している．
すなわち，学芸員は，言葉と身体行動を連携して，最初の謎を提示し，観客全員の視線を山車の屋根に注視させると同時に，観客の反応を見分けている．そして，頷くなどの積極的な反応を示している特定の観客を選択して，第 2の謎を提示している．また，学芸員は答えを言う際に，質問した特定の観客に答えるのではなく，作品を指差しで参照して観客全員に答えを確かめるように促し，観客の知識の獲得や理解を確かめていると考えられる．
17
2.5 ロボットシステムの改善点
本節では，大原美術館および JICA横浜海外移住資料館における調査を基にロボットシステムを検討する．
これまでに述べた調査から，ガイドロボットの要求仕様として以下に示す 2つの提案をすることができる．
1. ロボットの複数人対応2. 観客の積極的反応の判定
まず，これまでのロボットシステムは，1人の観客を想定して設計していたため，複数の観客が集まってきても適切に視線配布を行うことが出来ないという問題点がある．そこで，本研究では，レーザ測域センサやカメラなどを用いて複数の観客の頭部を頑健に追跡し，複数の観客に対して視線配布を行うガイドロボットを目指す．
次に，ロボットが複数の観客に対して視線配布をする際の方法論を検討する必要がある．我々は，これまでに「視線配布による選択法」と「視線固定による選択法」をロボットに実装し，「視線配布による選択法」の有効性を示してきた [38]．本研究では，さらに，ロボットへの観客の積極的反応の判定機能の実装を目指す．
2.6 まとめ
本章では，大原美術館および JICA横浜海外移住資料館において，人間の学芸員の振る舞いを会話分析・相互行為分析の観点から調査した．まず，複数人環境における 2種類のガイド法を検討し，「視線配布による選択法」をロボットに実装することが有効であると考えられる．そして，ロボットは，質問の際に，質問を予期させる “Pre-Question”と呼ばれるタイミングで，観客の積極的反応を判定し，反応の観察に基づいた動作をする．この時，より積極的反応を示す観客を選択して質問し，より消極的反応を示す観客には質問をしないことが，ロボットが人間と相互行為する上で重要であると考える．次章では，調査の結果に基づき，複数人環境で解説できるガイドロボットの開発について述べる．
18
第3章 複数人環境で解説をするガイドロボットの開発
本章では，第 2章での分析・調査に基づいて，複数人環境でも解説することができるガイドロボットの開発を目指す．
3.1 はじめに
近年のロボット研究では，人間と交流する機会の多いミュージアムにおいて，ロボットが案内役となり観客とコミュニケーションをする研究が世界的に実施されている [2]．我々の研究では，社会学の会話分析の考え方を用いて，ロボットの言語的行為と非言語的行為を適切に協調するミュージアムガイドロボットの開発を行っている．これは，タイミングを考慮せずに単に観客に振り向くのではなく，文の切れ目などの発話の移行が適切となる場所（TRP）で観客に振り向くことが効果的であることを見出してきた [15, 33]．また，実験室的環境から，実際のミュージアム（大原美術館）に実験場所を変え，これまでの知見が実環境でも有効であることを示してきた [34]．
一方で，これまでのロボットは，1人対 1人のガイドを想定して設計していたため，家族や友人同士，また恋人同士などグループで鑑賞に来ている来場者や多数の観客が集まってきた場合でも，TRPで 1人にしか振り向かないため，上手くガイドができないという問題が明らかになった．そこで，本章では，全方位カメラとレーザ測域センサを相補的に組合せた複合センサを用いて複数の観客を検出・追跡することで，複数の観客に対して適応的な解説を行うミュージアムガイドロボットを提案する．特に，ガイドツアーの中で観客の興味を引き出したり，会話を促進させたりするための質問行動に着目し，この際の観客への視線配布と観客の反応の認識について検討する．
19
3.2 関連研究
人物追跡は，ロボット研究において重要な研究分野のひとつである．美術館などで，ロボットが人間と相互行為を行うためには，複数の人間や展示物の位置を正確に検出・追跡する必要がある．
近年では，パーティクルフィルタに基づいた手法が数多く提案され，複数対象追跡についても，その有効性が報告されている（[12, 14, 19]など）．カメラを用いた人物検出・追跡は，これまでに数多く報告されており，例えば，佐竹らは，ステレオカメラを用い，複数人物の重なりを考慮したシルエット形状を利用することで，それぞれの人物を正確かつ安定に追跡する方法を提案している [25]．しかし，これらの研究では，対象物体までの正確な距離を測定することが困難である．
移動ロボットにおける障害物回避にはレーザ測域センサが広く用いられており，人物検出・追跡に利用した研究も数多くある．Cuiらは，レーザスキャナを用いて人物の足首を追跡し，混雑状況にいる歩行者の行動分析を行う研究をしている [3]．Glasらは，複数のレーザ測域センサを用いて人物の身体の形を観測し，追跡を行う研究をしている [5]．しかし，これらの研究では，カメラを用いないため，物体の認識をすることが困難である．
杉村らは，特徴点軌跡のクラスタリングに基づいて混雑環境下における頑健な人物追跡手法を提案している [30]．Essらは，ビジュアルオドメトリ，歩行者の検出，深度推定などを統合して複雑な環境下においても高い人物追跡性能を示している [4]．これらの手法は，頑健な追跡を可能としているが，計算コストが高いため，ロボットへの適用は難しいと考えられる．
20
3.3 研究目的
そこで，本研究では，カメラとレーザ測域センサを相補的に組み合わせた複合センサを用いて頑健な追跡を実現する手法を提案する．さらに，人間の頭部動作の計測を行い，人間の振る舞いを計測することで，人間の状態を次の 3種類に分類する．
1. ロボットに対して，うなずきや視線を合わせる反応を示す人を “積極的反応”
2. ロボットに対して，首ふりや視線を外す反応を示す人を “消極的反応”
3. 視線変化の見られない人やそれ以外の反応を示す人を “中立的反応”
このように人間の反応を分類し，ロボットは，積極的反応を示す人に対して質問を投げかけ，消極的反応を示す人にはなるべく質問をしないことで，質問の答えを知っている可能性のある観客を選ぶことができるであろう．また，答えたくない観客や答えを知らない観客を選ばないことによって，観客の困惑を減らし，体面を守ることができ，観客全員とより積極的に相互行為ができるようになるであろう．
21
3.4 複数人物追跡のための複合センサの開発
本節では，複数の人物を検出・追跡する手法について述べ，第 2章で述べた観客の積極的反応の判定機能の有効性を確かめるための実験を行い，考察する．
3.4.1 レーザ測域センサと全方位カメラを用いた複合センサ
ガイドロボットの外観を図 3.3に示す．ロボットは，コミュニケーション研究用ロボット開発プラットフォームRobovie-R Ver.2を用いた．複合センサは，ロボットの頭部の動きに影響を受けないように，ロボット後方に設置した．この複合センサは，レーザ測域センサ（北陽電機製 UTM-30LN：図 3.1）と全方位カメラ（Vstone
製 VS-C42U-200-TK：図 3.2）を重ねて配置することで，広範囲で “距離”と “見え”
を計測できるという特徴がある．観客の位置や身体の向きは，参考文献 [34, 13]によって報告されているパーティクルフィルタを用いて追跡する．レーザ測域センサと全方位カメラの詳細な仕様については，それぞれ表 3.1，表 3.2に示す．
さらに，本システムでは，追跡している頭部領域のオプティカルフローに基づいて頭部のジェスチャ認識を行う [13]．まず，追跡対象頭部領域を 16分割し，垂直，水平方向のオプティカルフローをそれぞれ計算する．そして，垂直方向の成分と水平方向の成分の計測点の数を数え，この数が一定の閾値を超えた場合に，それぞれ，頷き，首振りとして認識する．
このようにして，ロボットは，観客の振る舞いを計測し，その計測結果に基づいて，それぞれの観客に視線配布を行いながら説明を行う．そして，質問を予期させる “Pre-Question”と呼ばれるタイミングで，頭部ジェスチャ認識を行い，視線方向の変化を統合して判断し，観客の反応を積極的反応，中立的反応，消極的反応の 3
種類に分類する．
22
図 3.1: レーザ測域センサ（北陽電機製 UTM-30LN）
図 3.2: 全方位カメラ（Vstone製 VS-C42U-200-TK）
23
表 3.1: レーザ測域センサの仕様
形式 UTM-30LN
電源電圧 DC12V±10%（消費電流：700mA以下）光源 半導体レーザ λ = 870nm(FDA認証 レーザ安全クラス 1)
測距範囲 0.1 ∼ 30m（500mm以上，白色紙）測距精度 0.1 ∼ 10m：±30mm
10 ∼ 30m：±50mm
角度分解能 ステップ角：0.25°（360°／ 1,440分割）出力応答時間 60ms
騒音 25dB以下インタフェース エリア設定用 PC接続：USB2.0(Full Speed)
出力OUT1：NPNオープンコレクタ 50mA以下，30V以下接続 電源及び出力：フライングリード 2m
USB：TypeAプラグ付きケーブル 2m
使用周囲温度・湿度 −10 ∼ +50℃，85% RH以下耐振動 複振幅 1.5mm，10 ∼ 55Hz，X・Y・Z各方向，各 2時間耐衝撃 196m／ s2， X・Y・Z各方向，各 10回質量 約 370g（ケーブル含む）
24
表 3.2: 全方位カメラの仕様
カメラ部仕様名称 VS-C42U-200-TK
撮像素子 1/2” カラー CMOS
電源 USBバスパワー（100mA以下）インターフェース USB2.0
以下より選択可能解像度 / フレームレート 800 × 600（30fps） / 1600 × 1200（10fps）
※カメラ能力値画像形式 RGB24（24bit RGB）外形寸法 37(W) × 32(H) × 54(D)
撮像サイズ 6.72 × 5.04 mm
画素サイズ 4.2 × 4.2 µm
カラーフィルタ 原色RGB
S/N比 54dB
感度 1.0V/Lux-sec以上γ特性 1
走査方式 プログレッシブシャッタ制御 ローリングシャッタ同期方式 内部
Brightness
Constract
Hue
調整可能項目 Saturation
Sharpness
Exposure Auto/Manual
White Balance Auto/Auto Set
Cancel Fliker
全方位ミラー部仕様ミラー径 60 ϕmm
撮像範囲 水平面に対し，上方約 15度，下方約 60度の全方位
25
図 3.3: ガイドロボットシステム
26
3.4.2 複数人に対する認識実験
人間の学芸員は，質問をする際に，答えを知っていそうな観客に対して質問をする．このような判断をロボットで実現するために，質問を予期させる発話の間に，すべての観客に対して視線配布を行い，その時の観客の反応を詳細に観察することで，この機能を実現する．本研究では，観客の反応を以下の 3つの判定規則で識別する．
• 積極的反応：ロボットに視線を合わせる，頷く場合• 中立的反応：展示物を見続けている場合，その他• 消極的反応：ロボットの視線を避ける場合
このうち，積極的な反応を示す観客は答えを知っている可能性が高く，消極的な反応を示す観客は答えを知らない可能性が高いと考えられる．この仮説の有効性を示すには，まず，積極的反応を示す人を正しく選択できているかを検証する必要がある．次に，積極的反応を示す観客に質問をすることが有効であるかの検証を行う．図 3.4に，ロボットが観客の反応を自動識別している様子を示す．
図 3.4: 観客の振る舞いの認識
27
3.4.3 実験結果
そこで，この方法による判定の有効性を調べるために，ロボットが視線配布を行った時の観客の反応の認識実験を行った．埼玉大学にて 2009年 8月 5日に行った予備実験における人間の判定（社会学の研究者 2人と工学の研究者 2人による判定）と本システムによる判定が一致するのかを検証した．この予備実験については，参考文献 [38, 13]を参照されたい．
表 3.3: 認識実験の結果
人間の判定 提案手法による正解数
積極的反応 27 23（85%）中立的反応 17 15（88%）消極的反応 10 8（80%）
表 3.3は，人間の判定と提案手法による判定の一致数を示している．積極的反応23/27（85%），中立的反応 15/17（88%），消極的反応 8/10（80%）という認識結果となった．認識実験では，質問の機会が全部で 18回あったが，この認識結果を用いた場合，消極的反応を示す被験者を回答者として選択してしまう可能性，つまり，3人とも消極的反応を示したケースは 1例だけであった．
3.4.4 認識実験の考察
これまでの先行研究に基づき，複数人環境でガイドするロボットを設計し，実装した．レーザ測域センサと全方位カメラを相補的に組合せた複合センサを用いることで，頑健に人物検出・追跡できることが確かめられた．
しかし，全方位カメラは解像度が低いため，観客の頭部の詳細な反応の認識は難しい．そこで，次節では，この問題を解決するために，パンチルトズームカメラを用いた頭部ジェスチャ計測システムについて述べる．
28
3.5 PTZカメラを用いた頭部ジェスチャ計測システム
本節では，パンチルトズームカメラを用いて，観客の頭部動作の計測システムについて述べる．
3.5.1 ガイドロボットシステムの概要
これまでに述べたように，作品の解説中に観客は以下の 3つの反応を示すことが明らかになっている．
• 積極的反応：ロボットに視線を合わせる，頷く場合• 中立的反応：展示物を見続けている場合，その他• 消極的反応：ロボットの視線を避ける場合
これらの反応をロボットがリアルタイムかつ詳細に認識するために，新たに 3台のパンチルトズームカメラ（Logicool製 Qcam Orbit AF：図 3.5）を用いた認識システムを構築した．パンチルトズームカメラの詳細な仕様については，表 3.4に示す．
図 3.5: パンチルトズームカメラ（Logicool製 Qcam Orbit AF）
29
表 3.4: パンチルトズームカメラの仕様
カメラ部仕様名称 Qcam Orbit AF
フォーカス 10cm ∼ ∞画像センサー 200万画素
ビデオキャプチャ― 最大 200万画素（1600 × 1200）静止画キャプチャ― 最大 800万画素（ソフトウェア処理による）フレームレート 最大 30フレーム／秒
露出 自動（マニュアル設定可能）ホワイトバランス 自動（マニュアル設定可能）
レンズ カールツァイスレンズF値 2.0
画角（映る広さ） 75◦
フェーストラッキング ◦パン&チルト ◦RightLight ◦RightSound ◦
アンチフリッカー機能 ◦内蔵マイク ◦
スカイプ高画質ビデオ対応 ◦接続 IF USB
30
構築したロボットシステムの概観を，図 3.6に示す．
������������ ���
�������� � ��� � � ���
���
������������ � � ! " ��# $ � %� � � ! " ��#
��� ��� ���&���
'�()�(�*
+������� '��,�-��.�/��,���(�
01 " �32�� ��� % 4 4 �� ��5 � " � � %�� ��� � � ���
図 3.6: ガイドロボットシステムの概観
観客の振る舞いを認識するために，本システムでは，図 3.6 のように，想定される観客の人数に応じた台数のカメラを高さ 130cmの支柱上部に設置し，その内のひとつの支柱には 120cmの高さにレーザ測域センサを取りつけている．また，カメラ一台につき，1台のPCを割り当てて顔向きの計測とパンチルトズーム制御を行い，レーザ測域センサによる人物位置の追跡と処理を総括するメインプロセスにPC1台を割り当てている．さらに，ロボット内部には，各関節をシリアル通信で制御するPCが内蔵されており，すべての PCはネットワークを介して接続され，各プロセス間で通信を行っている．
31
3.5.2 人物行動の計測
作品やガイドに視線を向ける振る舞いや詳細な頭部ジェスチャを検出するために，パンチルトズームカメラを用いて顔向きの計測を行う．頷きや首を横に振る，首をかしげるなどの振る舞いを検出するために，顔向きの変化を3軸（Yaw，Pitch，Roll）で計測する．顔の動作の計測には，Seeing Machine社のFaceAPI[39]を用いた．このソフトウェアは解像度320×240pixelで取得したカメラ映像中で50×50pixel程度で頭部が観察される場合に，−90◦ < Y aw < 90◦，−30◦ < Pitch < 60◦，−90◦ < Roll < 90◦
の範囲で，誤差 ± 3度以内の精度でリアルタイムに頭部の向きを計測できる．図3.7にカメラ映像から顔向きを計測している様子を示す．
図 3.7: FaceAPIによる頭部追跡の様子
一般的なUSBカメラの画角（55度）では，カメラから数十 cm程度しか離れられないため，ロボットによる展示物のガイドシーンでの利用は難しい．一方で，全方位カメラとレーザ測域センサを組み合わせた複合センサは，広範囲での頑健な人物追跡を可能としたが，全方位カメラは解像度が低いため，頭部の詳細な計測をすることが難しい．
そこで，本システムでは，パンチルトズームカメラを用いて遠方からの観察を行うことでこの問題を回避する．パンチルトズームカメラとレーザ測域センサを組み
32
合わせた人物追跡の詳細については，大山 [21]の研究を参照されたい．本システムでは，複数人物の身体の位置を 6cm以内，向きを 6度以内，頭部の三次元向きを 3
度以内の誤差で，高精度かつ 30fpsのリアルタイムで計測可能となっている．
3.5.3 頭部ジェスチャの認識
これまでに述べたシステムにより得られた人物計測結果に基づいて，頷き，首振り，首のかしげ，顔を向ける動作，顔をそむける動作のジェスチャの検出を行う．
• 頷きの検出：定常状態（過去 10フレームの平均）からの頭部の上下（Pitch）方向の向きが±5度以上変化した時点を頷きとして検出した．
• 首振りの検出：定常状態（過去 10フレームの平均）からの頭部の左右（Yaw）方向の向きが±5度以上変化した時点を首振りとして検出した．
• 首のかしげの検出：定常状態（過去 10フレームの平均）からの頭部の傾き（Roll）方向の向きが±20度以上変化した時点を首のかしげとして検出した．
• 顔を向ける動作（Gaze Toward）：10frame前の定常状態と現時点で頭部の左右方向の向きに 30度以上変化があり，変化後にロボットの方向を見ている場合に顔を向ける動作として認識した．
• 顔をそむける動作（Gaze Away）：10frame前の定常状態と現時点で頭部の左右方向の向きに 30度以上変化があり，変化後にロボット以外の方向を見ている場合に顔を向ける動作として認識した．
これらの閾値は，予備実験を通じて経験的に定めた．計測の様子を図 3.8に示す．
赤いグラフは頭部の向きを示し，グラフが下方向に向かうとロボット正面を向いていることを示し，上方向に向かうと展示物の方向を向いていることを示している．青いグラフは頭部の縦の動きを表しており，上部の青い点は頷きが認識されたタイミングを表している．
33
図 3.8: 追跡システムによる計測の様子
34
3.6 JICA横浜海外移住資料館における実証実験
本手法による判定の有用性を確認するために，パンチルトズームカメラを用いた頭部ジェスチャ計測システムを，実際のミュージアムである JICA横浜海外移住資料館に持ち込み実験を行った．
3.6.1 実験概要
これまでに述べた特徴を持つロボットを設計し，質問時における視線配布と積極的反応の判定機能の有効性を確認するために，2010年 8月 22日に一般の観客を対象に実験を行った．ロボットが説明を行う作品は，「野菜山車」とした．この全説明文を図 3.9と図 3.10に示す．今回は，20代女性に説明文を読んでもらい，録音し，再生した．ロボットの説明の時間は 171秒で，話の途中で観客の回答を待つ時間を5秒から 10秒程度入れた．
観客同士の相互遮蔽が起きないよう，観客におおよその立ち位置を指定した．人間の学芸員のガイドの場合でも，観客の位置は，ある程度誘導されるため，本実験において観客の立ち位置を指定しても，現実から著しく乖離した環境ではない．また，ロボットは移動機構を備えてはいるが，本実験では移動しない．
実験は，被験者 3人 1組で，合計 36回実施した．そのうち，2組は途中で実験の設定を変更し，1組は実験途中で参加者が途中退場してしまい，2組は実験途中で参加者が 3人以上になってしまったため，有効データから除外した．また，実験条件を同一するために，3人 1組で行ったが，親子連れやカップルなどの社会的構成を崩さないために，2人組の被験者には学生の dummyをいれた．そして，dummy
は視線を固定し，積極的な反応も消極的な反応もせず，中立的に振る舞うようにした．そのため，有効実験数は 31組となり，実験参加者は 72人（男性：29人，女性：42人）となる．実験終了後，被験者全員に表 3.5に示すアンケートを実施した．本実験の配置図を図 3.11に示す．図 3.11のように実験の様子は，観客とロボットの相互行為を分析するために，ロボットの周囲 3方向からビデオカメラで撮影した．
35
���
���
���
������
R ： ロボット V1, V2, V3：観客 F ： 野菜山車‐‐‐： 視線が止まっている ,：視線の移行赤字：Fを指差し 青字：Vを指差し
1行目：ロボットの視線2行目：ロボットの発話した言葉
V2‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐,,,,01. R：こんにちは、私の名前はロボビーです
F‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐,,,,V2,,,,02. R：これは野菜で作られた山車です
F‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐,,,,V2‐‐,,,,V3‐‐‐‐,,,,V2‐‐‐‐,,,,V1‐‐‐‐,,,,03. R：この山車にはひとつ謎が隠されています。なんだかわかりますか？
F‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐,,,,V1‐‐‐,,,,V2‐‐‐,,,,V3‐‐‐,,,,V1‐‐‐,,,,04. R：屋根をみるとただ野菜が並んでいるだけではないですね
F‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐,,,,A,,,,05. R：これは何に見えますか？
F‐‐‐‐‐‐,,,,A06. R：星条旗ですね
A‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐,,,,V2‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐07. R：星条旗は星と縞模様でできていますね。星は、現在の
V2‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐,,,,V1R：アメリカ合衆国の州の数を示していますが、
V1‐‐‐‐‐‐‐,,,,V2‐‐‐‐‐‐,,,,V3‐‐‐‐‐‐,,,,F‐‐‐‐‐‐‐‐‐‐‐,,,,A‐‐‐,,,,R：縞の数は何を表しているでしょうか？ ご存じですか？
図 3.9: 解説シナリオ 1：「野菜山車」
36
F‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐,,,,V108. R：縞は独立当時の州の数を示しています
V1‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐,,,,V2‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐,,,,V309. R：ご覧になってわかるように、星はじゃがいもですね。日本を思わせる野菜もあります。
V3‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐,,,,V2‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐R：白菜やネギがあるのもわかりますね。こちらは日本からアメリカに移住した農民が
V2‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐,,,,V1‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐R：1920年にオレゴン州のローズフェスティバルに出した山車です。日本から海外に移住
V1‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐R：された方は、農村の出身の方が多く、アメリカやブラジルなど世界各地で農業生産に大
V1‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐,,,,V2‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐,,,,V3R：変な貢献をされました。資料館を見ていただくと、わかっていただけると思います。
F‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐,,,,V2R：この山車は、海外移住した日本人の現地社会への参加と貢献をあらわすものなのです。
V2‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐10. R：これで説明を終わります。聞いてくださって、ありがとうございました。
V2‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐11. R：それでは、海外移住資料館をお楽しみください。
図 3.10: 解説シナリオ 2：「野菜山車」
表 3.5: アンケート調査内容
Q1. 「ロボットが答えを言う前に，山車が星条旗の形をしていることがわかったか」
Q2. 「星条旗の縞模様について知っていたか」
37
���������
��� � � ����� ����� �����
�����������������
��� ������ ���
��� ������ ���
� � � �� � � �
���� �
�! �� � "���
� �
$#�� � �
��% � � �
�! �� �
%��� �
���� �
図 3.11: 実験の配置図
3.6.2 観客の振る舞いの分類
観客の振る舞いを分類するために，認識したジェスチャにより点数付けを行い，最終的なスコアによって，積極的反応，中立的反応，消極的反応と振る舞いを分類した．
まず，実験で用いた最初の質問では，質問を予期させる「屋根を見るとただ野菜が並んでいるわけではないですね」という発話中に頷きが 4回以上観察された場合，その人物の振る舞いは，“積極的反応”とした．また，同様に，首振り認識が 10回以上の場合は，その人物の振る舞いは，“消極的反応”とした．実験環境を考慮して，ロボットと山車を交互に見るのを “消極的反応”と判定しないように，回数の閾値を比較的大きく設定している．これら以外の場合や，顔が追跡できていない時は “
中立的反応”とした．さらに，質問を予期させる発話の終了時に頷きや首振りの回数に基づいて，以下のようにスコアに加点して最終的なスコアとした．
• 積極的反応：100点 + 頷き回数• 中立的反応：50点 + 頷き回数-首振り回数• 消極的反応：0点 - 首振り回数
38
このようにすることで，積極的反応と判定された観客が複数いた場合でも，順序をつけることが可能となり，最終的に質問を投げかける観客を一意に選択することができるようになる．
次に，実験で比較のために用いた 2番目の質問「星は，現在のアメリカ合衆国の州の数を示していますが，縞の数は何を表しているでしょうか？」では，以下の式を用いて最終的なスコアを算出し，スコアが 100点を超えると積極的反応，0点を下回ると消極的反応と判定し，最終的に質問を投げかける観客は最もスコアが高い観客とした．
Score = 50 −首振り回数+頷き回数− 10 × GazeAway回数+ 10 × GazeToward回数
このように質問 2では，消極的な反応を示す観客を選ばないため，ロボットが視線を向けたときに視線を外すような観客を選ばないようにした．
39
3.6.3 ビデオデータの分析
実証実験で記録した 3つのカメラ映像から分析した結果について述べる．
ロボットは，「この山車にはひとつ謎が隠されています」という謎を提示した．その際，ロボットは観客全員を見回して，観客全員へ指差し行動をした．この謎を提示した際のTRPにおける観客同士の相互行為の回数を調べた．図は，3.12観客が笑う場合（L），観客同士が何らかの発話を行う場合（C），視線の交差がある場合（M）のそれぞれの回数である．
図 3.12: TRPにおいて観察された観客の積極的反応の割合
全 31組中，26組（84%）で相互行為が確認でき，そのうちLが 19組（61%），C
が 21組（68%），Mが 22組（71%）であった．また，15組（48%）で LとCとM
がすべて同時に確認できた．特に，この謎を提示したことで，31組のすべての観客が作品の野菜山車を注視した．このように謎の提示は，観客同士の相互行為や展示自体へのエンゲージメントを増加させる効果があると考えられる．
40
3.6.4 実証実験における観客のエンゲージメント
次に，ロボットは，「屋根を見るとただ野菜が並んでいるだけではないですね」と発話し，この発話中に観客の反応をリアルタイムに自動識別した．「屋根を見ると」で，ロボットは野菜山車の屋根に対して，注視と指差しを行った．この時，31組のすべての観客は，ロボットの視線の移動と共に同期的に屋根を注視した．これは，ロボットの言葉と身体の連携と謎の提示が，観客のエンゲージメントを増加させたと考えられる．
図 3.13(b)に，ロボットが自動判定した結果を示す．被験者 71人中，積極的反応と判定された数は 36人（51%），中立的反応と判定された数は 30人（42%），消極的反応と判定された数は 5人（7%）であった．
(a) Q1の判定結果 (b) Q2の判定結果
図 3.13: ロボットによる自動判定結果
41
一方，アンケートの集計結果で，Q1の「星条旗」が分かった 14人とQ2の「13
州」を知っていた 16人において，提案手法による判定と人間の主観による判定について比較した結果を，コンフュージョンマトリックス形式にてそれぞれ表 3.6，表3.7に示す．括弧内は各行における割合を示す．表中の対角要素は一致率を表し，全体の一致率は，Q1で 50%，Q2で 37.5%となった．また，提案手法を用いた場合，人間が消極的反応と判定した被験者を積極的反応と判定したのは 1例だけであった．
Q1の作品を参照する質問では，比較的高い認識率となったが，Q2の知識を問う質問では，低い認識率となった．これは，Q1は作品を観察することで回答できる容易な問題であるが，Q2は事前知識がない場合は回答できない難解な問題である．つまり，知識を問う質問は，事前知識がある場合でも，観客が消極的な反応を示す要因となり，認識率が低下したと考えられる．
表 3.6: Q1における人間の主観による判定と提案手法による判定との比較
Q1Human
Positive Neutral Negative
Pro
pos
al Positive 4(50%) 3(37.5%) 1(12.5%)
Neutral 3(50%) 3(50%) 0(0%)
Negative 0(%) 0(0%) 0(0%)
表 3.7: Q2における人間の主観による判定と提案手法による判定との比較
Q2Human
Positive Neutral Negative
Pro
pos
al Positive 0(0%) 2(100%) 0(0%)
Neutral 3(27.3%) 6(54.5%) 2(18.3%)
Negative 0(0%) 3(100%) 0(0%)
ロボットはこのような判定をした後，3人の観客のうち，もっとも積極的な反応を示した人に視線を向けて，「これは何に見えますか？」と作品を参照させる質問をする．表 3.5のQ1の集計結果によると，ロボットが正答を言う前に「星条旗」という答えが分かったのは，8組 14人であった．ロボットは，この 14人のうち，8人（57%）を積極的反応と判定し，残りの 6人は中立的反応と判定した．一方で，人間の主観による判定（この分類は録画したビデオを見ながら 4人で行った [37]．）は，
42
14人のうち，7人（50%）を積極的反応と判定し，6人を中立的反応と判定し，1人を消極的反応と判定した．そして，ロボットが解答を言う前に「星条旗」と分かった被験者を正しく選択できたのは，8組のうち 6組であり，ロボットが視線を向けた 6人すべての被験者が正答を発話した．
同様にロボットは，「縞の数は何を表しているでしょうか？ご存知ですか？」と知識を問う質問をする．表 3.5のQ2の集計結果によると，ロボットが正答を言う前に「13州」という答えが分かったのは，11組 16人であった．ロボットは，この 16人のうち，2人を積極的反応と判定し，11人を中立的反応と判定し，3人を消極的反応と判定した．一方で，人間の主観による判定は，16人のうち，3人を積極的反応と判定し，11人を中立的反応と判定し，2人を消極的反応と判定した．そして，ロボットが解答を言う前に「13州」という事前知識があった被験者を正しく選択できたのは，11組のうち 6組であり，1人の被験者が正答を発話した．また，2人はロボットの視線に関係なく正答を発話した．
3.6.5 実証実験の考察
実証実験の全体の傾向として，ほとんどの観客はロボットに対して積極的に反応しており，特に，観客同士の会話や相互行為が多くみられた．我々の学芸員と観客の人間同士の調査では，学芸員が話している間は観客同士は，会話をしないようにしていた．しかし，ロボットによるガイドの前では，観客は自由に会話をして楽しむ様子が多く見られた．これは，提案するミュージアムガイドロボットは，観客同士の相互行為を促進させる効果があると考えられ，複数人環境でも適切なガイドをすることができたと言える．
また，展示物を参照する質問と知識を問う質問の 2つの質問を設定して実証実験を行ったが，全体的に正答者が少ないという結果であった．これは，設定した問題が難しかったため，解答者がいない場合や解答が間違っている場合には，さらに，ロボットはヒントを出すなどの改善が考えられる．
43
3.7 まとめ
第 2章の調査により，熟練した学芸員は視線配布による選択法を用いて効果的に質問をしながら，正解を知っていそうな積極的反応を示している適切な答え手を選んでいることがわかった．このような要求を満たすために，本章では，全方位カメラとレーザ測域センサを相補的に組合せた複合センサを用いて複数の観客の頭部位置を計測することで，作品の解説をしながら観客に視線配布をするガイドロボットを提案した．このロボットが作品を解説する際，観客をよりロボットの話に引きつけるために，説明文中に質問を投げかけることを取り入れ，同時に，観客の積極的反応を見分ける自動判定機能を導入した．ロボットは，観客の反応を頷きや首振り，かしげ，視線方向などを統合して判断し，「積極的反応」，「中立的反応」，「消極的反応」と 3つに分類する．これにより，観客が複数いる場合でも，質問相手を一意に選択することが可能となった．しかし，全方位カメラは解像度が低いため，詳細な頭部の反応の計測は難しいので，さらに，3台のパンチルトズームカメラを導入した．
そして，設計したロボットを実際のミュージアムである JICA海外移住資料館に持ち込み，実験目的やロボットの動作に関する知識を一切持たない一般の観客に対して，ロボットによる作品の説明実験を実施した．この実験では，我々の提案する「視線配布による選択法」によるガイド法が実環境でも有効であることを検証した．その結果，ロボットと観客が 1人対 1人のガイドの時と同様に，1人対複数のガイドの時でも，高い割合で観客はロボットに対して同期的な反応を促すことができた．
44
第4章 結論
4.1 まとめ
本論文では，大原美術館および JICA横浜海外移住資料館の 2つのミュージアムにおいて，熟練した学芸員の複数の観客に対する解説行動を調査・分析し，これまで 1人対 1人のガイドを想定して設計していたロボットを，複数人環境でもガイドができるロボットへと拡張した．
初めに，人物の頑健な追跡のために，全方位カメラとレーザ測域センサを相補的に組合せた複合センサを開発した．この複合センサを用いることで，周囲 360度の“見え”と物体までの “距離”が正確に取得できるようになり，観客の身体の向きと頭部の位置を計測できる．次に，取得した情報に基づいて観客の反応を「積極的反応」，「中立的反応」，「消極的反応」の 3つの反応に分類することを検討した．しかし，全方位カメラは，解像度が低いため，観客の頭部の詳細な反応はできない．そこで，さらに観客の人数分のパンチルトズームカメラを用意することで，観客の頭部を詳細に計測するシステムを開発した．
そして，これまで，実験室での実験で確認してきた，“ロボットが作品の説明を行う場合でも，文の切れ目などの適切なタイミングで，観客の方向へ正しく振り向くことが，観客の反応を増加させる”ことと “質問や謎の提示が，観客の反応を増加させる”という 2つの知見が，実際のミュージアムにおいても支持されるかを実証実験により確認した．また，この実証実験では，ロボットに観客の積極的な反応を自動判定する機能を導入し，検証した．この実証実験の結果より，複数人環境においても，ロボットに対して同期的な反応が高い割合で確認でき，我々のこれまでの知見が有効であることを示すことができた．
45
4.2 今後の課題
本研究で議論したミュージアムガイドロボットの実用化に向け，実際のミュージアムなどでのロボットの実証実験を重ねること，および社会学的知見をロボットに導入するアプローチを重ねていくことが今後の課題である．長期的には，再び美術館へロボットを持ち込み，複数の観客を対象にした実証実験を行うことが予定されているため，今後の報告が期待される．また，更なる技術的な検討課題としては以下が挙げられる．
ロボットによる注視・誘導機能
本研究では，ロボットの視線配布と観客の積極的反応の判別の重要性について明らかにした．しかし，ロボットの視線の曖昧さのため，ロボットが誰を見ているのかわからないという意見が多かった．そのため，ロボットの目のデザインの検討を重ねる必要がある．
また，熟練した学芸員は，展示物に応じて観客を適切な位置へと誘導し，作品を注視させている．本研究で述べたレーザ測域センサによる人物の身体の追跡を用いることで，観客の位置・向きの推定は可能である．しかし，複数人環境では，ロボットと展示物と人間の空間的位置関係を検討する必要がある．このようなロボットによる観客の注視・誘導が可能になれば，介護施設や商業施設などの広範な分野への応用も期待できる．
音声認識システムの導入
本研究では，コンピュータビジョンシステムに基づいて観客の振る舞いを観察し，適応的に解説するガイドロボットを開発した．しかし，実際の学芸員は，視覚情報だけでなく，観客の発言に対して適切に対応できる．将来的には，このような観客の要求に対して答えることができるガイドロボットを目指す必要がある．現在，本研究室では，ロボット聴覚システム HARKとコンピュータビジョンシステムを統合したシステムを開発しており，今後の研究報告が期待される．
46
工学と社会学の学際的アプローチ
本研究において，複数人環境で，観客の興味を引き出し，かつ積極的な相互行為を促すことができるガイドロボットの開発にあたり，工学と社会学の学際的アプローチが必要不可欠であった．最後に，観客の積極的反応の変化に着目し，学際的アプローチの今後の展開について述べる．
ヒューマンロボットインタラクション（HRI），ヒューマンコンピュータインタラクション（HCI）などの分野において，社会学的研究が盛んになっている．ミュージアムガイドロボットの研究では，人間の学芸員が行う相互行為上の戦術や慣習をロボットに取り入れるという方法を用いている．本研究では，学芸員と観客の人間同士の調査に基づいて，複数人環境におけるロボットの視線配布と積極的反応の自動判定機能を導入した．この開発したロボットの有効性を検証するには，実際のミュージアムで，人間とロボット間の相互行為を分析することで，その有効性を示した．このような工学と社会学の学際的アプローチが，ロボット研究のさらなる発展に繋がっていくと考える．
47
謝辞
本論文は，筆者が埼玉大学大学院理工学研究科数理電子情報系専攻博士前期課程に在籍中の研究成果をまとめたものである．
同専攻教授久野義徳先生には指導教官として本研究の実施の機会を与えて頂き，本研究の遂行にあたって終始熱心に御指導を賜りました．ここに心から厚く御礼申し上げます．また，本論文の執筆や添削，プログラミングをはじめとする様々な面で幅広くお世話になりました同専攻助教小林貴訓先生に深く感謝申し上げます．また，社会学の知見に基づき研究の遂行にご協力頂きました同大学教養学部教授山崎敬一先生，東京工科大学准教授山崎晶子先生に深く感謝申し上げます．並びに，実験環境を提供して頂き様々なご支援をして頂いた大原美術館の皆様，JICA横浜海外移住資料館の皆様，実験に快くご協力頂いた関係者各位に深く感謝申し上げます．
研究生活全般においては，ミュージアムガイドロボットグループの先輩として日頃から様々な形で御支援くださいました糟谷氏，笛木氏，星氏をはじめとする久野研究室の皆様，岡田氏をはじめとする山崎研究室の皆様，ミュージアムガイドロボットグループの鴇田氏，大山氏，そして，川崎氏，金原氏をはじめとする労苦を共にした同期学生の皆様，並びに，中国，バングラデシュと様々な異文化交流をして頂いた全氏，Dipankar氏をはじめとする留学生の皆様に大変お世話になりました．皆様のご厚意に深く感謝申し上げます．
最後に，修士課程に進学する機会を与えて頂き，貴重な学生生活を支援してくれた両親をはじめとする周囲のすべての方々に深く感謝致します．
平成 23年 2月 柴田 高志
49
参考文献
[1] A. Arenas, “Instructional Resources: Is This Art?,” Art Education, Vol. 43,
No. 5, pp. 25-49, September 1990.
[2] M. Bennewitz, F. Faber, D. Joho, M. Schreiber and S. Behnke, “Towards a Hu-
manoid Museum Guide Robot that Interacts with Multiple Persons,” Proc. 5th
IEEE-RAS International Conference on Humanoid Robots (Humanoids2005),
pp. 418-423, December 2005.
[3] J. Cui, H. Zha, H. Zhao and R. Shibasaki, “Laser-based detection and tracking
of multiple people in crowds,” Computer Vision and Image Understanding,
Vol. 106, pp. 300-312, 2007.
[4] A. Ess, B. Leibe, K. Schindler and L. Van Gool, “A mobile vision system for
robust multi-person tracking,” Proc. Computer Vision and Pattern Recognition
(CVPR2008), pp. 1-8, June 2008.
[5] Dylan F. Glas, T. Miyashita, H. Ishiguro and N. Hagita, “Laser Tracking
of Human Body Motion Using Adaptive Shape Modeling,” Proc. Intelligent
Robots and Systems (IROS2007), pp. 602-608, October 2007.
[6] C. Goodwin, Conversational Organization: Interaction Between Speakers and
Hearers, Academic Press, New York, 1981.
[7] C. Goodwin, “Notes on Story Structure and the Organization of Participation,”
M. Atkinson and J. Heritage (eds.), Structures of Social Action: Studies in
Conversation Analysis, Cambridge University Press, Cambridge, pp.225-246,
1984.
[8] C. Heath, “Talk and Recipiency: Sequential Organization in Speech and Body
Movement,” J.Maxwell Atkinson & John Heritage (eds.), Structures of Social
Action: Studies in Conversation Analysis, Cambridge University Press, Cam-
bridge, pp.247-255, 1984.
51
[9] 星 洋輔, 小林 貴訓, 久野 義徳, 岡田 真依, 山崎 敬一, 山崎 晶子, “観客を話に引き込むミュージアムガイドロボット：言葉と身体的行動の連携,” 電子情報通信学会論文誌, Vol.J92-A, No.11, pp.764-772, 2009年 11月.
[10] 神田 崇行, 石黒 浩, 今井 倫太, 小野 哲雄. “人-ロボット相互作用における身体動作の数値解析,” 情報処理学会論文誌, Vol.44, No. 11, pp. 2699-2709, 2003年11月.
[11] T. Kanda, M. Shiomi, Z. Miyashita, H. Ishiguro and N. Hagita, “An Affec-
tive Guide Robot in a Shopping Mall,” Proc. 4th ACM/IEEE International
Conference on Human-Robot Interaction (HRI2009), pp. 173-180, 2009.
[12] Z. Khan, T.R. Balch and F. Dellaert, “An MCMC-based Particle Filter for
Tracking Multiple Interacting Targets,” Proc. European Conference on Com-
puter Vision (ECCV2004), pp. 279-290, 2004.
[13] Y. Kobayashi, T. Shibata, Y. Hoshi, Y. Kuno, M. Okada and K. Yamazaki,
““I will ask you” Choosing Answerers by Observing Gaze Responses using
Integrated Sensors for Museum Guide Robots,” Proc. of Ro-Man2010, pp.652-
657, 2010.
[14] 小林貴訓, 杉村大輔, 平澤宏祐, 鈴木直彦, 鹿毛裕史, 佐藤洋一, 杉本晃宏, “パーティクルフィルタとカスケード型識別器の統合による人物三次元追跡,” 電子情報通信学会論文誌 D-II, Vol.J90-D-II, No.8, pp.2049-2059, 2007.
[15] Y. Kuno, K. Sadazuka, M. Kawashima, K. Yamazaki, A. Yamazaki, and H.
Kuzuoka, “Museum Guide Robot Based on Sociological Interaction Analysis,”
Proc. ACM Conference on Human Factors in Computing Systems (CHI 2007),
ACM press, pp.1191-1194, 2007.
[16] H. Kuzuoka, K. Pitsch, Y. Suzuki, I. Kawaguchi, K. Yamazaki, K. Kuno, A.
Yamazaki, C. Heath, and P. Luff, “Effect of Restarts and Pauses on Achieving
a State of Mutual Gaze between a Human and a Robot,” Proc. ACM 2008
Conference on Computer Supported Cooperative Work (CSCW 2008), pp.201-
204, 2008.
[17] G. H. Lerner, “Finding “Face” in the Preference Structures of Talk-in-
Interaction,” Social Psychology Quarterly, Vol. 59, No. 4, pp.303-321, 1996.
[18] G. H. Lerner, “Selecting Next Speaker: The Context-Sensitive Operation of a
Context-Free Organization,” Language in Society, 32(2), pp.177-201, 2003.
52
[19] J. MacCormick and A. Blake, “A Probabilistic Exclusion Principle for Tracking
Multiple Objects,” International Journal of Computer Vision, Vol.39, No.1
pp.57-71, 2000.
[20] B. Mutlu, J.K. Hodgins and J.Forlizzi, “A Storytelling Robot: Modeling and
Evaluation of Human-Like Gaze Behavior,” Proc. 6th IEEE-RAS International
Conference on Humanoid Robots (HUMANOIDS2006), pp.518-523, December
2006.
[21] 大山貴也, 柴田高志, 小林貴訓, 久野義徳, “ミュージアムガイドロボットのための詳細な頭部ジェスチャ計測システムの開発,” 電子情報通信学会総合大会,
2011年 3月 (To appear).
[22] H. Sacks, E.A. Schegloff and G. Jefferson, “A Simplest Systematics for the
Organization of Turn-Taking for Conversation,” Jim Schenkein (ed.), Studies
in the Organization of Conversational Interaction, pp.25-28, 54, 1974.
[23] Sacks, H. “Some technical considerations of a dirty joke. In Schenkein,” J.N.,
ed. Studies in the organization of conversational interaction, Academic Press,
pp.249-70, 1978.
[24] D. Sakamoto, K. Hayashi, T. Kanda, M. Shiomi, S. Koizumi, H. Ishiguro, T.
Ogasawara and N. Hagita. “Humanoid Robots as a Broadcasting Communica-
tion Medium in Open Public Spaces,” International Journal of Social Robotics,
Springer, Vol. 1. No. 2. pp. 157-169, 2009.
[25] 佐竹純二, 三浦 純, “移動ロボット制御のための人物シルエットの重なりを考慮した複数人物追跡,” 情報処理学会研究報告, 2010-CVIM-172, 名古屋, 2010
年 5月.
[26] 塩見昌裕, 神田崇行, ダニエルイートン, 石黒浩, 萩田紀博, “RFID タグを用いたコミュニケーションロボットによる科学館での展示案内,” 日本ロボット学会誌, Vol.24, No.4, pp. 489.496, 2006.
[27] M. Shiomi, T. Kanda, S. Koizumi, H. Ishiguro and N.Hagita, “Group At-
tention Control for Communication Robots with Wizard of OZ Approach,”
Proc. ACM/IEEE International Conference on Human-Robot Interaction
(HRI2007), pp.121-128, 2007.
[28] C.L. Sidner, C. Lee, C.D. Kidd and C. Rich, “Explorations in Engagement for
Humans and Robots,” Artificial Intelligence, Vol.166, No.1, pp.140-164, 2005.
53
[29] R. Siegwart, et al. “Robox at Expo. 02: A Large Scale Installation of Personal
Robots,” Robotics and Autonomous Systems, Vol.42, pp.203-222, 2003.
[30] D. Sugimura, K.M. Kitani, T. Okabe, Y. Sato and A. Sugimoto, “Using In-
dividuality to Track Individuals: Clustering Individual Trajectories in Crowds
using Local Appearance and Frequency Trait,” Proc. of IEEE International
Conference on Computer Vision (ICCV2009), pp. 1467-1474, October 2009.
[31] S. Thrun, M. Bennewitz, W. Burgard, A.B. Cremers, F. Dellaert, D. Fox,
D. Hahnel, G. Lakemeyer, C. Rosenberg, N. Roy, J. Schulte, D. Schulz and
W. Steiner, “Experiences with Two Deployed Interactive Tour-Guide Robots,”
Proc. International Conference on Field and Service Robotics (FSR1999), Au-
gust 1999.
[32] S. Thrun, M. Bennewitz, W. Burgard, A.B. Cremers, F. Dellaert, D. Fox, D.
Hahnel, C. Rosenberg, N. Roy, J. Schulte and D. Schulz, “MINERVA: A Second
Generation Mobile Tour-Guide Robot,” Proc. IEEE International Conference
on Robotics and Automation (ICRA1999), pp. 1999-2005, 1999.
[33] A. Yamazaki, K. Yamazaki, Y. Kuno, M. Burdelski, M. Kawashima and H.
Kuzuoka, “Precision Timing in Human-Robot Interaction: Coordination of
Head Movement and Utterance,” Proc. ACM Conference on Human Factors
in Computing Systems (CHI2008), ACM press, pp. 131-140, 2008.
[34] K. Yamazaki, A. Yamazaki, M. Okada, Y. Kuno, Y. Kobayashi, Y. Hoshi, K.
Pitsch, P. Luff, D. Lehn and C. Heath “Revealing Gauguin: Engaging visitors
in robot guide’s explanation in an art museum,” In Proc. of CHI2009, pp.
1437-1446, 2009.
[35] T. Yonezawa, H. Yamazoe, A. Utsumi and S. Abe, “GazeRoboard: Gaze-
Communicative Guide System in Daily Life on Stuffed-Toy Robot with Interac-
tive Display Board,” Proc. IEEE/RSJ International Conference on Intelligent
Robots and Systems (IROS2008), pp. 1204-1209, September 2008.
[36] 米澤朋子, 山添大丈, 内海章, 安部伸治, “視線コミュニケーションのためのぬいぐるみの視線行動の設計と分析,” 電子情報通信学会論文誌, Vol.J92-D, No.1,
pp. 81-92, 2009年 1月.
[37] 山崎 敬一著, 実践エスノメソドロジー入門, 有斐閣, 東京, 2004年 5月.
54
[38] 星洋輔: 観客の観察に基づき言語・非言語行動を連携して説明するミュージアムガイドロボット, 埼玉大学大学院理工学研究科数理電子情報系専攻修士論文,
2010年 2月.
[39] FaceAPI:
http://www.seeingmachines.com/product/faceapi/.
55
発表文献
本論文の内容に関連する発表文献は以下の通りである．
国内会議
• 大山貴也, 柴田高志, 小林貴訓, 久野義徳, “ミュージアムガイドロボットのための詳細な頭部ジェスチャ計測システムの開発,” 電子情報通信学会総合大会, 2011年 3月 (to appear).
• 柴田高志, 星洋輔, 鴇田憲, 小林貴訓, 久野義徳, “頭部動作の計測に基づき質問相手を選択するガイドロボット,” 情報処理学会創立 50周年記念全国大会, 2010年 3月.
• 柴田高志, 鴇田憲, 星洋輔, 小林貴訓, 久野義徳, “複数鑑賞者に適応的な身体的行動を用いて解説をするミュージアムガイドロボット,” 計測自動制御学会システムインテグレーション部門講演会論文集 (SI2009),
pp.1252-1254, 2009年 12月.
• 柴田高志, 小林貴訓, 久野義徳, “複数鑑賞者をガイドするロボットのための頭部ジェスチャ認識,” 電子情報通信学会総合大会講演論文集, p.222,
2009年 3月.
ポスター発表
• Y. Kobayashi, T. Shibata, Y. Hoshi, Y. Kuno, M. Okada and K. Ya-
mazaki, ““I will ask you” Choosing Answerers by Observing Gaze Re-
sponses using Integrated Sensors for Museum Guide Robots,” Proc. of
Ro-Man2010, pp.652-657, 2010.
• Y. Kobayashi, T. Shibata, Y. Hoshi, Y. Kuno, M. Okada and K. Ya-
mazaki, “Selective Function of Speaker Gaze before and during Questions-
Towards Developing Museum Guide Robots,” Proc. ACM Conference on
Human Factors in Computing Systems (CHI2010), Extended Abstracts,
Atlanta, USA, April 2010.
56
• Y. Kobayashi, T. Shibata, Y. Hoshi, Y. Kuno, M. Okada and K. Ya-
mazaki, “Choosing Answerers by Observing Gaze Responses for Mu-
seum Guide Robots,” Proc. 5th ACM/IEEE International Conference
on Human-Robot Interaction (HRI2010), late breaking reports, pp.109-
110, Osaka, Japan, March 2010.
• Y. Kobayashi, T. Shibata, Y. Hoshi, Y. Kuno, M. Okada, K. Yamazaki
and A. Yamazaki, “Head Tracking and Gesture Recognition in Mu-
seum Guide Robots for Multiparty Settings,” European Conference on
Computer-Supported Cooperative Work (ECSCW2009), Vienna, Austria,
September 2009.
デモンストレーション
• 小林貴訓, 柴田高志, 星洋輔, 鴇田憲, 久野義徳,
“聞き手の様子を見ながら作品の説明をするミュージアムガイドロボット～誰が答えを知ってるの？質問相手を選ぶガイドロボット～,” 第 16回画像センシングシンポジウム (SSII2010), DS1-1, 2010年 6月.
• Y. Kobayashi, T. Shibata, Y. Hoshi and Y. Kuno,
“Multiple Head Tracking and Gesture Recognition for Museum Guide
Robots,” International Conference on Computer Vision (ICCV2009),
D-12, Kyoto, Japan, September-October 2009.
57