遠隔協調作業のためのウェアラブル・タンジブルインタ …...head-mounted...

遠隔協調作業のためのウェアラブル・タンジブルインタフェース

蔵田武志12, 酒田信親12, 葛岡英明2

興梠正克1, 大隈隆史1, 西村拓一12

1産業技術総合研究所2筑波大学

2006/1/26 蔵田, 酒田, 葛岡, 興梠, 大隈, 西村：遠隔協調作業のためのウェアラブル・タンジブルインタフェース 2

遠隔協調作業応用から実社会に広がるセンシング、インタフェース技術

作業者用ウェアラブルインタフェースHMD/HMCシステムとその関連研究

WACL （Wearable Active Camera/Laser）

複数作業者とのインタラクションのための指示者側タンジブルテーブルトップ（TTT）インタフェース

小河ら、日立造船技法, 2003 ViewRanger, 日本SGI, 2005 清水ら，東芝レビュー, 2004


遠隔協調作業におけるウェアラブルについて

遠隔協調作業インタフェースの最終目的コミュニケーション基盤の共有（grounding）

ウェアラブルインタフェース作業者の現場での物理的な作業は必須実世界作業空間に集中作業中の移動が容易操作が容易

典型例：ヘッドセット型端末構成

Head Mounted Display (HMD）Head Mounted Camera (HMC)HeadphoneMicrophone

ハンズ・フリーを実現アイ・ヘッド・フリーではない

Hestnes et al. ISWC2001

Kraut et al. CSCW96

Kuzuoka CHI92


HMDとHMC (ポインティング)

Sharedview system遠隔MC(Machining Center)作業指示

指示者の手をビデオ上にスーパーインポーズしたものをHMDに呈示

ポインティングジェスチャで指示コスト削減

CamNet system (British Telecom ’93)事故現場（インターン生）と病院の医者との遠隔作業支援

YRP、NAISTで同様の実証実験開始された

現場の映像を見ながら、画像・資料上にマウスポインタを重畳

音声、映像、ポインタの共有：多くの遠隔協調作業にとって必要十分

Camnet, BT 93

Sharedview

Kuzuoka, CHI92


HMDとHMC （音声と映像）

熟練者と初心者との間での自転車修理タスク

共有デスクトップ（マニュアル、ライブ映像［HMC、熟練者の上半身］）

遠隔指示あり・なし熟練者支援あり：作業完了時間50%短縮

映像あり・なし（遠隔音声指示あり）作業完了時間に差はない

対話パターンは大きく異なる映像なし：タスクの状態をより明示的に述べる

Kraut et al. CSCW96


HMC vs. 環境固定カメラ

HMCは・・・遠隔指示者の状況把握能力を拡張

作業者が何を見ているかに依存

熟練者と初心者との間での模型組立てタスク

決まった作業場所での遠隔協調作業では

広角の環境固定カメラの方がより望ましい

ただし、 HMC vs. 環境固定カメラの場合、設置コストを無視してはいけない

Fussell CHI03


「ふげん」現場可視化システム

サイクル機構、(株)TAS、オリンパス(株)によるプロジェクト

列島ファイル、NHK

井口幸弘ら、原子力学会、2004


HMD/HMC vs. ハンドヘルド

Compact TV （小型ハンドヘルド）小型軽量なので持ち歩きやすい手で保持する必要

SCOPO （単眼HMD）移動しやすい、ハンズフリーで作業しやすいディスプレイを見て疲れる

Tablet PC （大型ハンドヘルド）ディスプレイが大きく見やすい手が疲れる

Glasstron （両眼HMD）外界の視界が狭く、移動しづらい距離感が違う（ステレオカメラを使っていないから?）

Shimoda et al. NUTHOS-6, 2004

軽い ← メンタルワークロード → 重い


遠隔協調作業とレーザポインタ

視覚的アシストを実世界に直接投影対象物体や方向を強調

GestureCamサーボ制御パンチルトカメラ上にレーザポインタを搭載

遠隔指示者が操作

装着はできない

Telepointerガルバノミラーで方向制御可能なレーザと固定カメラを胸部に装着

遠隔指示者が操作

視界は着用者の動き次第Telepointer

Mann ISWC2000

GestureCamKuzuoka et al. CSCW94


ポストレーザーポインタ：プロジェクタ

ビデオプロジェクタHead-mounted Projector (Hua et al., Applied Optics 2000, Inami et al., IEEE VR2000)

Shoulder-mounted projector (Karitsuka and Sato, ISMAR2003)

消費電力、輝度に問題あり

レーザプロジェクタ（よりウェアラブル向き）光を捨てない（省電力）

明るい

Hua Applied Optics 2000

Inami et al. VR2000

Karitsuka & Satoh ISMAR2003Maeda et al. SIGGRAPH2004


ARと３Dマップ構築を用いた遠隔協調作業

Davison, Mayol, Murray, ISMAR 2003Demo Video

http://www.doc.ic.ac.uk/~ajd/Movies/wearableslam2.mpg


手の追跡と作業支援応用

Mayol et al. BMVC2004, ISWC2005

色情報に基づいた手の検出と追跡

作業空間へのARアノテーション配置

物体操作（把持）映像の要約


ＷＡＣＬ：ウェアラブルアクティブカメラ・レーザ

ハンズ・アイ・ヘッドフリーを実現する新しいウェアラブル端末

カメラ・レーザヘッド部を小型パン・チルト雲台に搭載

遠隔指示者は、WACLを操作し、作業者（着用者）の動作とは独立に作業状況を観測

同時にレーザポインタで実作業空間の特定の場所を直接指し示し（最も単純な拡張現実情報提示を伴い）ながら、作業者と対話

スタビライズ機能（慣性センサ、画像）により、作業者が体を動かしてもカメラ・レーザヘッド部の向きをある程度安定させることが可能

Sakata et al. ISWC2003


WACLのユーザテストシナリオ：ウェアラブルインタフェースが重要な役割を果たす遠隔協調作業とし

て、移動と作業を繰り返す作業者と、熟練指示者との遠隔協調作業

左：ヘッドセットの外観とユーザテストで使用した指示者用GUI右：WACLの外観とユーザテストで使用した指示者用GUI

上：ユーザテストでの作業環境、下：各セクションでのタスク内容

比較対象：HMDとHMCからなる典型的なヘッドセット

Kurata et al. ISWC2004


仮説

遠隔から制御可能なカメラ（WACL）により、指示者の状況把握能力が向上する

レーザスポット（WACL）はHMDに比べ作業者は作業空間に集中できる

詳細な説明を要する場面では、指示者はWACLを装着した作業者に対し多く発話する

視点の変更が要求される場面では、指示者はヘッドセットを装着した作業者に多く発話する


実験結果

Expert’s view

Worker’s view


WACLが苦手な”詳細な手順の説明”レーザスポット（点）による指示:指示者の発話数が増加

HMDによる視覚的アシスト（線画）は強力

ディスプレイを追加CWD (Chest Worn Display) vs. HMD

ユーザテスト：作業効率やユーザビリティの変化を調査仮説

HMDの方が視線移動が少なくなり効率よく視覚的アシストを見られる

HMDの方が頭部拘束や視野闘争(binocular rivalry)のため、疲労感が強くなる

指示者用GUI CWDとHMDに表示される視覚アシスト酒田ら、日本VR学会大会, 2005


ユーザーテストの概略ビデオ


結果と考察

CWD とHMD との間に作業効率（作業完了時間）に違い無し

CWD の有利な点（アンケートより）

作業空間も視覚的アシストも見やすい

身に着けた際の違和感も少ない

疲れにくく作業もしやすい

CWDの方が視覚的アシストが見やすいCWD・HMDとも解像度が同じ(640x480 画素)

CWDでは両眼視が可能

網膜への投影幅がCWDの方が約1.5倍長い

CWDの方が作業前の時間コストが低い

HMDでは画面の位置や焦点距離などの調整が必要

実験中も再調整が必要な場合が発生

WACL/CWD

WACL/HMD


考察：レーザのリンク機能とCWDの装着位置

仮説“HMDの方がユーザの視線移動が少なくなり効率よく視覚的アシストを見ることができる” 実験結果とは異なる

新たな仮説：“ディスプレイ上の視覚的アシストと実世界とをビジュアル的に結びつける役割（リンク機能）をレーザポインタが果たしている”

実対象と視覚的アシスト間で視点移動があっても作業に混乱をきたさない？！

CWDに近いベースブロックの右側と遠い左側への取り付け作業

作業時間に有意な差はない

（注）左右の手の使用頻度には影響を与えていた主観評価：CWDを身に付けた際の違和感は小さい

無意識的に使用する手を変更

視線（頭部方向）は頻繁に移動

右左

CWD

WACL


WACLの進化（3rd WACL）

部品の汎用化

製造コスト削減

メンテナンス性向上

位置決め精度改良

簡単な線画が描画可能に


指示者と作業者のコラボの重要性

指示者数


複数人参加型遠隔会議システム

HydraSellen et al. CHI92

“Talking head”を用いた遠隔会議インタフェースGrounding確立のためのコミュニケーションキュー

視線、表情、身振り、音声、非言語音

Hydra systemこれらのキューの多くを効率よく伝達特に視線情報

ただし、視線は物体操作などのタスクではあまり重要ではない


タンジブルユーザインタフェース(TUI)と遠隔協調作業

実物体による具現とデジタル表現とを結合

遠隔協調作業に適用すると・・・

仮想化された協調作業者 -[結合]- タンジブルアバタ

コンテンツ、クリップボードなど -[結合]- タンジブルツール

Tangible Bits, Ishii & Ulmer, CHI97


複数人参加型遠隔協調作業のためのHMDベースTUI

マーカーカード遠隔共同作業者のタンジブルアバタ

バーチャルコンテンツを共有・編集・注釈付けするためのタンジブルツール

として機能

顔映像を送る側がHMDを装着していると顔映像が得られない

各マーカーに顔映像を撮影するカメラが装備されていないと、視線が合わない

ただし、実環境作業にはあまり重要ではないが・・・

Billinghurst and KatoBT Technology Journal

2000 etc


DataTiles

RFIDタグを埋め込んだ透過型タイル：インタラクションの基本単位

利点

タイルとペンタブレットにより拡張されたテーブルトップディスプレイ密結合したI/Oデバイス：タイル－＞タンジブルGUIオブジェクト

タイルの組み合わせ：Copy-N-Pasteなどの機能を表現

TUIとしては比較的汎用性が高い

限界

各タンジブルウィンドウのサイズは固定

タイル設置の可能な位置が離散的

DataTiles, Rekimoto et al. CHI00


複数作業者への遠隔指示のためのタンジブルテーブルトップ（TTT）

物理タグ：各ウィンドウ（作業者、ツール）のアフォーダンスの増強

タグの動きやタグ間の位置関係を用いたタグジェスチャ

タグジェスチャ＆タッチパネル直接的で直感的な非対称両手操作

複数作業者の状況把握、一括指示、各作業状況（映像）の履歴保存などが容易

実環境作業の支援なので”Talking Head”は重要視しない

Kurata et al. CollabTech2005


US Receiver

US Transmitter

ID via RF

TTTインタフェースのシステム構成

テーブルトップディスプレイ40インチSAWタッチスクリーンLCD

物理タグ小型3次元計測超音波発信機

以下のものを表現

作業者タグ（タンジブルアバタ）

ツールタグ

クリップボード、マップ、マニュアル

物理タグ＆（仮想）GUIオブジェクト密結合 -> タンジブルGUIオブジェクト

GUIオブジェクトサイズはフレキシブル


超音波表面弾性波方式タッチスクリーン

Surface acoustic wave (SAW)技術

指や柔らかい物質で表面に接触

超音波を吸収

減衰後の波形とリファレンスを比較

物理タグの表面はプラスチック製

タッチスクリーン上に置いても影響しない

物理タグとタッチスクリーンの併用が可能に！


タグジェスチャ

タグの動きと位置、タッチスクリーン入力の組み合わせ

タグジェスチャの認識：単純な有限要素マシン

近付けるとCopy-N-Paste、持ち上げるとGUIオブジェクトも手前に表示されるなど、指示者にとって直感的でわかりやすいように設計


Steady2Attach/Detach

対応付け：GUIオブジェクトを指で押さえてタグを置く

解除：GUIオブジェクトを指で押さえてタグを外す

紙を手で押さえながら壁に画鋲で固定するようなジェスチャ

汎用的なTUIに有効なジェスチャ

GUIオブジェクトの数は無制限

物理タグの数は限られる

物理タグはなくなる可能性もある

Steady2Attach

Steady2Detach


Pick2Focus

タグを持ち上げると、タグに対応付けられたGUIオブジェクトが手前に表示

フォーカスの変更

GUIオブジェクトを摘み上げるようなジェスチャ

GUIオブジェクトが完全に隠されていても，簡単に見つけることができる


Copy-N-Paste

コピー：タグをディスプレイ上で水平に動かし、他のタグの約8cm以内に近付ける

ペースト：タグを一旦約8cmの高さまで持ち上げ、他のタグに近付けながらディスプレイ上に下ろす

なぜ、ペーストの方が複雑？

作業者への誤った指示送信（ペースト）は作業者を混乱させるため

Copy

Paste


Sequential Copy-N-Paste

同時に複数地点（作業者）からの映像を保存したり，同じ指示コンテンツを一度に複数作業者に伝えたりするのに有効

コピーもしくはペーストジェスチャを連続して行う

一時的なグループ向け

Sequential Copy

Sequential Paste


Group Copy-N-Paste

同時に複数地点（作業者）からの映像を保存したり，同じ指示コンテンツを一度に複数作業者に伝えたりするのに有効

複数の（作業者）タグを一箇所に集め、シングルCopy-N-Pasteジェスチャを行う

定常的なグループ向け

Group Copy

Group Paste


まとめ

遠隔協調作業分野でウェアラブルシステム（特に音声・映像伝送）は既に実用化

コンピュータビジョンなどセンシング技術を載せる基盤は整い始めている

実際の作業環境での有効性を検証すべき時期

TTTの評価のためには具体的なシナリオでのユーザースタディが必要


ご静聴ありがとうございました

Contact Info

蔵田武志

産業技術総合研究所

情報技術研究部門（部門長：坂上勝彦）

実世界指向インタラクショングループ（GL：西村拓一）

拡張現実インタラクションサブグループ

[email protected]

http://www.is.aist.go.jp/kurata/

http://www.is.aist.go.jp/weavy/

http://unit.aist.go.jp/itri/itri-rwig/

遠隔協調作業のための ウェアラブル・タンジブルインタ …...head-mounted...

Documents

遠隔協調作業のためのウェアラブル・タンジブルインタ …...head-mounted...