uec 研究の背景メカトロニクス特論 (1) 触覚情報処 …1 1 uec the university of...

1

1

UEC The University of Electro-Communications Department of Mechanical Engineering & Intelligent Systems

Robotics Course , Shimojo ＆Ming Laboratory

触覚情報処理１

下条誠*

*電気通信大学

メカトロニクス特論

2



研究の背景

・High Speed Multifingered Hand （ Namikiら）*

・Gifu-Hand （ Kawasakiら）**

(1)人間とロボットの共存人間との触合い・安全の確保

(2)高度で器用なロボットの動作器用な操り・確かな把持

理化学研究所 RIMAN

3



触覚による力仕事の実現左右前腕・上腕・胴体に５枚の面状触覚センサーを備えており，力の大きさや位置を検出可能．そして，検出した力情報を運動に反映させることによって人間を抱き上げるといった力仕事が可能となる

(1)人間とロボットの共存

ソフトなボディによる安全性の確保

人間と接することを目的としたロボットであるため，人間への安全性を重視．そのため，全身を軟らかい素材で覆い，関節には巻き込み防止機能を設置

触覚による人間との接触

4



RIMANビデオ

5



多指ハンドに期待される役割

ヒューマンインタラクション

人間との協調作業

人間の手作業の記録・再現・High Speed Multifingered Hand （ Namikiら）

*

・Gifu-Hand （ Kawasakiら）*** A.Namiki，Y.Imai，M.Ishikawa and M.Kaneko：“Development of a High-speed Multifingered Hand System and its Application to Catching”，Proc.of IEEE/RSJ Int.Conf.on Intelligent Robots and Systems，pp.2666-2671，2003.

** H.Kawasaki，T.Komatsu and K.Uchiyama：“Dexterous anthropomorphic robot hand with distributed tactile sensor: Gifu hand II”，IEEE/ASME Trans. on Mechatronics，vol.7，no.3，pp.296-303，2002．

(2)高度で器用な動作１

高度で器用な手作業の実現が求められる

6



• 接触情報

• 把持姿勢• 把持力

• 滑り検出

• etc…

さまざまな物体に適応

対象物体の情報が未知でも対応可能

物体形状に適応した把持姿勢を選択

摩擦限界に近い把持力

「器用な」把持動作

多指ハンドに期待される作業

物体の操り

「器用な」把持動作

→ 視覚・触覚・力覚が重要な役割

(2)高度で器用な動作２

2

7



(2)ハンドによる器用な動作例

8



人間の把持制御

視覚による認識，経験に基づくフィードフォワード制御

触覚に基づくフィードバック制御

* R.S.Johansson，G.Westling：“Roles of glabrous skin receptors and sensorimotor memory in automatic control of precision grip when lifting rougher or more slippery objects”，Exp Brain Res，Vol.56，pp.550-564，1984．

*

皮膚と対象物との間の局所的な滑りの知覚が重要な役割を果たしている

必要最小限に近い力で把持（把持力は摩擦係数によらず必要最小限の法線力の1.2～1.5倍）

未知物体をほとんど滑らさずに把持可能（滑り発生から把持力制御がなされるまでの遅れは0.06～0.08[s]）

滑りに応じて把持力を調整することで・・・

→ 滑り覚センサが求められている

(2)高度で器用な動作３

9



触覚センサの概要

ロボット用センサ：内界センサと外界センサとに大別

内界センサ：内部状態を検出するセンサロータリエンコーダ，トルクセンサ等，手指等の制御のために各関節の角度検出を行う

外界センサ：外部環境の認識を行なうセンサ視覚・触覚センサ，近接覚センサ，力覚センサ等．例えば，ロボットが手指等を用いて対象物を把持，操りを行うときには，視覚センサを用いて対象物の位置，形状等を認識し，触覚センサを用いてあやつり力の制御等を行う．

10



内界センサ

加速度センサ

ジャイロセンサ

力覚センサ

11



加速度を検出するセンサ

任天堂 wii

加速度センサ

12



「３軸加速度センサー」測定範囲：１．５Ｇ～６Ｇ超小型３軸加速度センサチップ

付きセンサーボード

加速度センサ

3

13



xk

m

c

センサ

本体

( ) 0=+++ kyycyxm &&&&&

200

2

2

2)()(

ωςω ++=−

sss

sXsY

質量・バネ・ダンパの構造を有するサイズモ系を

利用

( ) 0)()()()(2 =+++ skYscsYsYsXms

mkc

mk

== ςω ,20但し，

：ダンピング比センサの固有振動数 ςω ,:20

伝達関数

yx

加速度計(1)

14



xk

m

c

センサ

本体

200

2

2

2)()(

ωςω ++=−

sss

sXsY

200

22 21

)()(

)()(

ωςω ++=−=−

sssXssY

sAsY

ωςωωωωωω

022

02 2

1)(

)(jjX

jY+−

=

( ) ( )20

2220

22

1)(

)(

ωςωωωωωω

+−=

jXjY

20

2

1)(

)(ωωω

ω≅

jXjY

加速度A=s2X

s=jω：周波数へ

加速度Aと変位Yの比

ω0>>ωの場合変位

加速度一定

y

加速度計(2)

15


Robotics Course , Shimojo ＆Ming Laboratory（共和電業AS-GB型）

加速度計(3)

16



ジャイロ：角速度を検出する装置

「こま」を使ったジャイロセンサが使われていた．

近年は機械的な回転部分を持たない長寿命なセンサである，振動ジャイロセンサが広く使われるようになった．

回転しているコマの性質

回転軸の向きは空間に対して一定である「回転体の慣性」


17



ジャイロセンサ(1)

X振動

コリオリ力

音さ型圧電素子

ｘ方向に振動させ

ｚ軸回りに回転

ｙ方向の振動が生ずる

角速度ω検出

ω

コリオリ力

振動検出

zy

x

y振動


18



富士通メディアデバイスFAR-S1BG


4

19



2008.5.13

コリオリ力

20



回転するベクトルの微分

（ベクトルが長さ不変の場合）

rω

r

×=

=∆

∆=

∆∆

=→∆→∆

θω

ωθ

sin

sinlimlim00

rt

trtr

tt

&

rωr ×=&

ジャイロセンサ原理：コリオリ力(1)

21



＝（ｒの伸縮に関する微分)+（ｒの回転に関する微分)r&[ ] [ ] [ ] [ ]×+==

••

ω*

dtd

rωrr ×+= *&&

添字「*」はベクトルの伸縮成分に対することを意味する．

[ ] [ ] [ ] [ ]

( ) rrrr

rdtdr

dtdrr

dtdr

dtd

&&&&&

&&&

×+×+×+=

×+=×+==

ωωω

ωωα

***

**

( ) ( )rrrrr ×+×+×+×+= ωωωωα **** &&&&&

ジャイロセンサ原理：コリオリ力(２)

22



( ) ( )rrrrr ×+×+×+×+= ωωωωα **** &&&&&

( )rrrr ××+×+×+= ωωωωα ** 2 &&&&

1. 速度方向が変化する

2. 回転半径が広がるため円周方向の速度が大きくなる

コリオリ力：質点ｍが円板上を直進する場合

回転円板

コリオリ力

ジャイロセンサ原理：コリオリ力(3)

23



ω

コリオリ力

コリオリ力

音さ型振動子モデル

質点

ジャイロセンサ原理：ジャイロセンサ(4)

24



写真：エプソントヨコム株式会社


5

25



軌道計測

姿勢制御

位置ずれ補正

モーション検知

自律航法

主な目的ジャイロセンサ応用例

26



手にかかる力と方向ついて歩くものの受け渡しを行なう

手首に取り付けた力覚センサにより力を検出

力覚センサ

27



4本梁の全ての側面に歪ゲージを貼付け，梁の変形から軸に加わる力（x,y,z軸方向力，及び各軸回りモーメント）を計測する

６軸力覚センサ：各関節に加わる軸力即ち，直交座標系の３軸方向の力と３軸回りのモーメントを検出する

適用例としては，部品加工で発生するバリ取りやグラインダ作業がある．これはロボットの手先に６軸センサを取り付け，仮想コンプライアンス制御を行わせている．

過負荷に対するメカニカルストッパを標準で装備することむろん，作業中に発生する振動，温度，湿度，塵埃等の悪環境への対応が重要となる

力覚センサ（6軸力センサ）

28



BL AUTOTEC社

指先型6軸力覚センサ

力覚センサ例

29



力覚センサ＋歪ゲージ(ビデオ）

30



力覚センサ+ハンド(ビデオ）

6

31



関節力計測力覚センサ

接触力分布検出など計測

接触

触覚センサ

近距離(数cm)計測近接覚センサ

対象物の位置・形状計測

非接触

視覚センサ

外界センサ

各関節角度・トルク計測などロボット内部状態検出センサ内界センサ

備考センサロボット用センサ

ロボット用センサの分類

32



全身皮膚型触覚センサ

安全・安心の確保

人間とのインタフェース

柔らかく,丈夫

解像度は低くても良い

マニピュレータ触覚センサ

自動作業をするロボットハンド

把持状態の計測

力分布がベクトル量で計測

精度，時間応答速度は人間を上回る

篠田裕之：ヒトのように触れる, 日本バーチャルﾘｱﾘﾃｨ学会誌，印刷中(2007)

触感センサ

工業製品表面の触感計測

触診の自動化

多角的情報の計測

アクティブタッチ

ユーザが期待する用途

33



用途による分類

触感覚提示（触覚ディスプレイ）

反力，柔らかさ,表面アラサ，熱伝導,表面変形，3次元形状提示等

マニピュレーション型触覚

接触位置・力,滑り検出

高精度，高速性（１ｍｓ）制御用

医療・福祉用触感覚

触診への利用，肌状態計測等

触感センサ型触覚

製品,食品等の触感計測触感覚センシング用

情報・家電機器インタフェース

接触位置･力検出，指多点入力

薄型軽量,省電力,安価,耐久性

全身型触覚

接触位置・力の検出

大面積，自由曲面被

インタラクティブ用

ヒューマンインターフェース分野ロボティクスメカトロニクス分野

表面テクスチャー,変形，熱効果,瀬触面積(能動的センシング）

識別系感覚系

34



触覚は，視覚，聴覚に対して開発が遅れている

視覚センサ：ビデオカメラ

聴覚センサ：マイクロホン

触覚センサ：？？？

標準デバイス

？

触覚センサの標準デバイスは？

35



触覚：皮膚

［Penfield et al., 1950］

大脳での触感覚領域の広さ

なぞり動作

アクティブタッチ

視覚

嗅覚

味覚

聴覚視覚：眼

聴覚：耳

嗅覚：鼻

味覚：舌

集中型分布型

力センサ温度センサ滑りセンサ振動センサ

接触

触覚は何故難しいのか１

36



力センサとして Fx,Fy,Fz,Tx,Ty,Tz （ベクトル量）の検出

温度の検出

滑りの検出

多角的センサ

接触・なぞり動作を行なう機構の付与が必要

アクティブタッチに関わる検出アルゴリズムが必要

能動

(受動）

伸び，縮み，擦り，打撃などに対する物理的耐久性

水，油などの化学的汚染に対する化学的耐久性

接触

(非接触）

多数分布する検出素子への配線処理が困難

柔らかく，薄く，広い自由曲面を覆える

分布

（集中）

触覚センサは何故難しいのか２

7

37



センサカバーによるフィルタリング効果

検出方式の分類（力→電気量変化）

これまでに開発された各種触覚センサ

内容

38



3次元構造による情報処理

センサカバーによるフィルタリング効果

干渉なし干渉あり

応力分布応力分布

39



∫∫ −−= ηςηςης ddyxfgyxs ),(),(),(

カバー下の応力分布

40



),(),(),( vuFvuGvus ∗=

∫∫ −−= ηςηςης ddyxfgyxs ),(),(),(

Fourier変換

方向波数

方向波数

yvxu

::

GainFilteringvuG :),(

Filtering Gain1

カバ下の空間周波数

カバ上の空間周波数ゲイン

41



Filtering Gain2

∫∫ ∫

∞

∞−

∞

∞−

∞

∞−

+−

=

=

rdrrqJrg

dxdyeyxgqG yvxui

)2()(2

),()(

0

)(2

ππ

( )∫ +=+== −π β βπ

π2

0

222222cos0 ,

21)2( vuqyxrderqJ iz

Bessel function for first type

Hankel transformation

フィルタゲイン

42



g(x,y)関数（FEMにより計算）カバー厚さh による

g(x,y)の変化

h =0.1mmから

0.6mm

8

43



Filtering Gain ｛G(u,v)｝

カバーの厚み変化カバーのヤング率変化

44



sensor

cover

カバー上荷重分布

カバー下荷重分布

ヤング率：98Mpa

ポアソン比:0.3

0.2mm

カバーによる空間分解能への影響

45



例

厚み

ヤング率

ポアソン比

46



検出方式の分類（力→電気量変化）

機械的変位方式

抵抗値変化方式

静電容量方式

電荷変化方式

光学方式

圧抵抗効果方式

磁気変化方式

47



検出方式の種類１

バネ等の機械的構造の変位，変形から接触力を検出する方式である．

機械的構造は，寸法，構造を変えることで感度を変えることが割合と自由にできる利点がある．

機械的変位方式：接触力を機械的変位として検出

？

48



検出方式の種類２

検出回路が比較的簡単（静電容量型，電荷検出型と比較すると）．

センサの出力インピーダンスが低いため，比較的電気的雑音に強い

歪ゲージ方式：接触力を抵抗値変化として検出

歪ゲージは，線状の金属抵抗体が伸び縮みによる抵抗値の変化から歪測定を行なうもので構造体の歪から応力を計測する．

構造が単純で，高精度であるため、荷重測定，変位測定などに広く用いられる．

抵抗線樹脂フィルム

9

49



検出方式の種類３

荷重によるゴム体積減少に伴う，導電性粒子の相互接触の増加による電気抵抗の変化から荷重を計測する．

柔軟性，加工性，大面積化が容易

衝撃などによっても破損しない

欠点として，応力・抵抗値特性にヒステリシス特性がある．

感圧導電性ゴム：シリコンゴム等の中に炭素粒子等の導電性粒子を均一に拡散させてもの．

50



抵抗値変化の検出方式３

電極電極

縦方向の抵抗値変化横方向の抵抗値変化

その電気抵抗の検出方向は主に以下の2通

電極

電極

currentcurrent

感圧素材

感圧素材

感圧導電素材：加圧力→電気抵抗の低下

51



検出方式の種類４

弾性を有する誘電体を２枚の電極ではさみ，加圧力による誘電体の変位によって静電容量が変化する特性を利用した検出方式である．

弾性体を変えることによって感度の調節が可能である．

空間分解能を高めると，検出エレメントの面積が小さくなり，静電容量が小さくなることから，原理的に高分解能型センサの実現は困難である．

静電容量変化方式：接触力を静電容量変化として検出

例えば検出エレメントの面積を16mm2，電極間隔を0.25mm，弾性体の誘電率を４とすると，このエレメントの静電容量は0.2pfと非常に小さな値となり，センサ配線の浮遊容量，外部導体との浮遊容量による誤差が大きくなる.静電容量変化の検出は，発信回路を構成し周波数変化を，ヘテロダイン検波等を用いて検出する方

式が一般的である

52



静電容量変化方式：指紋認証センサ

本人受理率99%以上、他人受理率0.0002％以下

指紋特徴データ：平均約300バイト

平均照合時間：0.3秒

プロセス：0.5マイクロCMOSテクノロジ

センサ部：1.28×0.16平方センチメートル(256×32 センサアレイ、50μmピッチ)

解像度：500dpi(dots per inch)

53



検出方式の種類５

強誘電体結晶に圧力を加えると表面に電荷が生じるピエゾ効果を利用．

素材としてはポリフッ化ビニリデン（PVDF）， PZTを用いる方式がある．

利点：検出感度を高く取れること，機械・電気的特性が良い．

欠点：検出器からの出力が加圧力の微分的応答を示すため，繰り返し荷重の測定は可能だが，静的な荷重の検出は困難であること，電荷として出力されるためチャージアンプが必要になることである．

電荷変化方式(PVDF,PZT)：接触力を電荷の変化として検出

この他，PVDFにはピロ効果があるため温度によっても電荷を発生するため，温度の

影響を補正することが必要である.

54



PVDF方式

加工性が良く、大面積で薄膜化が容易

0.001HzからMHz帯に至る広い周波数特性。

医療用超音波診断素子として最適な人体や水に近い低音響インピーダンス

PVDF 金属皮膜電極

毛髪触感センサ(東北大,資生堂）

10

55



検出方式の種類６－１

弾性体の変形による光反射率の変化，光を通す光導波板の散乱率の変化，弾性体中のマーカーの変位計測等を用いる方法である．

光方式は，他の電気的方式と比較して電磁誘導等による電気的雑音に強い利点がある

入射光，反射光用の２本の光ファイバーを対にして受圧面の下に配置する方法

圧力による受圧面の変形による反射光量の変化から圧力を検出する方法である．

光学方式：接触力を光特性の変化として検出

光反射率の変化方式

56



光導波板と白色弾性体を用い，加圧力による白色弾性体と光導波板の接触面積の変化をCCD等の光学系で観測する方法．

光導波板の端面からの入射光は光導波板の中で全反射を繰り返して進む．しかし，加圧力によって白色弾性体が光導波板と接触すると全反射条件が崩れ，光が散乱しその部分が光って見える．

すなわちこの散乱光のパターンからセンサと対象物の接触状態を計測しようとするものである．

検出方式の種類６－２

光導波板の散乱率変化方式

57



検出方式の種類６－２

58



検出方式の種類６－３

光透過性の３次元弾性体の外力による変形を，弾性体中に入れた赤,青などのマーカをカメラで計測することから変形を計測し，加わった外力を計測する方式．

弾性体変位計測

59



検出方式の種類６－４

受圧面に弾性ピンが配置され，これが加圧力により変位して弾性ピン下にある発光ー受光素子間の光路を遮断し，その光量変化から加圧力を検出する方法．

光遮断方式

60



圧抵抗効果方式：半導体結晶に圧力を加えるとその電気抵抗が変化する圧抵抗効果を用いて接触力・抵抗値変換素子として利用する方法．

検出方式の種類７

半導体結晶を用いているため，通常の集積回路の製作技術の利用が可能で，感圧部分であるダイアフラムとその信号処理回路まで一体化して製作可能な利点がある．

これら半導体集積型のセンサは，シリコンチップを用いてセンサを形成しているためセンサに柔軟性がないこと，耐環境性に問題があること，パッケージングが難しい等の問題がある．

11

61



磁気変化方式：磁気感応型の磁気抵抗素子と微小磁石を混合した弾性体を組み合わせ，弾性体の変形による磁場の変化を磁気抵抗体素子の出力変化として検出する方式．

検出方式の種類８

磁気双極子の空間的変位を測定することから，検出器を工夫することによって，原理的に６自由度の変位を計測可能であり，センサ表面の法線，接線，トルク等の力が検出可能となる．しかし，鉄などの磁性体を扱えない欠点がある．

62



反射型フォトインタラプタ，超音波，静電容量，渦電流などの利用

近距離（数cm程度）での対象物検知

近接の検出

歪と振動など異なる物理量計測からの判別複合覚

熱伝導計測（ペルチェ素子）温覚の検出

接触子振動数変化硬さの検出

材質の検出

初期局所滑り領域の検出接触面変化より検知

表面荷重分布の弾性体厚み方向変化，接触対象物との摩擦係数の変化による弾性体内部での歪変化，等の利用

弾性体内部応力・歪状態より検知

滑り振動（加速度），スティックスリップ滑り振動より検知

滑りの検出

法線・接線方向力，6軸力(Fx,Fy,Fz,Mx,My,Mz)の検出多軸力への対応

分布計測→検出素子の分散配置→配線数の増加省配線化もしくはワイヤレス対応の要求配線問題への対応

自由曲面の被覆，広い面積も覆える，薄型･軽量･省電力が望ましい．曲面・大面積への対応

接触の検出・分布量・位置・力

備考特徴計測量

触覚センサ機能による分類

63



人間の材質感識別

64



材質判別触覚センシング触運動動作と複数センサ情報を統合したシステム例

温度センサ，振動センサ，摩擦センサなどを備えたセンサヘッドにより，なぞり動作による，温度変化，振動，摩擦，変形の情報を統合することによって，対象物の材質を検出している

識別アルゴリズムは，センサからの情報を温度変化率，振動の高・中・低周波成分など８種類の特徴量に分け，相互情報量基準に基づいて特徴量の逐次選択を行う方法を用いている。

実験では，木材，金属，高分子材料，人間でも困難な紙質（画用紙，コピー紙，コート紙，デザイン紙等）及び布質の風合標準（紳士夏服用生地）を用い，ほぼ完全に判別できたとしている。

65



触覚センサ

シート状の触覚センサ

自由曲面形成可能な触覚センサ

多方向力を計測する触覚センサ

すべり覚センサ

66



感圧素材を薄膜ストライプ状に印刷しセンサを構成

感圧原理は薄膜状に形成した感圧部の凹凸部分の接触面積が圧力により変化し，接触面積の増減に伴い電極間相互の接触抵抗が変化，圧力を計測

検出部はフィルム状で0.1mm程度と薄く，また印刷により形成できるので高い空間分解能を実現することも可能である．

圧感受性インク１シート状触覚

12

67



圧感受性インク２

センサ感圧部概観計測例

シート状触覚

68



感圧素材：感圧導電性ゴム

電極：フレキシブル基板（金メッキ）

電極サイズ：12mm×52mm

感圧点間隔：3mm

感圧部マトリクス：16×3

センサ厚：約0.5mm

感圧導電素材１

M. Shimojo, A. Namiki, M. Ishikawa, R. Makino and K. Mabuchi: A tactile sensor sheet using pressure conductive rubber with electrical-wires stitched method, IEEE Trans. Sensors,vol.5, no.4, pp.589-596(2004)

シート状触覚

69



２

４

１単一素子

３

感圧素材

感圧導電素材２シート状触覚

70



感圧導電素材３シート状触覚

71



ビデオ信号出力型センサ

センサは薄さ0.7ｍｍシート状

で可とう性がある

測定部は4096個の検出点が

64x64のマトリクス状に1ｍｍ

間隔で配置されている

画像処理装置のソフトとハード

が利用可能なため信号処理

が簡便に行える

ビデオ出力触覚１

石川正俊，下条誠：ビデオ信号出力を持つ圧力分布センサと触覚パターン処理, 計測自動制御学会論文集, Vol.24, No.7, pp.662-669 (1988)

ビデオ

シート状触覚

72



体圧分布計測システム

13

73



電流の回り込み

電極感圧素材

電流経路

不用な電流経路

シート状触覚

74



ゼロ電位法による電流回り込み防止回路

仮想ゼロ電位

input

電流

scan

シート状触覚

75



センサ走査回路

Ri

Rf

=0V

仮想ゼロ電位

演算増幅器の入力電位差は，ほぼ零電位となる．

←演算増幅器の増幅率は∞と近似可能

シート状触覚

76



抵抗→温度変換（液晶表示）

感温型液晶を用いて圧力分布を表示させるセンサ

構造：４層のシート状構造．

第１、３層：電極

第２層：感圧導電ゴム

第４層：感温型液晶シート

原理：圧力分布→抵抗値分布

→電極間電圧→電流分布→

ジュール熱→温度分布→感温

型液晶の色変化→圧力分布観

察

電極

感温型液晶感圧素材

センサ断面図

シート状触覚

77



構構造造

感圧導電性ゴムに感圧導電性ゴムに金金

メッキしたメッキしたベリリウム銅線ベリリウム銅線

を縫い込むを縫い込む

縦横銅線の交点が感圧縦横銅線の交点が感圧

部となる部となる

感圧部

(1)感圧導電素材(2)ベリリウム銅線直径：0.125mm（金メッキ）

ワイヤ縫込み型触覚１

関喜一，下条誠，佐藤滋，高橋昭彦：高柔軟性をもつ把持圧力分布センサの開発, 計測自動制御学会, Vol.31, No.9, pp.1528-1530 (1995)

曲面形成触覚

78



把持圧力検出用センサグローブ

検出点：103箇所

指先：4箇所

各指腹：3箇所

親指：10箇所

掌：46箇所

ワイヤ縫込み型触覚１：センサグローブ

関喜一，下条誠，佐藤滋，高橋昭彦：高柔軟性をもつ把持圧力分布センサの開発, 計測自動制御学会, Vol.31, No.9, pp.1528-1530 (1995)

曲面形成触覚

14

79



触覚スーツ１

導電性布を用いた触覚スーツ

導電性布とスペーサによる感圧機構

全身：160ポイント

M. Inaba, Y. Hoshino, and H. Inoue, “A full-body tactile sensor suit using electrically conductive fabric and strings,” Proc. IEEE Int. Conf. on Intelligent Robots and Systems, pp. 450–457,1996

曲面形成触覚

80



触覚スーツ２

81



触覚チップ+分散

触覚チップを分散

電磁誘導を用いた電力供給と通信

M. Hakozaki, A. Hatori, and H. Shinoda: “A Sensitive Skin Using Wireless Tactile Sensing Elements,” Proc. Sensor Symposium, pp.147-150, 2001.

曲面形成触覚

82



触覚チップ+分散２

83



高速シリアルネットワーク接続１

Y. Ohmura, Y. Kuniyoshi, A. Nagakubo, “Conformable and Scalable Tactile Sensor Skin for Curved Surfaces,” Proc. IEEE Int. Conf. on Robotics and Automation,pp.1348-1353,2006

センサシート単位にMPUを配置，データ取得

各センサシートを高速シリアルバス結合

曲面形成触覚

84



高速シリアルネットワーク接続２

15

85



光導波板指先装着触覚

指型などの比較的小さな自由曲面への装着を考慮したものは数少ない．

指先に取付けたゴムカバーに覆われたアクリル樹脂などの光を通す半球殻の端面から光を照射し，ゴムカバーが接触するとその部分の半球殻から光が散乱することから，この発生する位置を受光素子(PSD)等で検出することで接触位置を計測する

曲面形成触覚

86



有機トランジスタ型

保護膜

感圧ゴム

有機トランジスタ・アレイ

絶縁膜

ゲート金属

ソース

プラスティックシート

プラスティックシート

有機半導体ドレイン

一般的な有機トランジスタの構造

１．シート状触覚

低速（周波数0.001GHz)

低密度（線の太さ10000nm)

面積コストが安い

大面積得意

曲がる

高速（周波数1GHz)

高密度（線の太さ100nm）

面積コストが高い

大面積不得意

曲がらない

有機トランジスタシリコントランジスタ

東京大学工学系研究科染谷研究室

87



インピーダンストモグラフィー原理

88



インピーダンストモグラフィー測定例

89



マーカを埋め込み弾性体変形計測

弾性体変形をカメラ計測による３軸力計測

２４ｘ２４のマトリクス状配置

力分解能：３０ｇｆ

空間分解能：４ｍｍ

K.Kamiyama, K. Vlack,T. Mizota, H. Kajimoto, K. Kawakami,S. Tachi, S., “Vision-based sensor for real-time measuring of surface traction fields , ” IEEE Computer Graphics and Applications vol.25, no.1, pp.68-75, 2005

多軸力型触覚

90



GelForce ビデオ

動作

原理

16

91



1) 前野隆司，広光慎一，河合隆志：“曲面状弾性フィンガの固着・滑り分布推定に基づく把持力の制御”，日本ロボット学会誌，Vol.19，No.1，pp.91-99，2001．

2) Jun Ueda, Yutaka Ishida, Masahiro Kondo, Tsukasa Ogasawara, "Development of the NAIST-Hand with Vision-based Tactile Fingertip Sensor", Proceedings of the 2005 IEEE International Conference on Robotics and Automation (ICRA 2005),pp.2343-2348, Barcelona, Spain, April, 2005

前野らの曲面状弾性フィンガ1)

Uedaらのビジョンによる初期滑り検出センサ２）

内部に多数のひずみゲージを配置し，

内部応力分布の変化より局所滑りを検出

カメラにより弾性体の接触面を内部より撮影し，滑り余裕を計測

問題点

• 特殊なフィンガ形状が必要

• 小型化，軽量化が困難

• 検出の高速化

実用的な滑り覚センサは存在しない

すべり覚

92



• Flexible, Thin, Light weight• Possibility of Arranging on curved surface• High-Speed responsibility within1(ms)• A proceeding circuit is simple analog circuit• Wiring of sensor is only four wires

irrespective of sensor area

Structure of Sensor

Characteristics

• Three laminar structure • A pressure conductive material sandwiched

between two sheets of conductive film

Sensor Output• Center Position of Pressure • Force

CoPセンサ

93



By Pressure Conductive Rubber, the Load Distribution is converted

to the Current Distribution

the Center Position of Current Distribution is derived from

Potential Difference of electrodes on both Conductive film

We can regard the Center Position of Current Distribution as The Center Position of the Load

Distribution

CoP Sensor原理

94



Position Output Force Output

-10

-8

-6

-4

-2

0

2

4

6

8

0 2 4 6 8 10 12 14Input Force [N]

Sens

or O

utpu

t [V

]

Increasing Phase

Decreasing Phase

Sensor Output proposes the point where pressure is applied

As the pressure applied increase, the output of sensor increase

(press one point) (press normal direction)

-1

0

1

2

3

4

5

0 2 4 6 8 10 12 14 16 18 20 22

Position [mm]

Sens

or O

utpu

t [V

]

Y Position

X Position O X

Y

CoP Sensor出力特性

95



High-Speed Three-fingered Robot Hand developed by Namiki* et al

* A.Namiki，Y.Imai，M.Ishikawa and M.Kaneko：“Development of a High-speed Multifingered Hand System and its Application to Catching”，Proc.of IEEE/RSJ Int.Conf.on Intelligent Robots and Systems，pp.2666-2671，2003.

High Speed Multi-Fingered Robot Hand

High Speed Response

High torque output

Non Backrush

It is possible to achieve 180(deg) opening and closing movement in 100(ms)

Use of actuator which archives high instantaneous output

(obtaining greater grasping force than earlier hands)

By the mechanism which consists of the Harmonic Drive and the bevel gear, Backrush in the fingers overall is almost 0

高速多指ハンド

96



Simple fixing method

Fitting of CoP Sensor for Finger Module

・CoP sensors are fixed with a special fixture

・The sensors can be fixed easily without affecting sensor output

・Sensor wiring can be routed through the axes of the joints and through the attachment fixtures

・Sensor wiring doesn’t obstruct the movement of the hand

Compact Wiring Layout

CoPセンサの装着

17

97



Change of Stick-Slip area occurred by external force

ProblemsBecause of a change in the contact area, when a contact area is small, it is hard to catch the signal change.

Change of Stick-Slip area occurred by external force

Change of load distribution in contact area of sensor

Change of Sensor “Position” Output

滑り検出原理

98



-10-8-6-4-20246

Sens

orO

utpu

t[V

]

-20

0

20

40

60

80Dis

plac

emen

t[mm

]

-1

-0.5

0

0.5

1

0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70Time[s]

Sens

orO

utpu

t[V

]

Displacement of Object

Force Output

Position Output (circ.)

Position Output (axis)

Laser Sensor

CoP Sensor Force Output

CoP Sensor Position Output

Test Result (covering : mesh)

→ S l i p

Change of Sensor “Position” Output when slip outbreak is small

We will propose control system based on change of sensor “Force” Output

This behavior can use prediction and detection of slip

Sensor “Force” Output falls greatly before 0.05(s) to slip

滑り検出実験結果

99



Test Condition•

•

• Initial target value

• Grasping object is three kinds of 100(g),

150(g), 200(g)

Test Contents• We let the robot hand grasp pet bottle by

hand, and lose hold

• Grasping force control with basal joint

,,

滑り検出による把持制御実験

100



-10-8-6-4-20246

0.0 0.5 1.0 1.5 2.0

Time [s]

Sens

or O

utpu

t [V

]

0

1

2

3

Slip

[mm

]

Laser Sensor

CoP SensorSensor Force Output (Vext)Target Value (Vref)

Slip (Laser Sensor)

Test Result (Weight:150(g))

・Slip Displacement of PET bottle

・Sensor Force Output

・Target value

把持制御実験結果１

101



Test Result

(a) Weight = 100[g] (b) Weight = 150[g]

Slip Displacement 0.5[mm] Slip Displacement 1.5[mm]

-10

-8

-6

-4

-2

0

2

4

6

0.0 0.5 1.0 1.5 2.0

Time [s]

Sens

or O

utpu

t [V]

0

1

2

3

Slip

[mm

]

Laser Sensor

CoP Sensor

Sensor Force Output (Vext)Target Value (Vref)

Slip (Laser Sensor)

-10

-8

-6

-4

-2

0

2

4

6

0.0 0.5 1.0 1.5 2.0

Time [s]

Sens

or O

utpu

t [V]

0

1

2

3

Slip

[mm

]

Laser Sensor


Slip (Laser Sensor)

-10

-8

-6

-4

-2

0

2

4

6

0.0 0.5 1.0 1.5 2.0

Time [s]

Sens

or O

utpu

t [V]

0

1

2

3

Slip

[mm

]

Laser Sensor


Slip (Laser Sensor)

(c) Weight = 200[g]

Slip Displacement 2.5[mm]

The target grasping force gradually increases, and settles a specific value

把持制御実験結果２

102



Test Contents• The robot hand grasps a empty cup

(diameter : 50mm) with two fingers

• Water was poured the cup afterwards

• Grasping force control with basal joint

Test Condition• Without Grasping force control

（only anti-slip control ：）

• Use grasping force control，

注水グラスの把持実験

18

103



注水グラスの把持実験ビデオ

104



おわり

1

1



触覚情報処理２

下条誠*

*電気通信大学

メカトロニクス特論

2



1. 触覚は接触しないと情報が取れない．このためアプローチ動作では対象物に衝突してしまうか，低速度での動作となる

2. 自由曲面への装着が困難である．ロボット等各種機械システムには自由曲面が多く存在し，センサの取付けが難しい

3. 多数の配線処理が困難である．各種機械システム全体を覆う場合，多くの検出素子を分散配置する必要があり，その配線数は膨大なものになり，その配線処理が難しい

4. 滑りの検出が重要である．このため接線方向力計測，摩擦係数推定が必要である

5. 処理時間がかかる．検出素子の走査と情報処理のため，検出素子の増大とともに応答遅れが生じてしまう．（1msのフィードバック制御）

6. 標準的センサがない．このためソフトウェアの蓄積が困難であり触覚を必要とする応用分野での研究開発の効率低下，触覚を必要とするシステムの普及・発展の妨げとなっている

触覚センシング：解決すべき問題

3



研究の現状１

自由曲面・大面積化問題M. Inaba, Y. Hoshino, and H. Inoue, “A full-body tactile sensor suit using electrically conductive fabric and strings,” Proc. IEEE Int. Conf. on Intelligent Robots and Systems, pp. 450–457,1996.T.V. Papakostas, J.Lima, M. Lowe, “A large area force sensor for smart skin applications, ” Proc. Int. Conf. on Sensors, pp.1620-1624, 2002.T. Mukai, “Soft Areal Tactile Sensors with Embedded Semiconductor Pressure Sensors in a Structured Elastic Body”, Proc. IEEE Sensors, pp.1518-1521, 2004 Y. Ohmura, Y. Kuniyoshi, A. Nagakubo, “Conformable and Scalable Tactile Sensor Skin for Curved Surfaces,” Proc. IEEE Int. Conf. on Robotics and Automation,pp.1348-1353,2006

配線問題M. Hakozaki, H. Oasa and H. Shinoda: “Telemetric Robot Skin,” Proc. IEEE Int. Conf. on Robotics and Automation, pp.957-961, 1999.M. Nilsson, “Tactile Sensors and Other Distributed Sensors with Minimal Wiring Complexity”, IEEE/ASME Trans. Mechatronics, Vol.5, No.3,pp.253-257, 2000.M. Hakozaki, A. Hatori, and H. Shinoda: “A Sensitive Skin Using Wireless Tactile Sensing Elements,” Proc. Sensor Symposium, pp.147-150, 2001.

Inaba,et.al

Tekscan

Ohmura,et.al Shinoda,et.al

Nilsson

4



滑り検出（摩擦係数推定）問題R. D. Howe and M. R. Cutkosky, “Sensing skin acceleration for slip and texture perception,” Proc. IEEE Int. Conf. on Robotics and Automation, pp. 145–160, 1989M. Tremblay and M. R. Cutkosky, “Estimating friction using incipient,slip sensing during a manipulation task,” Proc. IEEE Int. Conf. on Robotics and Automation, pp. 429–434, 1999.T. Maeno et al., “Analysis and design of a tactile sensor detecting strain distribution inside an elastic finger,” Proc. IEEE/RSJ Int. Conf. on Intelligent,Robots and Systems, pp. 1658–1663,1998.H. Shinoda, “Instantaneous evaluation of friction based on ARTC tactile,sensor,” Proc. IEEE Int. Conf. on Robotics and Automation, pp.2173–2178, 2000.

多軸力計測問題S. Ando, H. Shinoda, A. Yonenaga, and J. Terao,Ultrasonic, “Six-Axis Deformation Sensing, ” IEEE trans. on ultrasonics, ferroelectrics, and frequency control, ” vol. 48, no. 4, pp.1031-1045, 2001M. Ohka, H. Kobayashi, Y. Mitsuya, “Sensing characteristics of an optical three-axis tactile sensor mounted on a multi-fingered robotic hand” ,IEEE/RSJ Int. Con. on Intelligent Robots and Systems,pp.493-498, 2005K.Kamiyama, K. Vlack,T. Mizota, H. Kajimoto, K. Kawakami,S. Tachi, S., “Vision-based sensor for real-time measuring of surface traction fields , ” IEEE Computer Graphics and Applications vol.25, no.1, pp.68-75, 2005K. Noda, K. Hoshino, K. Matsumoto, I. Shimoyama, "A shear stress sensor for tactile sensing with the piezoresistive cantilever standing in elastic material,“ Sensors and Actuators A ,127,pp.295–301,2006.

研究の現状2

Tremblay,et.al

Shinoda,et.al

Meno,et.al

Kamiyama,et.al

Ando,et.al

Noda,et.al Ohka,et.al

5



新規提案

アナログ回路網型

汎触覚センサ方式

の提案

6



2次元荷重分布の中心位置と総荷重を検出する

センサ原理0(連続系）

微小部分等価回路

2

7



A層

B層微小要素の等価回路

センサ原理１（連続系）

基本方程式

8



基本方程式

境界条件

センサ原理２（連続系）

9



電流分布の一次モーメントIx は，基本方程式より

グリーンの定理と境界条件より

同様にIyはA層

B層

電流分布中心位置はIx, Iy を電流値 I で除すことで求められる

I

I

センサ原理３（連続系）

10



指先関節

根元関節

旋回関節

センサの特徴

柔軟，薄型，軽量

曲面に配置可能

1[ms]以内の高速応答性

処理回路は単純なアナログ回路

センサ面積によらず配線は4本

試作センサと動作ビデオ

11



連続系から離散系へ

連続系離散系

12



アナログネットワーク型の触覚センサ

ネット状構造→自由曲面，大面積化

3

13



アナログネットワーク型汎触覚センサ

1. アナログ回路網・・・・・・・・・・・・ →高速応答性2. ４近傍接続・・・・・・・・・・・・・・・ →省配線3. 触覚から近接覚まで同一原理・ →ソフトウェアの統一

14



センサ構造

Resistance network

Pressure conductive

material

Analog network circuit

Resistance network

One element

Output line

15



Pressure conductive

element

Element were arannged 3x3 grid

rp

R(150Ω)

Network resistance

Element were attached on sphere

プロトタイプ１

16



離散系CoP触覚 Phase2

17



(E1-E3)Voltage Xposition

(E2-E4)Voltage Yposition

1. When a load is applied to the sensor, the resistance rp will change accordingly.2. Then, the current I(i, j) which flowing through resistance rp will change.3. Thus, the current distribution in the sensor follows the load distribution. 4. The sensor detects the center position of the current distribution as well as the total current

E1 E3

E2

E4

センサ構成の概要

18



Equivalent circuit of the element

The current I (i, j) flowing from layer A into layer B through rp.

),(),(2 jirIjiVa =∇

Layer A:Kirchhoff’s current laws

センサ原理１

4

19



),1(),(),,1(),0(

jmVjmVjVjV

aa

aa

+==

Layer A

B.C.1S2,S4: Open terminal

B.C.2S1,S3: Connected to

electrodes

( )

( )⎭⎬⎫

⎩⎨⎧

−=−

⎭⎬⎫

⎩⎨⎧

−=−

∑

∑

=

=

m

iaEE

m

iaEE

niVVr

VVR

iVVr

VVR

1330

0

1110

0

),(11

)1,(11

センサ原理２（境界条件）

20



),(1

),(

2

1 1,

1 1,

jiVxr

jiIxI

a

m

i

n

jji

m

i

n

jjix

∇=

=

∑∑

∑∑

= =

= =

⎭⎬⎫

++−+

++⎩⎨⎧

−

∇=

∑∑∑∑

∑∑∑∑

∑∑

= == =

= == =

= =

)1,()1,(

),1(),1(1

),(1

1 1,

1 1,

1 1,

1 1,

2

1 1,

jiVxjiVx

jiVxjiVxr

jiVxr

I

a

m

i

n

jjia

m

i

n

jji

a

m

i

n

jjia

m

i

n

jji

a

m

i

n

jjix

センサ原理３（一次モーメント）

21



Simplifed and using B.C.

( )310

121

1EEx VV

Rn

rm

nI −⎟⎟

⎠

⎞⎜⎜⎝

⎛ ++

−=

( )420

121

1EEy VV

Rm

rn

mI −⎟⎟

⎠

⎞⎜⎜⎝

⎛ ++

−=

0

310

1 1

2),(R

VVVjiII EEm

i

n

jall

−−==∑∑

= =

allyallx IIyIIx == 00 ,

The center position of current distribution

センサ原理４（一次モーメント）

22



),(

),(),(),(),(

1 jiFk

jirjiVjiVjiI

p

ba

≈

−=

rrp ff

( )constkkFrp :1−=

F(I,j)

( )( )

( )( ) all

ym

i

n

j

m

i

n

j ji

all

xm

i

n

j

m

i

n

j ji

II

jiF

jiFyy

II

jiF

jiFxx ====

∑ ∑∑ ∑

∑ ∑∑ ∑

= =

= =

= =

= =

1 1

1 1 ,0

1 1

1 1 ,0

,

,,

,

,

Assumption 1

Assumption 2

センサ原理５（荷重への変換）

23



Position-measuring experiment (single-point)Tactile element

Prototype sensor

3x3 grid

Sensor’s position output

Maximum error: 1%

センサ位置特性

24



Position output when an impact load is applied

Output position

Input force

Impact load

Response: within 1ms

センサ時間応答特性

5

25



Styrene foam cover

Sensor3x3 grid

The load is spread among the individual elementsCovering

The stroking experiment with sensor covered by styrene foam.

A locus of the sensor’s Position output

When tactile elements are placed discretely, the load distribution between each element becomes a problem.

センサのカバリング

26



The element was formed of resistor network

combined with pressure element

10mm x 10mm

resistor

Pressure conductive

rubber

プロトタイプ２（センサエレメント）

27



マニピュレータへ装着(デモビデオ）

28



歩行位置検出センサへの応用

29



Sensing area

歩行計測実験

30



Sensor Output Gait Tracking

測定項目

6

31



歩行実験結果 (1)

32



実験結果 (1)

33



実験結果 (1)

34



ステップ長，ステップ頻度共に高い相関性

高速歩行時はステップ頻度が貢献

実験結果 (2)

35



自由曲面装着マッピング

センサ位置を基準としたマッピング

36



触覚エレメント

柔軟被覆材

弾性体カバーの効果

ηξηξηξ ddyxfgyxs ),(),(),( ∫∫ −−=

各エレメント間の荷重の取扱い

→柔軟体カバーによる荷重分散

),( yxf),( yxs

サンプリング

7

37



自由曲面装着マッピング(ビデオ）

38



Force sensor

Photo refrector

Two dimensional

Tactile sensor

Two dimensional

Proximity sensorBasic element

２次元近接覚センサへの展開

39



デモビデオ１

40



デモビデオ２

41



PA10装着

42



感圧ゴムフォトリフレクタ

2次元近接覚・触覚融合型センサ

+

並列接続

2次元近接覚・触覚融合型センサ

8

43



CoP触覚・近接覚 Phase4

44



PA10融合型デモ

45



自由曲面への配置：ネットを被せるようにセンサを配置可能

省配線：検出素子数，面積，配置にかかわらず高々４本の配線で接続出来る

高速応答性：検出素子の個数にかかわらず，1 ms以下の高速応答性がある．このため，通常ロボット制御に用いられる1khz程度の制御ループにも十分対応可能である

近接覚から触覚をシームレスに結合

連続系のCoPセンサは接線方向力検出：滑り検出への応用

構造が簡単，制御回路不要，安価

特徴

多軸力（ベクトル量）の計測はできない

分布状態の中心位置とその総和のみを計測限界

アナログネットワーク型まとめ

46



アプリケーション分野例

1. ロボットの人工皮膚用センサ安全 →産業用ロボットへの装着：衝突検知知能化 →触感覚の付与：人間との共存，巧みな動作

2. 医療福祉歩行計測→リハビリ（高齢者，歩行障害者）動作解析→触覚スーツ日常行動の計測運動計測→体育分野での動作解析

3. セキュリティー歩道・床・壁等への配置→移動体検知，個体判別，活動度計測盗難防止→商品陳列棚設置による万引き防止

4. ヒューマンインターフェース全身型タッチ入力装置（触覚スーツ）いろいろなものにスイッチ（壁タッチ，窓タッチ，床タッチ・・）

47



ビデオ集大成

48



9

49



uec 研究の背景 メカトロニクス特論 (1) 触覚情報処 …1 1 uec the university of...

Documents

uec 研究の背景メカトロニクス特論 (1) 触覚情報処 …1 1 uec the university of...