[配布用]松原20151016@matlab expo...
TRANSCRIPT
ロボットハンドと触覚センサーを⽤いた能動的物体認識
1
MATLAB EXPO 2015 JAPAN@東京・ホテル グランパシフィック LE DAIBA16th Nov, 2015(Presentation: 40min)
奈良先端科学技術⼤学院⼤学情報科学研究科
知能システム制御研究室助教 松原崇充
松原崇充の⾃⼰紹介研究⽬的︓⼈や環境と相互作⽤する次世代ロボットの情報処理基盤の構築
– 不確実性を考慮した運動制御– ⼈の意図や環境の状態をセンサから読み取る状態推定
アプローチ︓機械学習, 最適制御,強化学習
学位︓2007年12⽉奈良先端⼤情報科学研究科博⼠後期課程修了– 学⽣時代から現在まで研究科内を渡り歩く
• 修⼠(2003-2005)︓杉本研(制御⼯学), 川⼈研(ATR脳研連携)• 博⼠(2005-2007)︓⼩笠原研(ロボティクス), 川⼈研• 助教1(2008-2010)︓⽊⼾出研(画像処理)• 助教2(2011-現在)︓杉本研(制御⼯学)
– 海外研究滞在• 英エディンバラ⼤学(2009年2⽉〜3⽉)• 豪シドニー⼯科⼤学(2011年11⽉〜12⽉)• 蘭ラドバウド⼤学(2013年1⽉〜2014年1⽉)
現在取り組んでいる研究テーマ
3
外⾻格歩⾏⽀援(ATR)
触覚物体認識
着⾐⽀援移動⽀援(シドニー⼯科⼤)
環境や⼈との相互作⽤を完璧に把握することは難しい 不確実環境下における意思決定(制御)技術が重要
移乗⽀援
得意とするアプローチ
4
機械学習(確率推論)
制御⼯学(確率最適制御)
制御⼯学(確率最適制御)
ロボット⼯学(剛体リンク系)
ロボット⼯学(剛体リンク系)
1. 機械学習を使ってデータから種々の不確実性を問題設定に取り込む
2. 不確実性を考慮したロボットの運動計画・制御
Robotics System Toolbox™
Optimization Toolbox™
Main CPU with GPGPU
Robot Hand (CPU2)
Parallel Computing Toolbox™
Globaloptimization
toolbox
MATLAB
Real-timecontroller
Gloveprocessing
Real-timeController
Tactile pre-processing(ADC etc.)
FSR Sensor Module (Raspberry Pi, CPU4)
Turntablecontroller
Robot Arm (CPU3)
Image pre-processing
NODE NODE NODE NODE
NODE
NODE
NODE
Ethernetimage
state pose position pressure
state
知能システム制御研究室のロボットシステム
ロボットはROS, 機械学習はMATLABROS-MATLAB間のI/Oインタフェースは2015aよりリリースされたRobotics System Toolbox™を利⽤
ロボット+機械学習+ROS+MATLAB
®
不確実性に対処する⾏動戦略
1. 不確実性を考慮して最適な⾏動を計画 不確実なところは避ける 最悪状況でもタスク達成する保守的な解を選ぶ
2. 探索⾏動により不確実性を減らしてタスク実⾏ 不確実性を減らすための情報を収集し後のタスク
達成度を上げる迅速かつ効率的な探索⾏動をどう設計するかが鍵
6
研究事例紹介• ロボットハンドと触覚センサによる能動的探索⾏動設計
[Tanaka et al. IROS2014, Humanoids2014]
7
触覚情報(圧⼒・温度・振動など)から事前知識内のどれであるかを認識
︖ ・・・
⽬的︓認識の不確実性を「素早く」減らす探索⾏動の設計⽅法の確⽴
Shadow Dexterous Hand
3本指、12関節 (⼈差指3, 薬指3, 親指4, ⼿⾸2)空気圧⼈⼯筋⾁駆動(定格35kPa, 拮抗配置)
計32本*の筋⾁を搭載
* ⼿⾸第1関節に8本、第2関節に4本,、他は2本
各バルブは1kHzで制御各指先にはBioTacセンサを搭載位置制御に加えバルブの直接制御も可能
ゴム・空気の柔らかさ ⾼いコンプライアンス
BioTac
圧⼒・振動・温度・ひずみの情報を取得可能表⾯には⼈⼯の指紋
→振動センサで『ざらざら』などの特徴を取得し材質の同定などに利⽤可
ハンド経由で情報を取得
表⾯︓ゴム、中⾝︓液体なので柔らかい
探索⾏動設計の難しさ (1/2)1. 物体・⾏動・触覚の関係性モデリングは困難
- 空圧ゴム⼈⼯筋のプロセスノイズ- 触覚センサの観測ノイズ
10
我々のアプローチ︓機械学習によるデータからの確率的モデリング
同じ⾏動・違う物体
時間
⼒
*⼒はElectrodeの値を表⽰
違う⾏動・同じ物体押す⼒︓強
押す⼒︓弱
時間
⼒
探索⾏動設計の難しさ(2/2)
11
2. 認識に有益な探索⾏動が1つに定まらない– 「迷っている物体集合」を触覚で区別できるのが有益な⾏動– 物体集合に応じて設計する必要
我々のアプローチ︓⾏動設計 認識更新 ⾏動設計 … の逐次的処理
A B C
A, Cを⾒分ける⾏動 強く押すB, Cを⾒分ける⾏動 表⾯をなぞる
提案⼿法の処理の流れ
12
事前知識を初期信念として与える
︖
探索⾏動を実⾏し触覚情報を得る
信念を更新する
平均の最近傍の物体として認識結果を得る
物体パラメータ空間
現在の信念を基に能動的に探索⾏動を計画する
[IROS2014, Humanoids2014]
各要素の数理的概要1. 物体認識の不確実性︓ エントロピー(平均情報量)
2. 探索⾏動の評価基準︓ 触覚yによるエントロピーの減少量(相互情報量)
3. 探索⾏動の選択︓相互情報量が最⼤となる⾏動を最適化で⾒つける
4. 信念の更新︓新たに得られた観測から信念をベイズ推定
13
物体パラメータ
信念
積分計算は⼀般に困難 Gaussian Processを使った効率的な近似計算⼿法を採⽤
Gaussian Process (ガウス過程)• 最も基本的な確率過程
– ガウス分布はスカラーやベクトルの確率変数を記述するのに対し、ガウス過程は関数の確率的な性質を記述
– 平均関数と分散関数で決定
• ベイズ推論の事前分布に⽤いると回帰・分類・次元削減などの機械学習アルゴリズムが導出できる
14
平均関数 分散関数
Gaussian Process Regression
15
事後分布(ガウス分布)
平均分散
訓練データ︓
事前分布︓すべてのデータはGPから⽣成されたと仮定
試験データ︓
試験⼊⼒に対する出⼒の予測分布が解析的に導出できる
MATLAB1次元GPデモ• ⽥中⼤介君作
16
デモ表⽰
GP触覚モデル
17
センサデータ⾏動パラメータ
物体パラメータ
物体・⾏動の2因⼦を⼊⼒とする触覚センサモデルをGPで学習
ガウスノイズ
グラフィカルモデル
様々な物体を触って収集された触覚データから学習される
物体パラメータはどう設定するか︖
18
物体パラメータは先験的には得られない
我々のアプローチ︓機械学習でデータから⾃然に決める︕ GPに基づく教師無し特徴抽出によるアプローチ(GPLVM)
E.g., 物理パラメータに基づく定義
• 形状• 質感• 材料
→ ⾼次元情報のためその後の処理に望ましくない
物体パラメータ
ガウスノイズ
センサデータ⾏動パラメータ
物体パラメータ
教師無し学習による特徴抽出
19
⾏動により条件付けされた観測空間
触覚情報からの教師なし学習による抽出→ GP-LVM(Lawrence, 2005)
に基づく多様体学習法
触覚センサ空間 物体パラメータ空間
計算効率や汎化性の向上が期待できる
Analytic Moment-based GP Filter
20
以下条件下での厳密な平均・分散を持つガウス近似1.Square Exponential カーネル関数を使⽤2.事前分布がガウス分布
事後分布︓
同時分布︓
周辺分布︓
(Deisenroth et al. ICML2009)
GPR
GPRGPR
相互情報量の計算
21
(Saal et al. AISTATS2010)
前スライドの近似を⽤いて
GPRGPR
探索⾏動計画と信念更新
22
最適探索⾏動計画• 相互情報量の最⼤化による⾏動の最適化
• ベイズ則と線形化に基づく逐次更新物体信念の更新
現在の物体の信念がガウス分布なら代数計算で近似解が求まる
実験システム
23
物体リスト
24
stainless cup stainless bottlewooden container
polypropylene container
textured glass glass plastic cup paper cup
rough ceramiccup
smooth ceramiccup
ラベル付き訓練データ収集
25
動画再⽣
GP触覚モデルと物体パラメータの同時学習の様⼦
26学習される物体パラメータ 評価関数(周辺尤度)の推移
動画再⽣
結果
27
動画再⽣
各⾏動の分析
28
ツルツル・ざらざらの湯呑を区別するために物体表⾯を探索
動画再⽣
各⾏動の分析
29
紙・プラスチックコップを区別するために物体の硬さを探索
動画再⽣
認識結果の詳細
30
(10回平均)
探索回数
Rate=67%
認識
率
Reco
gniz
ed a
sTrue object
成功回数(10回中)
⼈間も間違えそうな物体間で誤認識が起こっている
まとめ• ロボットハンドと触覚センサを⽤いた能
動的物体認識= ロボット+機械学習+ ROS+MATLAB
• 実験による有効性検証
31
• 時間が許せば…
32
触覚探索による物体表⾯形状の⾼速推定[SCIʼ15, SIʼ15]
33
• 物体形状推定︓触って物体の表⾯形状を推定する
〜 〜
タッチによって形状推定
提案⼿法の概要︓1. GPRで物体形状(平均)と不
確実性(分散)を表現2. 不確実性が⾼くかつ素早く
タッチできる箇所を探索
タッチを重ねるごとに真の形状に近づく
形状0 (外側)
0 (内側)
0 (曲⾯上)陰関数表現
GP形状陰関数モデル
新規性は「素早さ」を考慮したこと 実⽤性向上
シミュレーション結果34
形状の外側
形状の内側
不確実性 低
不確実性 ⾼
不確実性 低
不確実性 ⾼
⼊⼒した座標に対して形状の外側/内側かを推定
形状推定 :
推定した形状特徴量 推定の不確実性推定形状
形状推定の様⼦
シミュレーション
実環境実験
35
現在は2次元平⾯に焦点
ロボットハンド
タッチセンサ物体
圧⼒センサ(8個)
磁⽯
感圧部分
ロボットハンド
実環境実験
36
現在は2次元平⾯に焦点
こちらもRobotics System Toolbox™を活⽤☺
動画再⽣
謝辞• ⽥中⼤介君(D3)
– 物体認識の主担当
• 柴⽥耕太郎君(M2)– 形状推定の主担当
• 杉本謙⼆先⽣
37