A Robust Visual Odometry and Precipice Detection System Using Consumer-grade Monocular Vision

International Conference on Robotics and AutomationBarcelona, Spain, April 2005Jason Campbell (Intel Research Pittsburgh, CMU),Rahul Sukthankar (Intel Research Pittsburgh, CMU), Illah Nourbakhsh (NASA Ames Research Center, CMU), Aroon Pahwa (CMU)

Introduction

視覺機器人已長期研究 連續影像 運用視覺進行機器人定位與繪製地圖

Introduction

單視覺 良好真實環境表現 低實做複雜度

平價 webcam 一般電腦平台皆能有高效率

ALGORITHM

1. 取得影像並修正失真 2. 由連續影像計算 optical flow field 3. 去除不必要的 optical flow field 4. 由 optical flow field 分出地面與天空 5. 由天空物體座標變化計算轉向 6. 由地面物體座標變化計算位移 7. 由以上資訊定位機器人位置 8. 週期性補充 active trackpoints 保持資訊足夠

ESTIMATING THE OPTICAL FLOW FIELD

Lucas–Kanade Optical Flow Method (1981) 刪除小變化特徵

SCREENING TRACKPOINTS FOR QUALITY

低對比 低特徵 失真… 等等先天造成 tracking errors

動態物體 物體超過影像 or 鏡像問題 人肢體動作

SCREENING TRACKPOINTS FOR QUALITY

Smooth! 機器人影像應該 smooth

若因機械動作而不 smooth 也可預測 檢查 unsmooth 的追蹤點

( 七頁 , 三頁 , 一頁判斷 , 30 度角變化 )剔除該回合

加權系統

ESTIMATING ROBOT MOTION

ESTIMATING ROBOT MOTION

ESTIMATING ROBOT MOTION

DHtan

ESTIMATING ROBOT MOTION

2tan2tan

VFOVVv

V is the vertical dimension of the image in pixels

ESTIMATING ROBOT MOTION

α

ESTIMATING ROBOT MOTION

α

tan

Hy

ESTIMATING ROBOT MOTION

α

sin

H

ESTIMATING ROBOT MOTION

sin

cosHz

ESTIMATING ROBOT MOTION 旋轉：畫面所有景物皆大幅度同向變化 平移：越靠近物體移動越明顯

　　　

ESTIMATING ROBOT MOTION 觀察地平線上的物體作為旋轉參考 觀察近機器人的物體作為平移參考

地平線附近的物體捨去避免計算錯誤 失效環境

DETECTING HAZARDS

障礙物或懸崖在畫面中會是不同深度的物體但並沒有詳細重建畫面深度

將畫面切割為小區塊個別處理 障礙物獲懸崖會與週遭物體有不同 optical flow

DETECTING HAZARDS

DETECTING HAZARDS