第５回

両眼立体視と明るさ解析

Marr のパラダイム

3D 　表現

2-1/2D 表現

2D 画像

融合・内そう

明るさ 模様 線画 両眼 動き

世界座標系表現

観測者中心座標系表現

3D 特徴抽出モジュール

話題

1. 基本概念2. 両眼立体視基本方程式3. エピポーラ線4. 照合のための特徴と戦略

両眼立体視

一枚の画像ではあいまい

A

２箇所の異なった場所からの画像より３次元位置が決定

a’a”

エピポーラ線

エピポーラ面

エピポーラ拘束

対応する点はエピポーラ線上に存在

基線

画像中の１点可能性のある視線

エピポーラ拘束

エピポーラ線の特性

•正規化

ステレオ方程式物理点

焦点距離

右画像点

z

左画像点

基線長

右画像面左画像面

世界座標左画像中心右画像中心

ステレオ方程式

z=-2df/(x”-x’)x”-x’: 視差2d : 基線長

x” x’

-z

fd d

z

d + x

)("

"

dxz

fx

f

x

z

xd

d - x

)('

'

dxz

fx

f

x

z

xd

dz

fdxdx

z

fxx 2)('"

ステレオの分類Marr-PoggioMarr-Poggio-GrimsonNishihara-Poggio

Lucas-KanadeOhta-KanadeMatthie-KanadeOkutomi-Kanade

BakerHannahMoravec

Barnard-Thompson

MIT group

CMU group

Stanford group

照合特徴a. 明るさ

b. エッジ

c. エッジ間距離

d. インタレスト点

10 11 1210 11 12

10 11 1210 11 1211 15 16

a. 弛緩法

b. 階層法

c. DP 法

local optimam local optimam

照合戦略

global optimam

),(),()(),,( 32321211321 xxfxxfxfxxxf

10 10 1010 5 1010 10 10

10 10 1010 5 1010 10 10

10 10 1010 10 1010 10 10

例１：領域ベースステレオ1. 手法

b c

b

c

2. 問題点a. 窓の大きさと解像度b. ピークのなまり

b c

領域ベースステレオハードウエア

小松製　 9眼ステレオ

領域ステレオ処理結果

窓内明るさ照合 エピポーラ拘束 視差限界

明るい点：　近い、暗い点：遠い 窓処理のため周辺で拡大 視差制限のため背景がノイズ

入力画像列 出力（距離画像）

例２： Marr-Poggio ステレオ

人間の両眼立体視機構をシミュレートする( ランダムドットステレオグラム )

ランダムドット立体視

人間が立体視すると動いた部分がせりあがって板が見える

パッチ内のドットを平行移動あいた部分にはドットでうめる

左画像 右画像

拘束（その１） エピポーラ拘束：　　　　　 2 次元探索ー＞１次元探索

拘束（その２） 唯一性拘束 (Uniqueness Constraint):

画像中の 1 点は１つだけの距離値を持つ

可不可

例：　水面と水中の石

拘束（その３） 連続性拘束 (Continuity constraint) ：　　　隣あった点は同じような距離値を持つ

可不可

アルゴリズムの定式化 エピポーラ拘束：　２ D 　－＞　１ D

D E F

A

B

C

視線の関係図

ABC

D E F

アルゴリズム表現

各ノードを仮想的な神経細胞と考える各ノードの興奮状態で面の存在を記述

唯一性拘束のアルゴリズム化

同一の視線上で 1 つ以上のノードの興奮を禁止

同一視線（水平線と垂直線）にそって興奮細胞が抑制信号を送る

(E-A)

(E-B)

(E-C)

prohibit

A

B

C

連続性拘束のアルゴリズム化

同一視差での興奮を励起 同一視差（斜め線）にそって興奮細胞

が興奮信号を送る

(D-A)

(E-B)

(F-C)同一視差

全体の定式化

Pr

''''1

''''

),(),(),(ji

nExji

nn jicjicjic

斜めよりの興奮信号 水平・垂直よりの抑制信号

閾値関数

照合戦略（弛緩法）

10 10 1010 5 1010 10 10

10 10 1010 10 1010 10 10

10 10 1010 5 1010 10 10

Pr

''''1

''''

),(),(),(ji

nExji

nn jicjicjic

ランダムドット

得られた距離

参考文献（両眼立体視）

Marr, D. and Poggio, T., “Cooperative computation of stereo disparity, Science 194, 283-287

Ohta, U., and Kanade, T. “Stereo by intra and inter-scanline search,” IEEE Trans PAMI-2, No.2, pp. 139-140.

Moravec, H. “Visual mapping by a robot rover,” Proc. IJCAI, pp. 598-600

Marr のパラダイム

3D 　表現

2-1/2D 表現

2D 画像

融合・内そう

明るさ 模様 線画 両眼 動き

世界座標系表現

観測者中心座標系表現

3D 特徴抽出モジュール

明るさ解析

表面反射と内部反射

表面反射　 = 　　ハイライト、光源色、偏光、高い方向性内部反射 = 物体色、　非偏光、全ての方向へ プラスティックや塗装面は両方の反射があり 金属面は表面反射のみ

物体内部

外部

入射光表面反射 内部反射

内部色素

物体表面

内部反射のモデル拡散反射 --- 全ての方向に反射一般的な近似 :

全ての方向に同一の明るさ完全拡散反射ランバートのコサイン法則

反射の強さ = 係数 * 幾何項f (i,e,g) = Kb * cos i

なぜ cos i ? 入力角が入射エネルギーの密度に影響する　照度＝エネルギー／面積　エネルギー　＝　１　面積　＝　１／ cos i　照度＝　 cos i

内部反射モデル

(p,q) 　に対して N= (p,q,1) 光源方向ベクトル S=

11

1

cos),,,(

2222

ss

ss

ss

qpqp

qqpp

SNiqpqpR

)0,0(),( ss qp

1

1),(

22

qpqpR

)1,,( ss qp

等照度曲線

p

q

0.5

0.80.9

p

q

光源と観測者位置が異なる場合 Lambertian （均等拡散面）

Self-shadow line自分自身の陰になり光が照射されない

p

q

11

1

cos),,,(

2222

ss

ss

ss

qpqp

qqpp

SNiqpqpR

p

q

明るさ解析問題

内部反射の明るさは，面の傾きにのみ依存する　⇔　明るさ情報から物体形状（面の傾き）が特定できる

明るさ方程式　 E(x,y)=R(p,q) 　

明るさ方程式は、グラディエント空間に拘束を１つ与えるだけ　＝＞　未知数の方が多い！

p

q0.8

(p,q,1)0.8明るさ情報 面の傾き

等照度曲線

照度差ステレオ

•１つの明るさ方程式は 1 つの拘束--- > 複数の方程式を得る！

•視点を変えずに光源方向のみを変えた画像を複数枚撮る•光源方向に応じて異なった反射率地図が得られる•同一地点で複数の明るさ方程式

p

q

p

q

照度差ステレオ

３枚以上の画像から，その点の傾きを特定できる

解析解

•実世界はもう少し複雑な光源＆反射率地図--- > 参照表法

),,(

),,(

1

1,

1,

1),,(

1

1,

1,

1),,(

3333

2222

21

21

21

21

1

21

21

11111

222222

zyx

zyx

ssss

s

ss

szyx

zyx

SSSS

SSSS

qpqp

q

qp

pSSSS

qpqp

q

qp

pnnnn

nAE

nSE

nSE

nSE

33

22

11

zyx

zyx

zyx

SSS

SSS

SSS

A

333

222

111

EAn

nAAEA

1

11

参照表作り

Ikeuchi & Horn 83

実行時

参考文献（明るさ解析） Horn, B.K.P. “Image Intensity Understainding,” Artificial Intelligence,

Vol 8, pp201-231, 1977 Nayar S.K., K. Ikeuchi, and T. Kanade "Surface reflection: physical an

d geometrical perspectives", IEEE Trans. PAMI, Vol. 13, pp.661-634, 1991.

Horn, B.K.P. & Ikeuchi, K. “The Mechanical Manipulation of Randomly Oriented Bin,” Scientific American, Vol. 251, No.2, pp. 100-111, 1984.

Horn, B.K.P “Obtaining shape from shading information,” in The Psychology of Computer Vision, P.H. Winston (ed.), McGraw-Hill, 1995

Ikeuchi, K. & B.K.P. Horn, “Numerical shape from shading and occluding boundaries,” Artificial Intelligence, Vol. 17, 1981.

Klinker, G.J., S.A. Shafer & T. Kanade, “The measurement of highlight in color image,” Int. J. Computer Vision, Vol.2, 1988.

まとめ 両眼立体視

– 両眼立体視基本方程式– エピポーラ拘束– 照合の特徴と戦略

明るさ解析– 反射率地図の使用法– 明るさ方程式– 照度差ステレオ原理