Восстановление трехмерных сцен с помощью методов...

Восстановление трехмерных сцен на основе алгоритмов факторизации: принцип работы и оценка погрешностей

НН.. ВВ.. СвешниковаСвешникова,, студентка МФТИстудентка МФТИ, , sveshnikova_n@list.ruДД.. ВВ.. ЮринЮрин, к.ф.к.ф.--м.нм.н., ., начнач. отдела (НПП ОПТЭКС). отдела (НПП ОПТЭКС),, yurin_d@inbox.ru

МОСКОВСКИЙ ФИЗИКО-ТЕХНИЧЕСКИЙ ИНСТИТУТ

Российское авиационно-космическое агентствоФедеральное государственное унитарное предприятие

НПП ОПТЭКС

Наиболее типичные задачи восстановления трехмерных сцен:

Восстановление земного рельефа по аэрокосмическим изображениям для нужд картографии и мониторинга промышленных объектов и чрезвычайных ситуаций.Восстановление плана помещений по изображениям, полученным с цифровых фотоаппаратов и кинокамер для нужд перепланировки и оборудования промышленных помещений и архитектуры.Системы зрения мобильных роботов.

Разные подходы – разные входные данные

Восстановлениетрехмерной сцены по

стереопаре

Восстановлениетрехмерной сцены наоснове факторизации

2 цифровыхизображения

цифровыхизображений20≥

Камеры калиброваны свысокой точностью

Калибровки камер нетребуется

Нет предварительнойобработки изображений

Предварительнотребуется выделитьхарактеристические

отметки на изображениях

Разные подходы – разные выходные данные

Восстановлениетрехмерной сцены по

стереопаре

Восстановлениетрехмерной сцены наоснове факторизации

Плотное восстановлениеповерхности сцены(для каждого пикселяизображения)

Трехмерные координатыхарактеристических

отметок

Трехмерные координаты иориентации всех камер

Погрешностивосстановления всех

восстановленных величин

Возможности комбинирования различных подходов

Восстановлениетрехмерной сцены по

стереопаре

Восстановлениетрехмерной сцены наоснове факторизации

Плотное восстановлениеповерхности сцены

(для каждого пикселяизображения)

Трехмерные координаты,ориентации всех камер ипогрешности величин

цифровыхизображений

20≥ Выделениехарактеристических

отметок на изображениях

Комбинирование подходов нуждается в утвердительном ответе на следующие вопросы:

Способен ли алгоритм проинформировать о невозможности восстановить сцену?

Можно ли, кроме восстанавливаемого результата, получить точность восстановления этого результата? (анализ a posteriori)

Можно ли, если заранее известны характеристики сцены и параметры ее съемки, не проводя громоздких расчетов, определить применим ли алгоритм? (анализ a priori)

Восстановление на основе факторизации

Cps

cick

cj

fifj

1+fi1+fj

2+fi2+fj

...

...

...

...

...

...Объект Камерыf

1+f

2+f

Последовательностькадров

...

... f

1+f

2+fВосстановленные образыобъекта и положений камер

( )( ) ( )

( )( ) ( )( )...,

,,...

22

1 1

pfpf

pf

fpfp

vu

vuvu

pf

++

+ +

АлгоритмФакторизации

i

k

j

Трекер

Постановка задачи (Перспективная проекция).

fl

fpfp vu ~,~

fj

fk

fift

ps

pz

ci

cjck

),( pp yx

),,( ppp zyx

Мироваясистемакоординат

Передняяплоскость

изображения

Характеристическаяточка на объекте

Линза

Математическое представление модели.

( ),2tg21

~

,)()(

,)()(

max fefp

ff

fpf

fpfffp

fpf

fpfffp

Nul

g

gvgu

β==

−

−=

−

−=

tsktsj

tsktsi

( )f

fff g

ztk ,' −=

⎪⎩

⎪⎨⎧

−=−=

⎪⎩

⎪⎨⎧

==

⎪⎩

⎪⎨⎧

+=

+=

,;

,

'

'

'

'

ffff

ffff

fff

fff

fpffp

fpffp

zyzx

zz

где

yv

xu

tjti

jnim

sn

smВВ приближении МОП:приближении МОП:

((11))

(2)(2)

В матричной форме: W = MS + T, (3)где

Математическое представление модели.

,

FPF1

FPF1

1P11

1P11

vvuu

vvuu

W

L

L

MM

L

L

= ,

TF

TF

T1

T1

nm

nm

M M= ,

F

F

1

1

yx:yx

T =

.P1 s...sS =

Принцип метода факторизации.

W’ = W-[1…1]T=MS

SVD: (4)

U, V - ортогональные матрицы,

, n = min(2F, P),

- сингулярные числа матрицы W

Разложение не единственно:

3'rank3rank,3rank ≤⇒≤≤ WSM

SMVUVUW TT ))=ΣΣ=Σ= ))(('

( )ndiag σσ ...1=Σnσσ ...1

,))(()(' 11 MSSQQMSQQMSMW ==== −−))))))

Принцип метода факторизации. (продолжение)

В силу ортонормированности базисных векторов КСК:

(5)

Неоднозначность восстановления формы:

Устранение неоднозначности в первых двух знаках:

(6)

SVDчерезявычисляетс

QизQ

QQQноотноситель

решается

QQ

QQ

QQQQ

TTT

Tf

Tf

Tf

Tf

Tf

Tf

~

~1

,0

,0

11

→=

→

⎪⎪⎩

⎪⎪⎨

⎧

=

=

=−

mm

nm

nnmm

))

))

))))

)111( ±±±diagQ

,],,,[,,000000000 ffffff

T гдеRSRSMRM jikkji ×====((

Итерационный алгоритм в перспективной проекции

).),(('

1)'

)(11(

),),(('

1)'

)(11(

yfpff

fpf

pf

xfpff

fpf

pf

tz

vzg

tz

uzg

+=+

+=+

sjsk

sisk

Т.е. W’=W1 + ξW2, где (8)g/1=ξ

((77))

,)()(

,)()(

fpf

fpfffp

fpf

fpfffp gvgu

tsktsj

tsktsi

−

−=

−

−=

⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜

⎝

⎛

=

FPF

PFF

F

FF

F

F

FPF

PFF

F

FF

F

F

PP

PP

vz

vz

vz

uz

uz

uz

vz

vz

vz

uz

uz

uz

W

'''

'''

'''

'''

22

11

22

11

11

112

1

2111

1

11

11

112

1

2111

1

11

2

sksksk

sksksk

sksksk

sksksk

L

L

MLMM

L

L

2W((88’)’)

из (3), а

Итерационный алгоритм (продолжение)

WW =1

Структура итерационного алгоритма

W

1

2

3

4

5

6

M, S, T

‘No’

1. Восстановление 3D в МОП, (4)-(5). Найдено приближение величин

2. Одна итерация перспективного алгоритма.1. Вычислить , используя 2. Найти .3. Вычислить .4. Решить задачу в МОП для W’, (4)-(5).

3. . 4. Устранение неоднозначности по z-компоненте

объекта на основании знака ξ.5. Устранение неоднозначности по x, y

компонентам (6).6. Вычисление погрешностей.

ffp z',, ks)/(minarg 1

)(ζζξ

σσξ +=q

21 W WW’ ξ+=

εξξ <− − || )1()( qq

2W

ffp z ',, ks

Разрешимость малой глубины сцены в приближении МОП .

2h

a

fαfr

Рассмотрим объект: две параллельныеплоскости z = h, z = - h, где h мало.

Разрешимость малой глубины сцены в приближении МОП .

Задача может быть разделена на плоскую (h = 0)и добавку:

W’ = MS1 + h MS2, (9)

( ) ( ),, )2()2(2

)1()1(1 P1P1 s...sSs...sS ==

Tp

Tppp syxs )1,0,0(,)0,,( )2()1( ±==

Идеальная матрица и реальная матрица

Реальная матрица всегда содержит шум (по крайней мере шум оцифровки ±ρ ∼1/N),

т.е. W’real = W’+ω, (10)

где ω – матрица шума:

.02

1;2

1 2

1 1

22

1 1

22 ==== ∑∑∑∑= == =

F

i

P

jij

F

i

P

jij FPFP

ωωρωω

Критерий разрешимости малой глубины сцены.

где - z-компоненты векторов , задающих правую ортонормированную тройку координат,

ρ – определяет величину дисперсии шума

( )∑=

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛+⎟

⎟⎠

⎞⎜⎜⎝

⎛=

==

>

F

zfzfcf

f

n

n

jizg

FJгде

JFPhFP

1f

22

2

223

22

3

1

,2

;

σρσ

σσ

zfzf ji ,

(11)

(12)

Пусть - радиус-вектор, определяющий положение камеры. Т.к камера всегда направлена на центр масс объекта, тогда

Введем закон случайного распределения камер.

Тогда значение J в (8) можно приблизить интегралом:

rr

.||),(),(),( rzrggrjjrii zzzzrrrr

====

)(rrυυ =

( )∫+∞

∞−

+⎟⎟⎠

⎞⎜⎜⎝

⎛= rdrrjri

rrgJ zz

rrrrr

r)()()(

||)( 22

2

υ

Использование критерия для априорной оценки возможности восстановления сцены

Оценка величины дисперсии шума

В данной модели рассматривался только шум дискретизации изображения. Дополнительный шум не вносился. Тогда:

,13.0121111

2/1

2/1

2

NNdxx

ND

N≈=== ∫

−

ρ

Здесь N – количество пикселей в строке изображения; D - средняя погрешность определения истинного положения точки в пределах одного пикселя.

Оценка погрешностей восстановления формы сцены и ориентации камер

Выдвинем гипотезу: , где

минимальная разрешимая глубина сцены

определяется из условия

тогда гипотеза может быть переформулирована следующим образом

(13)

nσσ =3

3σσδ n

hh=

hh δ~min

minh

Связь матриц M и S

Решение задачи путем сингулярного разложения матрицы

Есть по сути метод наименьших квадратов с регуляризацией:

Наличие шума вносит неоднозначность в восстановление M и S.

Обозначим погрешности и тогда

ω+= 0' WW

ω≤⋅− SMW sSM'min

,

0≠ω

SδMδ

SMSMSMSSMMW δδδδ ⋅+⋅+⋅≈+⋅+= )()('

Связь матриц M и S (продолжение)

При условии и противоположных знаках и погрешности формы и движения компенсируют друг друга; Т.к. погрешность восстановления формы наиболее велика в генеральном направлении наблюдения, будем оценивать только третью компоненту тогда и можно выразить погрешность

движения камер:

(14)

TS ],,[ zδS00=δ

|||||||| SMSM δδ ⋅≈⋅SM δδ

3σσδ n

SS

=

3σσδ n

zM ⋅≈ m

Оценка погрешности ориентации камер

Построим матрицу как приращение матрицы М:

(15)

получим выражение для нормы:

(16)

МδТ

FF

FF

F

F

zg

zg

zg

zgМ ⎟⎟

⎠

⎞⎜⎜⎝

⎛= jiji δδδδδ ...1

1

11

1

1

( )∑=

+⎟⎟⎠

⎞⎜⎜⎝

⎛=

F

fff

f

f

zg

M1

22

2

2|||| ji δδδ

Оценка погрешности ориентации камер (продолжение)

Так как и , то есть

ограниченно, а знакопостоянно, то, по

теореме о среднем, существуют и такие,

что

(17)

[ ]20

2 ,0 ii δδ ∈f [ ]20

2 ,0 jj δδ ∈f

( )2/ ff zg2iδ 2jδ

( )∑=

⎟⎟⎠

⎞⎜⎜⎝

⎛+=

F

f f

f

zg

M1

2

222|||| ji δδδ

Оценка погрешности ориентации камер (продолжение)

Полагая погрешность детектора равновероятной и статистически независимой вдоль строк и столбцов изображения, получим и

(18)

- дисперсия погрешности восстановления ориентаций камер

22 ji δδ ≈

∑=

⎟⎟⎠

⎞⎜⎜⎝

⎛=

F

f f

f

zg

M1

2

22 2|||| jδδ

2jδ

Оценка погрешности ориентации камер (продолжение)

среднеквадратичная угловая ошибка определения ориентации камер.

Тогда, т.к

то

Окончательно

(19)

2jδϑ =j

( ) ∑∑==

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛

⎟⎟⎠

⎞⎜⎜⎝

⎛=⎟

⎟

⎠

⎞

⎜⎜

⎝

⎛+⎟

⎟⎠

⎞⎜⎜⎝

⎛=

F

cf

fF

ffcf

f

zg

zg

M1f

2

1f

22

2

2|||| ji

|||||||| MM jϑδ ≈

3|||| σσ

ϑ nj M

⋅= zm

Схема анализа алгоритмов

1. Построение трехмерной модели в Matlab в виде сетки характеристических точек.

2. Вычисление изображения модели с привнесением шумов и погрешностей оцифровки.

3. Восстановление трехмерного образа модели алгоритмами перспективной проекции и в приближении МОП программой С++ .

4. Вычисление погрешностей восстановления

5. Сравнение полученных погрешностей с теоретическими оценками

;

;

Модельные данные: «Рельеф»

R

Hαrrrr

a

Зависимость третьего сингулярного числа от глубины сцены

N = 2000 пикселей

1. сингулярное числоисходной матрицы W’.

2. сингулярное число, матрицы W’ после выполнения итераций.

3. сингулярное число, вычисленного подстановкой параметров модели

Зависимость третьего сингулярного числа от разрешения изображения в пикселях

h = 0.1 км; a = 2 x 2 км

1. сингулярное числоисходной матрицы W’.

2. сингулярное число, матрицы W’ после выполнения итераций.

3. сингулярное число, вычисленного подстановкой параметров модели

Зависимость шумового сингулярного числа от глубины сцены

N = 2000 пикселей

1. сингулярное числоисходной матрицы W’.

2. сингулярное число, матрицы W’ после выполнения итераций.

3. сингулярное число, вычисленного подстановкой параметров модели

Зависимость шумового сингулярного числа от разрешения изображения в пикселях

h = 0.1 км; a = 2 x 2 км

1. сингулярное числоисходной матрицы W’.

2. сингулярное число, матрицы W’ после выполнения итераций.

3. сингулярное число, вычисленного подстановкой параметров модели

Зависимость абсолютной погрешности восстановления формы от глубины сцены

N = 2000 пикселей; 1, 2. среднеквадратичные

погрешности, для приближения МОП и перспективной проекции.

3, 4. оценки погрешностей через сингулярные числа матрицы W до и после итераций.

5. Подстановка параметров модели в выражения для сингулярных чисел.

Зависимость абсолютной погрешности восстановления формы от разрешения изображения в пикселях

h = 0.1 км; a = 2 x 2 км

1, 2. среднеквадратичные погрешности, для приближения МОП и перспективной проекции.

3, 4. оценки погрешностей через сингулярные числа матрицы W до и после итераций.

5. Подстановка параметров модели в выражения для сингулярных чисел.

Зависимость абсолютной погрешности восстановления ориентации камер от глубины сцены

N = 2000 пикселей.

1, 2. среднеквадратичные погрешности, для приближения МОП и перспективной проекции.

3, 4. оценки погрешностей через сингулярные числа матрицы W до и после итераций.

5. Подстановка параметров модели в выражения для сингулярных чисел.

Зависимость абсолютной погрешности восстановления ориентации камер разрешения изображения в пикселях

h = 0.1 км; a = 2 x 2 км

1, 2. среднеквадратичные погрешности, для приближения МОП и перспективной проекции.

3, 4. оценки погрешностей через сингулярные числа матрицы W до и после итераций.

5. Подстановка параметров модели в выражения для сингулярных чисел.

Практическое использование полученных оценок погрешностей. Априорный анализ

Применимость: известны среднестатистические характеристики сцены и условий съемки.

На стадии конструирования аппаратуры и/или планирования съемки, варьируя расстояние до объекта, разрешение камеры и диапазон углов, с которых производится съемка могут быть оценены погрешности, которые следует ожидать. Формулы (12), (13), (19).

Практическое использование полученных оценок погрешностей. Апостериорный анализ

Применимость: восстанавливается неизвестная сцена. Определена фактическая точность детектора μ.

Убедиться, что после последней итерации (после выполнения линейного алгоритма) больше, а

не превосходит по порядку величины шумового значения , полученного на стадии калибровки детектора.

Если выполнено, следует вычислить погрешности формы и ориентации камер, используя величины сингулярных чисел. Формулы (13), (19).

3σ4σ

nσ

Заключение

Предложен критерий (11) априорной оценки разрешимости задачи восстановления сцены малой глубины и для него построены оценка погрешности оцифровки и оценка снизу , в приближении сцены малой глубины. Точность оценки шумов не хуже 60%, точность оценки не хуже 15%.

В приближении сцены малой глубины получена оценка погрешностей восстановления формы объекта и ориентаций камер (13), (19). Оценки являются завышенными примерно в 2 раза.

3σ

3σ

Литература

1. Conrad I. Poelman, Takeo Kanade. A Paraperspective Factorization Method for Shape and Motion Recovery, 1993http://www.ri.cmu.edu/pubs/pub_1189.html, http://www.ri.cmu.edu/people/person_136_pubs.html

2. Н. В. Янова, Д.В. Юрин. Итеративный алгоритм восстановления трехмерных сцен, движения и фокусного расстояния камеры в перспективной проекции, основанный на факторизации матриц, 2002. http://www.graphicon.ru/2002/pdf/Yanova_Re.pdf

3. Joao Paulo Salgado, Arriscado Costeira. A multi-body Factorization method for motion analysis, 1995. http://omni.isr.ist.utl.pt/~jpc/pubs.html

4. Н. В. Свешникова, Д. В. Юрин. Априорный и апостериорный расчет погрешностей восстановления трехмерных сцен алгоритмами факторизации. //Программирование 2004, Т.30, №

5, С. 48-68.