Основы коспьютерного стерео зрения
TRANSCRIPT
![Page 1: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/1.jpg)
Основы компьютерного стерео зрения
Шкловец Артемmachine learning
engineer
![Page 2: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/2.jpg)
Многовидовая реконструкция
![Page 3: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/3.jpg)
Стерео реконструкция
![Page 4: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/4.jpg)
Модель камеры
O – Центр проекции.Лучи от одной точки преломляются в линзе и собираются в другой точке позади линзы
![Page 5: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/5.jpg)
Модель перспективной проекции
![Page 6: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/6.jpg)
Модель перспективной проекции
![Page 7: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/7.jpg)
Однородные координаты
![Page 8: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/8.jpg)
Внутренняя калибровка камеры
Единичная матрица перспективной проекции
Матрица перспективной проекции представляет собой матрицы внутренней и внешней калибровки
![Page 9: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/9.jpg)
Полная матрица внутренней калибровки
![Page 10: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/10.jpg)
Внешняя калибровка камеры
![Page 11: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/11.jpg)
Полная матрица перспективной проекции
![Page 12: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/12.jpg)
Гомография
![Page 13: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/13.jpg)
Калибровка камеры
DLT – метод для нахождения матрицы перспективной проекции
RQ – факторизация для извлечения матрицы внутренней и внешней калибровки Уточнение параметров с помощью методов нелинейной оптимизации ошибки репроэкции
![Page 14: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/14.jpg)
Задача построения стереоизображения
Левое Правое
![Page 15: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/15.jpg)
Ректификация изображений
![Page 16: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/16.jpg)
Эпиполярная геометрия
![Page 17: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/17.jpg)
Эпиполярное ограничение
![Page 18: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/18.jpg)
Примеры эпиполярных линий
Сближающиеся камеры
![Page 19: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/19.jpg)
Стереопара
Примеры эпиполярных линий
![Page 20: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/20.jpg)
Примеры эпиполярных линий
Движение вперед
![Page 21: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/21.jpg)
Эпиполярное ограничение
![Page 22: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/22.jpg)
Фундаментальная матрица
![Page 23: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/23.jpg)
8-ми точечный метод
![Page 24: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/24.jpg)
RANSAC (RANdom SAmple Consensus)
![Page 25: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/25.jpg)
RANSAC общая схема алгоритма
![Page 26: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/26.jpg)
RANSAC пример
![Page 27: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/27.jpg)
Методы получения стереоэффекта
Анаглиф: цветового кодирования изображений, предназначенных для левого и правого глаза.
Поляризационное стерео зрение: Левое и правое стекло пропускает изображение только со своей поляризацией. Делятся на подвиды, использующие линейную и круговую поляризацию.
Активное зрение: Передают изображение на каждый глаз поочерёдно. 3d очки с активным затвором используют в качестве линз жидкие кристаллы, которые способны под воздействием управляющего сигнала с высокой скоростью попеременно закрывать и открывать левый и правый глаз.
![Page 28: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/28.jpg)
Формулы получения анаглифа
Обычный анаглиф
(𝑅𝐺𝐵)=(1 0 00 0 00 0 0)∗(𝐿 .𝑅𝐿 .𝐺
𝐿 .𝐵)+(0 0 00 1 00 0 1)∗(𝑅 .𝑅𝑅 .𝐺
𝑅 .𝐵) Темный анаглиф
(𝑅𝐺𝐵)=(0 ,299 0,587 0 ,1140 0 00 0 0 )∗(𝐿 .𝑅𝐿 .𝐺
𝐿 .𝐵)+( 0 0 00 0 0
0 ,299 0,587 0,114)∗(𝑅 .𝑅𝑅 .𝐺𝑅 .𝐵)
Оптимизированный анаглиф
(𝑅𝐺𝐵)=( 0 , 4154 0,4710 0 ,1669−0,0458 −0,0484 −0,0257−0,0547 −0,0615 0,0128 )∗(𝐿 .𝑅𝐿 .𝐺
𝐿 .𝐵)+(−0,0109 −0,0364 −0,00600 ,3756 0,7333 0 ,0111−0,0651 −0,1287 1,2971 )∗(𝑅 .𝑅𝑅 .𝐺
𝑅 .𝐵)
![Page 29: Основы коспьютерного стерео зрения](https://reader036.vdocuments.mx/reader036/viewer/2022062313/55d03e19bb61eb12788b47f7/html5/thumbnails/29.jpg)
Пример Анаглифа