cv2015. Лекция 1. Понятия и история компьютерного зрения....
TRANSCRIPT
![Page 1: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/1.jpg)
Введение в компьютерное зрение
Антон Конушин
2 марта 2015 года ВМК МГУ имени М.В. Ломоносова
![Page 2: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/2.jpg)
Лектор
• Доцент, к.ф.-м.н., зав. лаборатории компьютерной графики и мультимедиа, каф. АСВК, ВМК МГУ имени М.В. Ломоносова
• Доцент, академический руководитель программы бакалавриата «Прикладная математика и информатика» ФКН НИУ ВШЭ
• Лектор Школы Анализа Данных Яндекс • Научный консультант стартапа
«Технологии видеоанализа» • Руководитель семинара «Компьютерное
зрение» на АСВК E-mail: [email protected]
Антон Конушин
![Page 3: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/3.jpg)
Ассистент
• Студент лаборатории компьютерной графики и мультимедиа ВМК МГУ имени М.В. Ломоносова
• Научные интересы: выделение и распознавание объектов на изображениях
Влад Шахуро
E-mail: [email protected]
![Page 4: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/4.jpg)
План лекции
• Введение • Что такое «компьютерное зрение» и почему это сложно • История и достижения компьютерного зрения • Информация о курсе
• Компьютерное зрение и зрение человека
• Цифровое изображение • Глаз человека и цифровая камера • Цвет и модели цвета
![Page 5: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/5.jpg)
1. Что такое «компьютерное зрение» и почему это сложно?
![Page 6: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/6.jpg)
Задача компьютерного зрения Понять, что запечатлено на изображении
Мы видим Компьютер видит Source: S. Narasimhan
![Page 7: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/7.jpg)
Задача компьютерного зрения
• «To see means to know what is where by looking» • David Marr, Vision, 1982
• «Тест Тьюринга» - компьютер должен ответить на
любой вопрос об изображении, на который может ответить человек
• Что это в действительности обозначает? • Зрение - источник семантической информации о мире • Зрение - источник информации о расстояниях и размерах
объектов
![Page 8: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/8.jpg)
Выделение объектов
Здание
Лицо Текст
Лицо
Текст
Человек Человек
Необходимо определить, есть ли на изображении объекты заданного типа и если да, то определить их положение
![Page 9: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/9.jpg)
Классификация изображений • вне помещения • город • Пекин, Китай • Пл. Тяньаньмэнь
Общая характеристика изображения
![Page 10: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/10.jpg)
Характеристики объектов
Наклонная
Анфас
Мао
Профиль
Голубое Ветер слабый
![Page 11: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/11.jpg)
Измерения по изображению
Стерео-зрение Измерения
расстояний по снимкам
NASA Mars Rover
Pollefeys et al.
3D моделирование по снимкам
Goesele et al. Slide: Svetlana Lazebnik
![Page 12: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/12.jpg)
Почему зрение – это сложно?
![Page 13: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/13.jpg)
Michelangelo 1475-1564
slide credit: Fei-Fei, Fergus & Torralba
Точка наблюдения (ракурс)
![Page 14: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/14.jpg)
image credit: J. Koenderink
Освещение
![Page 15: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/15.jpg)
Slide credit: Fei-Fei, Fergus & Torralba
Размер
![Page 16: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/16.jpg)
Xu, Beihong 1943
Slide credit: Fei-Fei, Fergus & Torralba
Деформация
![Page 17: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/17.jpg)
Magritte, 1957
slide credit: Fei-Fei, Fergus & Torralba
Перекрытие
![Page 18: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/18.jpg)
Маскировка
![Page 19: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/19.jpg)
Движение
![Page 20: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/20.jpg)
Внутриклассовая изменчивость
Slide credit: Fei-Fei, Fergus & Torralba
![Page 21: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/21.jpg)
Сложности или возможности? • Изображение запутывает, но дает много
подсказок • Наша задача – интерпретировать подсказки
Image source: J. Koenderink
![Page 22: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/22.jpg)
Цвет
![Page 23: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/23.jpg)
Освещение
Source: J. Koenderink
![Page 24: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/24.jpg)
Текстура
![Page 25: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/25.jpg)
Контекст
Slide credit: Fei-Fei, Fergus & Torralba
Что это?
![Page 26: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/26.jpg)
Интерпретация изображений
• Мы сопоставляем наблюдения (подсказки) и априорные знания для интерпретации изображения
• По оценкам, 25% мозга занято решением задачи зрения • Это типичная задача искусственного интеллекта • Это можно делать с помощью машинного обучения! • Поэтому машинное обучение играет такую большую роль
Image source: F. Durand
• Одно 2D изображение допускает разные 3D интерпретации
• Нужны априорные знания о структуре и свойствах мира
![Page 27: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/27.jpg)
2. История и достижения компьютерного зрения
![Page 28: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/28.jpg)
Камера-обскура
Принцип был известен еще Аристотелю (384-322 до Н.Э.)
![Page 29: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/29.jpg)
“Магический фонарь” (1492)
![Page 30: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/30.jpg)
Живопись Ренессанса
Яна Ван Эйк «Портрет Четы Арнольфини» 1434г
![Page 31: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/31.jpg)
Секреты мастеров
BBC David Hockney’s «Secret Knowledge»
![Page 32: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/32.jpg)
Камера-обскура с линзой (1500-1600е)
http://www.adme.ru/hudozhniki-i-art-proekty/sekretnoe-znanie-543505/
Возможность проецировать изображение на большой холст. Побочный результат – много левшей на картинах
![Page 33: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/33.jpg)
Камера-люцида (1807)
Camera Lucida — устройство, которое представляет собой конструкцию с призмой, которая крепится, например, на стойке к планшету.
Художник, глядя на свой рисунок одним глазом, видит реальное изображение, а другим — собственно рисунок и свою руку. Получается оптическая иллюзия, позволяющая точно переносить пропорции реальные на бумагу.
![Page 34: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/34.jpg)
Первая фотография
Самая первая фотография 1825 год
Требовала 8 часов проявки
![Page 35: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/35.jpg)
Фотограмметрия
1837 – первые практически применимые фотографии
1840 – «Фотограмметрия – будущее геодезии»
Фотограмметрия (Photogrammetry) - измерение расстояний между объектами по 2D изображениям
![Page 36: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/36.jpg)
Видео
1878 – первая скоростная съемка, Eadweard Muybridge
1888 – первое кино на плёнке, Louis Le Prince
![Page 37: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/37.jpg)
Стереофотограмметрия (1896)
Стереокамера и теодолит
![Page 38: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/38.jpg)
Растровый дисплей (1927)
Philo Farnsworth – 60-строчный растровый дисплей
![Page 39: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/39.jpg)
Whirlwind, MIT (1951)
• Первый компьютер, отображающий текст и графику в реальном времени на мониторе
• Точками карту, значком самолёт. • «Световое перо» для взаимодействия с экраном
(запрос информации об объекте)
![Page 40: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/40.jpg)
Зарождение компьютерного зрения (1960)
L. G. Roberts, Machine Perception of Three Dimensional Solids, Ph.D. thesis, MIT Department of Electrical Engineering, 19601963.
![Page 41: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/41.jpg)
SketchPad, MIT (1963)
Ivan Sutherland демонстрирует интерактивный графический редактор SketchPad
![Page 42: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/42.jpg)
Freddy II (1973) • Университет Эдинбурга • Один из первых роботов
с системой машинного зрения
• 5 степеней свободы • Умеет собирать
машинки из кубиков, разбросанных по столу
• 384Кб RAM в управляющем компьютере
![Page 43: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/43.jpg)
Давид Марр (1970е)
• «Primal sketch» • Низкоуровневые («low-level») свойства
изображения: направленные края, отрезки и т.д.
• «2.5D sketch» • Упорядочивание по глубине (бинокулярное
стерое), учёт текстуры и т.д.
• «3D model» • Распознавание объектов и представление о
3х мерном мире
“The Marr Prize” – главная премия в области компьютерного зрения
![Page 44: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/44.jpg)
Детектор лиц Viola-Jones (2001)
Алгоритм Viola-Jones – первый быстрый и надежный алгоритм поиска лиц. Демонстрация силы машинного
обучения.
Source: S. Seitz
![Page 45: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/45.jpg)
Обнаружение лица и улыбки
Sony Cyber-shot® T70 Digital Still Camera Source: S. Seitz
![Page 46: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/46.jpg)
Распознавание текста
FineReader, ABBYY, Россия http://www.abbyy.ru/finereader/
Cognitive Technologies, Россия http://cognitiveforms.ru/products/cogni
tive-forms/
Распознавание текста в произвольных изображениях пока
работает плохо!
![Page 47: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/47.jpg)
Спортивные соревнования
http://www.hawkeyeinnovations.co.uk
![Page 48: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/48.jpg)
Видеонаблюдение
VOCORD Traffic, Vocord, Россия http://www.vocord.ru/218/
Автоматизация видеонаблюдения за счёт видеоаналитики
(в т.ч. в нашей лаборатории)
![Page 49: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/49.jpg)
Биометрия
Кто она?
Source: S. Seitz
![Page 50: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/50.jpg)
Биометрия
“Как девушку из Афганистана идентифицировали по радужке глаза” Читайте историю
Source: S. Seitz
![Page 51: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/51.jpg)
L.A. Noire, Team Bondi/Rockstar, 2011
3D модели и захват движения
![Page 52: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/52.jpg)
Microsoft Kinect (2010)
Первая потребительская система взаимодействия с компьютером с помощью жестов. При создании
использовались суперкомпьютеры
![Page 53: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/53.jpg)
Поиск изображений
![Page 54: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/54.jpg)
Мобильные приложения
www.kooaba.com
Дополненная реальность
![Page 55: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/55.jpg)
Трехмерные карты
Изображение из Microsoft’s Virtual Earth (аналогичные Google Earth)
Source: S. Seitz
![Page 56: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/56.jpg)
Робототехника
Зрение автомобилей от Mobileye
Source: S. Seitz
Перспектива!
![Page 57: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/57.jpg)
3. О курсе
![Page 58: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/58.jpg)
Зачем этот курс?
• Познакомиться с основами компьютерного зрения
• Узнать и попробовать на практике некоторые методы распознавания и машинного обучения
• Научиться работать на Python • Получить оценку за спецкурс
• Результаты курса играют большую роль при
собеседовании в лабораторию компьютерной графики
![Page 59: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/59.jpg)
Структура курса
8 лекций 4 домашних задания на Python Страница курса на сайте: http://машграф.рф/ http://courses.graphics.cs.msu.ru
![Page 60: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/60.jpg)
План курса
• (2 марта )Введение + цвет • Тьюториал по питону (Прокудин-Горский)
• (9 марта) Лекции нет, выходной • (16 марта) Простой анализ изображений
• Распознавание автомобильных номеров/клад (конкурс) • (23 марта) Основы обработки изображений • (30 марта) Классификация изображений и введение в
машинное обучение • Классификация дорожных знаков через HOG + SVM (конкурс)
• (6 апреля) Выделение объектов на изображении • (13 апреля) Нейросетевые алгоритмы
• Детектор объектов - развитие HOG + SVM (конкурс) • (20 апреля) Поиск и большие коллекции • (27 апреля) Распознавание лица человека
![Page 61: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/61.jpg)
Дополнительный практикум
• Детектор объектов с библиотекой P.Dollar • Поиск полудубликатов через GIST и ANN с
библиотекой vlfeat • Перенос выражений лиц c библиотекой intraface +
vlfeat • Задание по нейросетям с библиотекой Caffe
![Page 62: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/62.jpg)
Про группу «компьютерное зрение»
Дорожные знаки
Видеоаналитика «Person of interest»
Построение карт
![Page 63: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/63.jpg)
4. Цифровое изображение
![Page 64: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/64.jpg)
Изображение
Изображение оптическое – картина, получаемая в результате прохождения через оптическую систему лучей, распространяющихся от объекта, и воспроизводящая его контуры и детали. (Физический энциклопедический словарь.)
Оптические системы могут быть очень разными!
![Page 65: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/65.jpg)
Камера-обскура
Математическая модель – перспективная проекция: • Пучок лучей проходит через одну точку (точечное отверстие)
– Эта точка называется «центр проекции» (фокальная точка / focal point)
• Изображение формируется на картинной плоскости (image plane)
Slide by Steve Seitz
• Простейшее устройство для получения изображений
• Основная модель оптической системы получения изображений
![Page 66: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/66.jpg)
Figures © Stephen E. Palmer, 2002
Машина Понижения Размерности
3D мир 2D картина
Что мы теряем? • Углы • Расстояния и длины
Slide by A. Efros
Подробнее геометрическая модель рассматривается
позже
![Page 67: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/67.jpg)
Перспективные искажения
• Крайние колонны кажутся толще • Эти искажения вызваны не погрешностью линз! • Проблема была отмечена еще да Винчи
Slide by F. Durand
![Page 68: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/68.jpg)
Перспективные искажения: Люди
Slide by S. Lazebnik
![Page 69: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/69.jpg)
Современная камера
Тот же самый принцип, но с объективом и цифровой матрицей
![Page 70: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/70.jpg)
Цифровая камера - дискретизация
По пространству По яркости
![Page 71: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/71.jpg)
Цифровое изображение
Функция интенсивности (яркости) канала, заданная на 2х мерной сетке (матрице) Используется дискретное представление
]},[],,[{),,( 1010 yyyxxxyxgI
},1,,1{),,( mjnijigI
![Page 72: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/72.jpg)
Первое цифровое фото (1957)
http://listverse.com/history/top-10-incredible-early-firsts-in-photography/
Slide by S. Lazebnik
Разрешение 176*176 пикселов
![Page 73: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/73.jpg)
5. Цвет
![Page 74: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/74.jpg)
Цветные фотографии??
![Page 75: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/75.jpg)
Что такое цвет? Цвет – это психологическое свойство нашего
зрения, возникающее при наблюдении объектов и света, а не физические свойства объектов и света (S. Palmer, Vision Science: Photons to Phenomenology)
Цвет – это результат взаимодействия света, сцены и нашей зрительной системы
Wassily Kandinsky (1866-1944), Murnau Street with Women, 1908 Slide by S. Lazebnik
![Page 76: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/76.jpg)
Электромагнитный спектр
Мы видим свет именно в таком диапазоне, потому что на него приходится значительная доля энергии солнца.
Human Luminance Sensitivity Function
Slide by S. Lazebnik
![Page 77: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/77.jpg)
Физика света
Любой источник света можно полностью описать спектром: количество излученной энергии в единицу времени для каждой длины волны в интервале 400 - 700 nm.
© Stephen E. Palmer, 2002
Относительная энергия
#фотонов в мс.
Длина волны
![Page 78: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/78.jpg)
# Ph
oton
s
D. Normal Daylight
Wavelength (nm.)
B. Gallium Phosphide Crystal
400 500 600 700
# Ph
oton
s
Wavelength (nm.)
A. Ruby Laser
400 500 600 700
400 500 600 700
# Ph
oton
s
C. Tungsten Lightbulb
400 500 600 700
# Ph
oton
s
Примеры спектров разных источников света
© Stephen E. Palmer, 2002
Rel
. pow
er
Rel
. pow
er
Rel
. pow
er
Rel
. pow
er
Slide by S. Lazebnik
Физика света
![Page 79: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/79.jpg)
Взаимодействие света и объектов
Отраженный свет это результат взаимодействия
излучаемого света и поверхности
Slide by S. Lazebnik
![Page 80: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/80.jpg)
Примеры спектров отраженного света от предметов
Wavelength (nm)
% О
траж
енно
го с
вета
Red
400 700
Yellow
400 700
Blue
400 700
Purple
400 700
© Stephen E. Palmer, 2002 Slide by S. Lazebnik
Физика света
![Page 81: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/81.jpg)
Человеческий глаз
Глаз как камера! • Радужка – цветная пленка с радиальными мышцами • Зрачок - отверстие (апертура), диаметр управляется
радужкой • Хрусталик – «линза», меняющая форму под действием мышц • Где матрица?
– Клетки-фоторецепторы на сетчатке Slide by Steve Seitz
![Page 82: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/82.jpg)
Сетчатка глаза
Свет
• Палочки (Rods) измеряют яркость
• Колбочки
(Cones) измеряют цвет
![Page 83: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/83.jpg)
Восприятие цвета
Палочки и колбочки – фильтры спектра • Спектр умножается на кривую отклика, производится
интегрирование по всем длинам волн – Каждый тип колбочек даёт 1 число
S
M L
Wavelength
Power
• В: Как же мы можем описать весь спектр 3мя числами? • О: Мы и не можем! Большая часть информации теряется.
– Два разных спектра могут быть неотличимы » Такие спектры называются метамеры
Slide by Steve Seitz
![Page 84: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/84.jpg)
Спектры некоторых объектов
метамеры
Slide by S. Lazebnik
![Page 85: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/85.jpg)
6. Цветовые модели
![Page 86: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/86.jpg)
Трихроматическая теория
• Любой видимый «свет» можно описать композицией 3х основных цветов
• Для одного и того же «света» люди выберут одинаковые композиции основных цветов • Исключения: цветовая слепота
• История восходит к 18у веку (Томас Юнг)
![Page 87: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/87.jpg)
Стандартизация восприятия цвета
Экспериментальная проверка трихроматической теории – сопоставление цветов
Foundations of Vision, by Brian Wandell, Sinauer Assoc., 1995
![Page 88: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/88.jpg)
Эксперимент №1
Source: W. Freeman
![Page 89: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/89.jpg)
Эксперимент №1
p1 p2 p3 Source: W. Freeman
![Page 90: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/90.jpg)
Эксперимент №1
p1 p2 p3 Source: W. Freeman
![Page 91: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/91.jpg)
Эксперимент №1
p1 p2 p3
Основные цвета, необходимые для сопоставления
Source: W. Freeman
![Page 92: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/92.jpg)
Эксперимент №2
Source: W. Freeman
![Page 93: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/93.jpg)
Эксперимент №2
p1 p2 p3 Source: W. Freeman
![Page 94: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/94.jpg)
Эксперимент №2
p1 p2 p3 Source: W. Freeman
![Page 95: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/95.jpg)
Эксперимент №2
p1 p2 p3 p1 p2 p3
Мы называем м «отрицательным» весом основного цвета, если цвет нужно добавлять к сопоставляемому свету.
Веса основных цветов, необходимых для сопоставления:
p1 p2 p3
Source: W. Freeman
![Page 96: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/96.jpg)
Линейные цветовые пространства • Определяются выбором 3х основных цветов • «Координаты цвета» задаются весами основных
цветов, необходимых для сопоставления • Каждая координата кодируется 1-2 байтами • Функции сопоставления: веса, необходимые для
сопоставления с когерентными источниками света
Смешение двух основных цветов Смешение трех цветов
![Page 97: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/97.jpg)
Линейные цветовые модели: RGB
• Основные цвета – монохроматические (в мониторе им соответствует три вида фосфоров)
• Вычитание необходимо для соответствия некоторым длинам волны
RGB matching functions
Slide by S. Lazebnik
![Page 98: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/98.jpg)
Цветовой куб и CMYK
• Аддитивная система – RGB • Субтрактивная система – CMY • CMYK для повышения качества
C=G+B=W−R M=R+B=W−G Y=R+G=W−B
CMY
![Page 99: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/99.jpg)
Модель YIQ
В RGB нет отдельной «яркости», что бывает неудобно
![Page 100: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/100.jpg)
Модель HSV (HIS)
Координаты выбраны с учетом человеческого восприятия: Hue (Тон), Saturation(Насыщенность), Value (Intensity) (Интенсивность)
Slide by S. Lazebnik
![Page 101: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/101.jpg)
Перевод из RGB в HSV
![Page 102: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/102.jpg)
Первые цветные фотографии
Сергей Прокудин-Горский (1863-1944) Фотографии Российской империи(1909-
1916)
http://www.loc.gov/exhibits/empire/ http://en.wikipedia.org/wiki/Sergei_Mikhailovich_Prokudin-Gorskii
Ламповый проектор
Slide by А.Efros
![Page 103: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/103.jpg)
Лев Толстой
![Page 104: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/104.jpg)
Цветное цифровое изображение
Source: Steve Seitz
Демозаикинг (оценка пропущенных значений цвета)
Байеровский шаблон
![Page 105: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/105.jpg)
Устранение мозаичности и ошибки
Тонкие черные и белые детали интерпретируются как изменения цвета
![Page 106: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/106.jpg)
7. Фокус внимания
![Page 107: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/107.jpg)
Тест на внимательность
![Page 108: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/108.jpg)
Что мы на самом деле видим
Yarbus, A. L. (1967), Eye Movements and Vision, New York: Plenum.
![Page 109: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/109.jpg)
Плотность палочек и колбочек
Палочки и колбочки распределены неравномерно • Палочки измеряют яркость, колбочки цвет • Fovea («желтое пятно»)– маленькая область(1 or 2°) в центре визуального
поля с наибольшей плотностью колбочек и без палочек • На периферии все больше палочек подсоединены к одному нейрону
Slide by Steve Seitz
cone
rod
pigment molecules
0
150,000100,00050,000
020 40 60 8020406080
Visual Angle (degrees from fovea)
Rods
Cones Cones
Rods
FoveaBlindSpot
# R
ecep
tors
/mm
2
![Page 110: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/110.jpg)
Движения глаз
![Page 111: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет](https://reader030.vdocuments.mx/reader030/viewer/2022013115/55a5efcc1a28ab036b8b4805/html5/thumbnails/111.jpg)
Резюме
• Понятие о компьютерном зрении • История и задачи компьютерного зрения • Устройство глаза и фотокамеры • Трихроматическая теория цвета • Цветовые модели RGB, CMYK, YIQ, HSV