Лекция № 2 Что такое augmented reality?a0601.narod.ru › arlct02.pdf ·...
TRANSCRIPT
![Page 1: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/1.jpg)
1
Суперпозиция машинной графики поверх
транслируемого вида реального окружения.
Лекция № 2
Что такое augmented reality?
![Page 2: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/2.jpg)
Системы компьютерного зрения• Системы управления процессами (промышленные роботы, автономные
транспортные средства).
• Системы видеонаблюдения.
• Системы организации информации (например, для индексации баз данных изображений).
• Системы моделирования объектов или окружающей среды (анализ медицинских изображений, топографическое моделирование).
• Системы взаимодействия (например, устройства ввода для системы человеко-машинного взаимодействия).
• Системы дополненной реальности.
• Вычислительная фотография, например для мобильных устройств с камерами
![Page 3: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/3.jpg)
Что делает AR (Дополненная реальность)?
Рост Данных в IoT
100010101100001111010001001111011111101110110101100001110110111011110110111101000000000011111101010110100011100110001010010011010101011111010000110001010110000111101000100111101111110111011010110000111011011101111011011110100000000001111110101011010001110011000101001001101010101111101000011000101011000011110100010011110111111011101101011000011101101110111101101111010000000000111111010101101000111001100010100100110101010111110100001100010101100001111010001001111011111101110110101100001110110111011110110111101000000000011111101010110100011100110001010010011010101011111010000110001010110000111101000100111101111110111011010110000111011011101111011011110100000000001111110101011010001110011000101001001101010101111101000011000101011000011110100010011110111111011101101011000011101101110111101101111010000000000111111010101101000111001100010100100110101010111110100001100010101100001111010001001111011111101110110101100001110110111011110110111101000000000011111101010110100011100110001010010011010101011111010000110001010110000111101000100111101111110111011010110000111011011101111011011110100000000001111110101011010001110011000101001001101010101111101000011000101011000011110100010011110111111011101101011000011101101110111101101111010000000000111111010101101000111001100010100100110101010111110100001100010101100001111010001001111011111101110110001111000
10001010110000111101000100111101111110111011010110000111011011101111011011110100000000001111110101011010001110011000101001001101010101111101000011000101011000011110100010011110111111011101101011000011101101110111101101111010000000000111111010101101000111001100010100100110101010111110100001100010101100001111
(ZETTABYTES)
2014
9.82016
18.52018
34.32020
70.0IIoT
Analytics
Визуализационнаяобработка с
применением AR
Быстрая визуализация контекстуализированной IIoT информации(Определение в контексте промышленного применения технологии AR).Возникает проблема создания приложений ДР. Уточним определение.
Подразумевая область, в которой будем рассматривать проблематику ДР
![Page 4: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/4.jpg)
Системы дополненной реальности.
Сложившиеся направления средств разработки ДР:1. Для «игровых» применений2. Для «промышленных» применений
AR
И там и там существует тенденция разнесения функционаларазработчика на две части – стратегическую и тактическую, или– иными словами – проектную и сценарную.«Проектная» - постановка задачи, разработка сценария, …. А сдругой стороны – внутри сценария есть средства работа собъектами. Интерес к использованию ДР в промышленныхсферах возник давно. Первыми потребителями заманчивойтехнологии были авиаторы и автомобилисты. Дополнительнаяинформация в виде контента МГ, проецируемого наменяющуюся «за окном» самолета или автомобиляреальность, может существенно помочь пилоту принятьправильное решение. Точнее и эффективнее осуществитьпосадку. Избежать коллизий на дорогах и т.д.
![Page 5: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/5.jpg)
Начало промышленногоиспользования
AR
Сегодняшняя классификация промышленных применений AR
![Page 6: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/6.jpg)
Значение дополненной реальности для предприятия
Продажи Проектирование Эксплуатация Обслуживание
• Визуализации продуктов и демонстрации ускоряютпродажи
• Целенаправленная интерактивная реклама повышает узнаваемостьторговой марки
• Виртуальное взаимодействие в проектировании объединяет распределенные команды
• Внешний контроль качества прототипа уменьшает кол-во дефектов и доработок
• Быстрое цифровое прототипирование снижает время выхода на рынок и оптимизирует линейку продуктов
• Внешний контроль качества уменьшает кол-во дефектов
• Панели индикаторов помогают управлять эффективностью
• Инструктаж в режиме реального времени уменьшает количество ошибок и дефектов
• Сервисные панели и инструкции повышают эффективность и точность
• Инструкции самообслуживания для заказчика снижают затраты
• Удаленная диагностика снижает расходы на командировки и обучение
Для самостоятельного изучения:Руководство по дополненной реальности. Майкл Портер. Джеймс Хеппельманн. HBR. 4.12.2017
http://a0601.narod.ru/HBRARPrtrHplmn.pdf
![Page 7: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/7.jpg)
ЗАЧЕМ ДОПОЛНЕННАЯ РЕАЛЬНОСТЬ ПРЕДПРИЯТИЮ?
Согласно исследованию, проведенному в прошлом году компанией Boeing и Университетом штата Айова, использование дополненной реальности может...
• Ускорить устранение неисправностей на 90%
• Ускорить процедуры на 30%
ВзаимодействоватьВизуализировать Инструктировать
Дополнение возможностей человека оценивать физический мир с наложением актуальной или прогнозируемой цифровой информацией
Обучать или инструктироватьпользователей выполнять действия с помощью наложения графических инструкций или рекомендаций эксперта в реальном времени
Управлять цифровой информацией с помощью привычного пользовательского интерфейса или контролировать изделие с помощью цифрового интерфейса дополненной реальности
Необходимость разработки AR-Приложений
![Page 8: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/8.jpg)
Типовые этапы жизненного цикла изделия, соотнесенные с типовыми бизнес- процессами и группами исполнителей
![Page 9: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/9.jpg)
Информационное сопровождение этапов ЖЦИ
9
![Page 10: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/10.jpg)
PLM: Место дополненной реальности
Для самостоятельного изучения:Дополненная Реальность: возможности применения для поддержки полного жизненного цикла изделия.http://a0601.narod.ru/ITPP_Artkl_AR_01_17.pdf
![Page 11: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/11.jpg)
Системы дополненной реальности –Приложения AR
Сложившиеся направления средств разработки Приложений ДР:
1. Для «игровых» применений2. Для «промышленных» применений
Проектная разработка Объектная разработка
3D-Объекты
AR - приложение
И там и там Существует тенденция разнесения функционаларазработчика на две части – стратегическую и тактическую, или– иными словами – проектную и сценарную.«Проектная» - постановка задачи, разработка сценария, …. А сдругой стороны – внутри сценария есть средства работа собъектами. (например – формирование сцены, переход отсцены к сцене, полиморфинг – изменение объекта частичнобез потери связи с другими элементами объектамиперемещение объектов, освещение, связь со звуком,стереоскопия и т.д.). Как правило объектная разработкапроизводилась в т.н. игровых движках, а за проектнуюразработку отвечали платформы ДР.
Лидеры в проектной разработке на сегодня
![Page 12: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/12.jpg)
https://www.youtube.com/watch?v=im0A-dz-B68
![Page 13: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/13.jpg)
Использование AR от METAIO
Hundai – виртуальная панель пилота автомобиля –«виртуальная диагностика»
JUNAIO APPLICATION – среда разработки ДР-приложений от METAIO
Виртуальная панель сборщика станции предпродажной подготовки спорткара от VolksWagen
– Marta
![Page 14: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/14.jpg)
Использование AR: Total immersion D’Fusion
https://www.youtube.com/watch?v=2QQTf4oX_uE
D’Fusion Computer Vision SDK– платформа разработки AR-решений от французской компании Total Immersion, передовое и запатентованное решение в области AR, позволяющее в режиме реального времени интегрировать («подмешивать») интерактивную 3D-графику в транслируемый видеопоток. D’Fusion Computer Vision SDK для работы по «подмешиванию» 3D-моделей в видеопоток в режиме реального времени использует формат структурированного информационного представления .xml, а для импорта созданных во внешних системах 3D-моделей – форматы .obj или .pts.
![Page 15: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/15.jpg)
Использование AR от Total Immersion
https://www.youtube.com/watch?v=RfG3lYqx60A
https://www.youtube.com/watch?time_continue=2&v=mpgL21UVXes
В настоящее время пользователями D’Fusion компании Total Immersion для разработки промышленных AR-приложений являются такие лидеры мирового машиностроения как Volkswagen, Kia Motors, Citroën, Volvo, Alstom, Nissan Motors.
![Page 16: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/16.jpg)
Неформальный рейтинг платформ AR (2018 г.)
• https://thinkmobiles.com/blog/best-ar-sdk-review/
SDK Feature Comparison Table
Wikitude ARKit ARcore Vuforia MaxST DeepAR EasyAR ARToolKit Xzimg
Maximum distance capture (m) 2.4 / 5 1.5 / 5 1.0 / 3 1.2 / 3.7 0.5 / 0.9 0.7 / 5 0.9 / 2.7 3 / 3 0.5 / 1
Recognition stability of immovable marker 6 9 9 10 7 8 7 8 4
Recognition stability of movable marker 6 7 6 6 2 7 3 6 3
Minimum angle recognition 10 30 50 30 50 35 35 10 45
Minimum visibility for recognition overlapped marker 100% 50% 75% 20% 50% 10% 10% 100% 25%
2D Recognition ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓
3D Recognition ✓ ✓ ✓ ✓ ✓ – – – ✓
Geo-Location ✓ ✓ ✓ – – – – – –
Cloud Recognition ✓ ✓ ✓ ✓ – – – – –
SLAM ✓ ✓ ✓ ✓ ✓ – – – –
Total (rating) 8.0 7.5 7.7 7.7 5.2 4.7 4.4 2.8 3.1
![Page 17: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/17.jpg)
• Разработана компанией Qualicomm
• В 2015 году – приобретена PTC
• В составе решений PTC – в линейке IoT/IIoT
• С 2016 г. – две концептуальные платформы:• Viforia Engine (Прежнее название – Vuforia SDK -
полигональные модели 3D)• Vuforia Studio → (ThingWorx Studio, CAD-модели
3D)
Платформа Vuforia
![Page 18: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/18.jpg)
Платформа Vuforia Engine
![Page 19: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/19.jpg)
Платформа Vuforia Engine
Vuforia - это программная платформа для разработки приложений дополненной реальности (AR, AugmentedReality). С помощью Vuforia разработчик может легко добавлять функционал компьютерной визуализации виртуальных 3D-объектов в любое приложение, реализуя возможности распознавания и более точного понимания изображений и объектов наблюдаемых в действительности или выполняя 3D-реконструкцию окружающего и наблюдаемого пространства в реальном мире.
В Vuforia вы можете создавать AR-приложения для широкого круга индустриальных задач, будь то интерактивные инструкции рабочего места, маркетинговые материалы, сервисные руководства - для всего разнообразия возможных AR-приложений в Vuforia есть законченный набор функциональности.
![Page 20: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/20.jpg)
Игровой движок
Межплатформенная среда
разработки компьютерных
игр. Должна обладать
визуальной средой
разработки, модульной
системой компонентов,
поддерживать различные
платформы.
Позволяет создавать
«сцены», содержащие свои
игровые миры со своим
набором объектов,
сценариев, и настроек
20
![Page 21: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/21.jpg)
• Vuforia — это платформа дополненной реальности и инструментарий разработчика программного обеспечения дополненной реальности
«Анатомия» - Структура среды разработки AR-приложения на базе Vuforia Engine
![Page 22: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/22.jpg)
Основные термины и понятияПРОЕКТ Project
АКТИВ Asset
СЦЕНА Scena
СЦЕНАРИЙ Play mode
Варианты наполнения основных понятий
в среде разработки AR-приложений для различных задач
![Page 23: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/23.jpg)
Основные термины и понятия
![Page 24: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/24.jpg)
Основные термины и понятия
![Page 25: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/25.jpg)
Основные термины и понятия
ANDROID
SDK
![Page 26: Лекция № 2 Что такое augmented reality?a0601.narod.ru › ARLct02.pdf · Лекция № 2 Что такое augmented reality? ... обработка с ... Vuforia](https://reader034.vdocuments.mx/reader034/viewer/2022042403/5f14930b060dd743a07c4f1c/html5/thumbnails/26.jpg)
Структура приложения дополненной реальности
26
Реальная среда
Маркер для
отслеживания
Камера
Модуль
отслеживания
камеры
Модуль
хранения 3D
объектов
Модуль визуализацииВизуализация объекта в
соответствии с ракурсом
камеры
Совмещение объекта с
изображением реальной среды
Изображение
реальной среды
«Ракурс»
камеры
Объект
визуализации
Модуль
пользовательского интерфейса
Управление объектом в пространстве
Сборка/разборка объекта
Получение дополнительной
информации об объекте
Вывод на дисплей
Ввод посредством
сенсорного экрана
Управление ракурсом посредствам изменения положения устройства
САПР
Unity 3D
Unity 3D
Unity 3D + Vuforia
Unity 3D + Vuforia