Стек%технологий%и%

проблем%в%AR/VR %%

Рыжонков%Василий%

Директор%Центра%мобильных%технологий%

фонда%Сколково%

Основатель%Ассоциации%AR/VR%

Евангелист%технологий%AR/VR%в%России%

Москва,%АСИ,%2016%

•  VR/AR%%технологии%разрабатываются%с%60%гг%20%

века%

•  AR/VR%–%это%the%next%big%thing%•  AR/VR%наконецYто%позволят%

нам%взаимодействовать%с%

информацией%естественным%

способом%

•  AR/VR%неизбежны%%

Реальность*=*восприятие*

What%is%«real»?%How%do%you%define%«real»?%

If%you%are%talking%about%what%you%can%feel,%what%

you%can%smell,%what%you%can%taste%and%see,%

then%«real»%is%simply%electrical*signals%

interpreted%by%your%brain.%

•  #blueandblack%•  #goldandwhite%

«It's%fair%to%say%that%our%experience%%

of%the%world%is%illusion.»%

Движение*головы*

Изменение*восприятия*

Апдейт*модели*

реальности*

Синтез%

Распространение%

Ориентация%в%

пространстве%

•  Широкий%угол%зрения%

•  Отменное%качество%•  Переменная%глубина%фокуса%•  Высокий%динамический%диапазон%•  Эргономика%

Параметр* Текущее*состояние* Желаемое*состояние*

Угол%зрения% 110% 220%

Качество%изображения%

%%%Пикселей%на%градус% 10Y15% >120%

%%%%Контрастность% Низкая% Высокая%

%%%%Четкость% Относительно%размыто% Четко%

Переменная%глубина%

фокуса%

Фиксированная% Не%фиксированная%

Высокий%динамический%

диапазон%

2%порядка% 10%порядков%

Эргономика%

•  RealY~me%трекинг%

•  Hap~cs%

•  Op~cs%%

•  Displays%

•  Computa~onal%op~cs%

•  Control%systems%

•  Audio%spa~aliza~on%&%

propaga~on%

•  Sensing%&%reconstruc~ng%

•  Sensor%technology%

•  Sensor%fusion%

•  Rendering%

•  Anima~on%

•  Hap~cs%

•  Input,%interac~on%&%

interfaces%

•  Material%science%

•  Perceptual%psychology%

•  User%study%

•  Presence%(self,%tele,%

social)%

•  Mechanical%

engineering%

•  Electrical%engineering%

•  Optomechanical%

engineering%

•  Machining%

•  Programming%

Самое%главное%–%мультидисциплинарные%

исследования%и%разработки%

Сферы*улучшений*в*сфере*VR*для*

полного*погружения%•  wide%field%of%view%(immersion,%peripheral%cues,%100Y110%degrees)%

•  adequate%resolu~on%(problema~c%for%VR%due%to%wide%FOV,%oneYseventh%the%pixel%density%per%degree%of%a%

wideYscreen%TV%Y%26p,%1080p%works,%more%is%beêer)%

•  low%pixel%persistence%(necessary%to%avoid%blurring%with%eye%mo~on,%no%more%than%3%ms)%

•  a%high%enough%refresh%rate%(to%avoid%flicker%with%low%persistance,%95%Hz%seems%to%be%sufficient)%

•  global%display%(illuminates%all%pixels%simultaneously,%avoid%mo~onYinduced%compression,%stretching,%and%

skewing)%

•  op~cs%(only%one%or%at%most%two%lenses%per%eye,%not%enough%to%allow%simultaneous%control%of%focal%

length,%viewing%distance,%size,%distor~on,%various%forms%of%aberra~on)%

•  op~cal%callibra~on%(%the%human%visual%system%is%amazingly%sensi~ve%to%devia~ons,%many%problems%are%

impossible%to%iden~fy%un~l%calibra~on%is%done%)%%

•  rockYsolid%tracking%(must%support%transla~on%(posi~on%in%x,%y,%z)%and%orienta~on,%posi~on%with%at%least%

mm%accuracy,%orienta~on%with%at%least%quarterYdegree%accuracy,%volume%at%least%1,5%meters%on%a%side)%

•  low%latency%(20%ms%mo~onYtoYlastYphoton%works,%25%ms%may%be%good%enough)%

•  Ведущие%компании%и%корпорации%мира%потратили%суммарно%с%2012%года%от*5*до*10*миллиардов*

долларов%на%технологии%AR/VR.%

•  В%первом%квартале%2016%года%объем%инвестиций%составил%1.1%миллиарда%долларов%

•  8%из%10%крупнейших%ИТ%корпораций%мира%создали%лаборатории%по%AR/VR%

Центр%виртуальной%реальности%

•  Исследовательский%и%прикладной%центр%

технологий%и%применений%AR/VR/MR%

технологий%

•  WorldYclass%центр%компетенций%%

•  Мультидисциплинарные%исследования%

•  Сферы%включают%virtual,%augmented%and%

mixed%reality%(VR/AR/MR),%мобильные%

вычисления,%робототехника,%hap~cs,%

human%centered%design%и%user%experience%

(UX)%

Центр%виртуальной%реальности%Темы*проектов*(технологические*и*в*сферах*применения):*

•  Коллаборативные%виртуальные%среды%и%миры%

•  3D%%зрение,%графика,%игры%

•  3D%data%management%

•  3D%user%interfaces%и%взаимодействие%

•  Технологии%для%шлемов%

•  Симуляторы%для%промышленности,%Научная%визуализация%и%

симуляция%рабочих%процессов,%прототипирование%(6D%

проектирование)%

•  Mixed%Reality%симуляции%

•  Виртуальные%среды%для%тренировок%и%лаборатории%

•  «Серьезные»%игры%

•  Новые%формы%взаимодействия%человекYмашина%

%

Центр%виртуальной%реальности%

Cферы%применения:%

•  Промышленные%применения%

•  Par~cipa~ve%and%userYcentred%design%

•  Outage%and%decommissioning%planning%

•  Opera~ons%and%maintenance%training%

Центр%виртуальной%реальности%

•  Ролевая%модель:%–  VRAC%(USA)%hêp://www.vrac.iastate.edu/%–  CERV%(France)%

hêp://www.cerv.fr/?lang=en%

–  Halden%VRC%(Denmark)%

hêps://www.ife.no/no/ife/laboratorier/

hvrc1/haldenYvirtualYrealityYcentre%

Source: Greenlight VR, UploadVR

Number of VR companies Investments in VR

Top 10 companies in VR based on Total Funding Raised

Технические требования:

•  Face tracking

•  Eye tracking

•  Head tracking

•  Hands tracking

•  Body tracking

•  Position tracking

Примените это к виртуальному аватару: •  Input •  Audio •  Interaction •  Haptics •  Perceptual research :

psychology and other human factors

Мультимодальные взаимодействия – ключ к VR:

•  Цикл обратной связи (видишь объект, трогаешь его, чувствуешь его)

•  Соответствие стимулов между разными группами сенсоров