[234] 산업 현장을 위한 증강...
TRANSCRIPT
![Page 1: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/1.jpg)
DAQRI Helmet’sComputer Vision System Development
김병수
1
![Page 2: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/2.jpg)
Speaker
Byungsoo Kim김병수
- Senior Computer Vision Scientist at DAQRI
- PhD/MS in computer vision from University of
Michigan, Ann Arbor
- Visiting Researcher at Stanford University
- Bachelor from KAIST
2
![Page 3: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/3.jpg)
DAQRI Helmet
3
![Page 4: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/4.jpg)
4
![Page 5: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/5.jpg)
DAQRI Helmet
for
Augmented reality device
Internet of thingsfor industry
5
![Page 6: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/6.jpg)
Why DAQRI Helmet?현장에서의 필요성
Opportunities in Industry
6
![Page 7: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/7.jpg)
현장에서의 문제점들
- 여기는 어디? 난 무얼 보고 있는가?
- 그래서 뭘 해야 하더라…
- 저 기둥이 살짝 기운 것 같긴 한 것도 같고…7
![Page 8: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/8.jpg)
DAQRI Helmet
8
정확한 위치 제공 (Vision & Sensors) AR 컨텐츠/매뉴얼 제공
안전 비용 절감업무 효율 향상
![Page 9: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/9.jpg)
DAQRI Helmet vs VR Devices
- See-through display 투명한 디스플레이
- 실제 환경을 바탕으로 한 콘텐츠9
![Page 10: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/10.jpg)
10
- 명확한 타겟 설정: Industrial market
- Multi cameras
- High-end sensors
DAQRI Helmet vs Other AR Devices
![Page 11: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/11.jpg)
Computer Visionfor
Augmented Reality
11
![Page 12: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/12.jpg)
AR의 원리
12
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
Computer Vision
![Page 13: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/13.jpg)
AR의 원리
13
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
Computer Vision
![Page 14: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/14.jpg)
AR의 원리
14
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
영상, 센서 데이터로부터 물체/타겟 종류 인식
타겟과 글래스/유저 사이의 거리 및 각도 파악
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
Computer Vision
![Page 15: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/15.jpg)
Computer Vision
AR의 원리
15
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
영상, 센서 데이터로부터 물체/타겟 종류 인식
타겟과 글래스/유저 사이의 거리 및 각도 파악
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
![Page 16: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/16.jpg)
AR의 원리
16
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
영상, 센서 데이터로부터 물체/타겟 종류 인식
타겟과 글래스/유저 사이의 거리 및 각도 파악
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
Computer Vision
![Page 17: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/17.jpg)
AR의 원리
17
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
영상, 센서 데이터로부터 물체/타겟 종류 인식
타겟과 글래스/유저 사이의 거리 및 각도 파악
Computer Vision
![Page 18: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/18.jpg)
Computer Vision
관련 기술Object Recognition
Tracking
Localization
Mapping
18
![Page 19: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/19.jpg)
Computer Vision
19
관련 기술Object Recognition
Tracking
Localization
Mapping
![Page 20: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/20.jpg)
Computer Vision
20
관련 기술Object Recognition
Tracking
Localization
Mapping
![Page 21: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/21.jpg)
Computer Vision
21
관련 기술Object Recognition
Tracking
Localization
Mapping
![Page 22: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/22.jpg)
Computer Vision
활용 분야에 따른 적절한 응용이 중요
22
관련 기술Object Recognition
Tracking
Localization
Mapping
![Page 23: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/23.jpg)
Computer Vision
23
관련 기술Object Recognition
Tracking
Localization
Mapping
![Page 24: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/24.jpg)
Computer Vision
24
관련 기술Object Recognition
Tracking
Localization
Mapping
![Page 25: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/25.jpg)
25
Computer Vision
However, camera-only-based computer vision is very challenging in the industrial environment.
![Page 26: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/26.jpg)
Vision + Sensors
Vision의 한계
텍스쳐 부족 or 광원 환경 변화 or 금속성 소재
26
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
![Page 27: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/27.jpg)
Vision + Sensors
Vision의 한계
텍스쳐 부족 or 광원 환경 변화 or 금속성 소재
27
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
![Page 28: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/28.jpg)
Vision + Sensors
Vision의 한계
텍스쳐 부족 or 광원 환경 변화 or 금속성 소재
Useful Sensors
Inertial Measurement Unit
Depth sensor
GPS
28
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
![Page 29: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/29.jpg)
Vision + Sensors
Vision의 한계
텍스쳐 부족 or 광원 환경 변화 or 금속성 소재
Useful Sensors
Inertial Measurement Unit
Depth sensor
GPS
29
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
![Page 30: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/30.jpg)
Vision + Sensors
Vision의 한계
텍스쳐 부족 or 광원 환경 변화 or 금속성 소재
Useful Sensors
Inertial Measurement Unit
Depth sensor
GPS
30
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
![Page 31: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/31.jpg)
Vision + Sensors
Vision의 한계
텍스쳐 부족 or 광원 환경 변화 or 금속성 소재
Useful Sensors
Inertial Measurement Unit
Depth sensor
GPS
31
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
![Page 32: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/32.jpg)
Vision + Sensors
Vision의 한계
텍스쳐 부족 or 광원 환경 변화 or 금속성 소재
Useful Sensors
Inertial Measurement Unit
Depth sensor
GPS
관련 과제들
센서 및 비전 사이의 calibration
데이터 싱크 문제32
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
![Page 33: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/33.jpg)
Vision + Sensors
Vision의 한계
텍스쳐 부족 or 광원 환경 변화 or 금속성 소재
Useful Sensors
Inertial Measurement Unit
Depth sensor
GPS
관련 과제들
센서 및 비전 사이의 calibration
데이터 싱크 문제33
![Page 34: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/34.jpg)
Vision + Sensors
Vision의 한계
텍스쳐 부족 or 광원 환경 변화 or 금속성 소재
Useful Sensors
Inertial Measurement Unit
Depth sensor
GPS
관련 과제들
센서 및 비전 사이의 calibration
데이터 싱크 문제34
![Page 35: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/35.jpg)
Computer Vision System 개발 과정
35
![Page 36: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/36.jpg)
Computer Vision
처리 속도 & 정확도
36
![Page 37: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/37.jpg)
Computer Vision
처리 속도 & 정확도
37
![Page 38: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/38.jpg)
개발 과정
Use the right tool : 필요한 기술을 잘 고르자.
Visual BoW
TF-IDF
Deep Learning
Bundle Adjustment
Kalman Filter
38
![Page 39: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/39.jpg)
개발 과정
Use the right tool : 필요한 기술을 잘 고르자.
Visual BoW
TF-IDF
Deep Learning
Bundle Adjustment
Kalman Filter
39
![Page 40: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/40.jpg)
개발 과정
Use the right tool : 필요한 기술을 잘 고르자.예: 정확성 vs 속도? 스케일?
Visual BoW
TF-IDF
Deep Learning
Bundle Adjustment
Kalman Filter
40
![Page 41: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/41.jpg)
개발 과정
Speed, speed, speed : Basics can do many things!
Linear algebraGeometryConvex optimizationLinear optimization
Optical flowHomography trackerKalman filter
41
![Page 42: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/42.jpg)
개발 과정
Speed, speed, speed : 하드웨어 최적화를 항상 염두에!
42
![Page 43: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/43.jpg)
개발 과정
결론: Build from scratch
Homography Tracker
3DTracker SLAM 2D/3D
Recognition
43
![Page 44: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/44.jpg)
개발 과정
결론: Build from scratch
Core Math
Linear Algebra Geometry Optimization
PatchTracker Optical FlowKalman
FilterBundle
Adjustment
Homography Tracker
3DTracker SLAM 2D/3D
Recognition
44
![Page 45: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/45.jpg)
개발 과정
결론: Build from scratch
Core Math
Linear Algebra Geometry Optimization
PatchTracker Optical FlowKalman
Filter
HardwareOptimization
Bundle Adjustment
Homography Tracker
3DTracker SLAM 2D/3D
Recognition
45
![Page 46: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/46.jpg)
어려운 점들
이론과 실제의 차이 : Computer vision (소프트웨어) <-> Sensors (하드웨어)
46
![Page 47: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/47.jpg)
어려운 점들
이론과 실제의 차이 :예: 후방 카메라만 이용하면 SLAM이 잘 안 되더라. (왜?)
47
![Page 48: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/48.jpg)
Open Sourcefor
AR Community
48
![Page 49: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/49.jpg)
오픈 소스
Coming soon!
49
![Page 50: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/50.jpg)
다루지 않은 주제들
50
![Page 51: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/51.jpg)
다루지 않은 주제들
안 다룬 주제들
- Optics- Head tracking- Eye tracking- 3D modeling
51
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
![Page 52: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/52.jpg)
다루지 않은 주제들
안 다룬 주제들
- Optics- Head tracking- Eye tracking- 3D modeling
52
SensorsSensors
Sensors Camera(s)
CPU
+ Optical����������� ������������������ Combiner
Scene
generator
![Page 53: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/53.jpg)
다루지 않은 주제들
안 다룬 주제들
- Optics- Head tracking- Eye tracking- 3D modeling
53
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
![Page 54: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/54.jpg)
Q&A
54
![Page 55: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기](https://reader031.vdocuments.mx/reader031/viewer/2022020108/586fd9311a28ab18428b58f1/html5/thumbnails/55.jpg)
Thank You
55