ห้องลองเสื้อเสมือนโดยใช้ออคเมนต์เตดเรียลลิตี้...

ห้�องลองเสื้�อเสื้มื�อนโดยใช้�ออคเมืนต์�เต์ดเรี�ยลล�ต์�

VIRTUAL FITTING ROOM USING AUGMENTED REALITY

นายณั�ชนนท์� วงษ์�ว�ไล 5031023021

นายดน�ยน�นท์� เก่�าเง�น 5030161721

ภาพโดยรวมของระบบ

รายละเอ�ยดของก่ารพ�ฒนา Source media

Source Preprocessing

Feature Extraction

Human Pose Estimation

Virtual Cloth Registration

User Interface

Output

รายละเอ�ยดของก่ารพ�ฒนา Source media

Video file 640x480Webcam 640x480

OutputInput imageBackground image

Source media

Source Preprocessing

Feature Extraction

Human Pose Estimation

Virtual Cloth Registration

User Interface

Output

รายละเอ�ยดของก่ารพ�ฒนา Source preprocessing

Convert color modelRemove noise

OutputInput and background

image (RGB, HSV,

Grayscale)

Source media

Source Preprocessing

Feature Extraction

Human Pose Estimation

Virtual Cloth Registration

User Interface

Output

รายละเอ�ยดของก่ารพ�ฒนา Feature extraction

Silhouette extractionSkin extraction

OutputSilhouette imageSkin segmented imageH-S histogram of skin color

Source media

Source Preprocessing

Feature Extraction

Human Pose Estimation

Virtual Cloth Registration

User Interface

Output

Feature extraction

Silhouette extractionSilhouette extraction using brightness

difference*

* ท์��มา : Y. Kuno, T. Watanable, Y. Shimosakoda, and S. Nakagawa, “Automated detection of human for visual surveillance system.” Proc. 13th IEEE Conf. on Pattern Recognition, vol. 3, pp. 865-869, 1996.

Feature extraction

Skin extractionSkin extraction using H-S histogram*

H-SHistogram

Backprojection

* ท์��มา : Matheen Siddiqui and Gerard Medioni, “Robust real-time upper body limb detection and tracking,” Video surveillance and sensor networks, Proceedings of the 4th ACM international workshop on, 2006.

รายละเอ�ยดของก่ารพ�ฒนา Human pose estimation

Head detectionTorso detectionUpper arms detection

OutputCoordinate of head

and shoulders positionDegree of upper arms direction

Source media

Source Preprocessing

Feature Extraction

Human Pose Estimation

Virtual Cloth Registration

User Interface

Output

Human pose estimation

Head detection*Vertical projection histogram15% area from the top of graph

15 %

* ท์��มา : Lim Siew Hooi, G.Sainarayanan and Liau Chung Fan, “Human Pose Modelling and Body Tracking from Monocular Video Sequences,” International Conference on Intelligent and Advanced Systems, 2007.

Human pose estimation

Torso detection*20% of height from top of headDistance transform

* ท์��มา : Lim Siew Hooi, G.Sainarayanan and Liau Chung Fan, “Human Pose Modelling and Body Tracking from Monocular Video Sequences,” International Conference on Intelligent and Advanced Systems, 2007.

Human pose estimation

Torso detection

Distance Transform+

Old shoulder distance

Human pose estimation

Upper arms detectionPatch around shoulderHough transform

Source media

Source Preprocessing

Feature Extraction

Human Pose Estimation

Virtual Cloth Registration

User Interface

Output

รายละเอ�ยดของก่ารพ�ฒนา Virtual cloth registration

Shirt modelingRegistration

OutputOutput image with

shirt fitting

Virtual cloth registration

Shirt modelingPerspective Transform

Virtual cloth registration

Registration

( AND ) - =

Source media

Source Preprocessing

Feature Extraction

Human Pose Estimation

Virtual Cloth Registration

User Interface

Output

รายละเอ�ยดของก่ารพ�ฒนา User interface

Interface designVirtual button

OutputIndex of commandMenu image

User interface

Interface design

User interface

Interface design

User interface

Virtual buttonDetect skin colorUse delay

ขอบเขตและข!อจำ#าก่�ด Input : video file หร%อ webcam ขนาด

640x480 ผู้'!ใช!งาน : ท์�าย%น คร*�งต�ว, เอ�ยงล#าต�วได!ไม�เก่�น

30 องศาในท์,ก่ๆแก่น, สวมเส%/อแขนส�/น ไม�ม�เคร%�องประด�บ

สถานท์�� : สภาพแสงเหมาะสม, ฉาก่ส�เด�ยว, ไม�ม�เงาบนฉาก่หล�ง

OS : Microsoft Windows XP and Vista

ต�วอย�างโปรแก่รม

ก่ารท์ดสอบโปรแก่รม Human pose estimation testing Virtual cloth registration testing User interface testing

Human pose estimation testing

Head detection Torso detection Upper arms detection

Human pose estimation testing

Head detection~24.76 pixel

-60 -40 -20 0 20 40 60

-80

-60

-40

-20

0

20

40

60

80

Human pose estimation testing

Torso detection~30.89 pixel

-100 -80 -60 -40 -20 0 20 40 60 80 100

-100

-80

-60

-40

-20

0

20

40

60

80

100

-80 -60 -40 -20 0 20 40 60 80

-80

-60

-40

-20

0

20

40

60

80

Human pose estimation testing

Upper arms detection~13.46 degree

-60-54-48-42-36-30-24-18-12 -6 0 6 12 18 24 30 36 42 48 54 600

5

10

15

20

25

30

35

40

-60-54-48-42-36-30-24-18-12 -6 0 6 12 18 24 30 36 42 48 54 600

5

10

15

20

25

30

35

40

45

50

Virtual cloth registration testing

ก่ารตรวจำสอบเช�งค,ณัภาพ

User interface testing

ก่ารตรวจำสอบความถ'ก่ต!องของก่ารท์#างานใช!ก่ารท์�ละค#าส��งจำนครบท์,ก่ค#าส��งเล%อก่ใช!งานคร�/งละมาก่ก่ว�าหน*�งค#าส��ง

ป3ญหาและอ,ปสรรค ป3ญหาก่ารควบค,มป3จำจำ�ยภายนอก่ ป3ญหาความละเอ�ยดของภาพเล5ก่เก่�นไป ป3ญหาก่ารเก่�ดเงาม%ดบร�เวณัขอบร�างก่าย ป3ญหาก่ารใช!งานส�วนต�อประสานผู้'!ใช!

ข!อสร,ป ข!อเสนอแนะ และแนวท์างก่ารพ�ฒนาต�อในอนาคต ความผู้�ดพลาดของก่ารท์#างาน ก่ารน#าไปใช!งาน แนวท์างพ�ฒนาต�อ

พ�ฒนาให!สามารถหาต#าแหน�งของคนได!แม�นย#ามาก่ข*/น

ลดข!อจำ#าก่�ดของก่ารใช!งาน พ�ฒนาให!สามารถใช!ได!ท์� /ง ร�างก่ายส�วนบนและส�วนล�าง

เพ��มความละเอ�ยดของก่ารแสดงภาพเส%/อ

Q&A