擴增實境中的髮型預覽系統An Augmented Reality Based Hairstyle Previewing System

指導教授：劉興民組員：張廖曉蓉、林筱雯

Introduction 我們希望能以擴增實境（ Augmented

Reality ）做出能以Webcam影像預覽髮型的軟體，可以應用在髮廊等地方，讓使用者在考慮髮型時，能得到比單純敘述更具體的訊息。

基本構想是把髮型圖片覆蓋在攝影機影像中的頭髮位置、蓋住原本的頭髮，但這樣只是單純的剪貼照片，我們還想對髮型圖片進行微調，讓成果能更加擬真。

OpenCV （ Open Source Computer Vision Library ）

分類器（臉部、眼部、鼻部）由網路上下載取得髮型的位置、角度、大小的資訊來源

函式庫修改圖片大小、旋轉的函式缺少的函式則自行撰寫

Development Tools

Process臉部偵測

偵測臉部詳細資訊

髮型圖片的修正

覆蓋圖片到視訊影像上

臉部大小、眼睛、鼻子位置、角度

縮放、旋轉、

變型微調

OpenCV

臉部詳細資訊

臉部位置臉部分類器回傳的座標

臉部大小臉部分類器回傳的區域大小

臉部角度以眼和鼻的座標計算計算兩種方向的角度

臉部資訊的處理

兩種旋轉角度

角度 A 角度 B

角度 A 的計算

角度 B 的計算

兩眼距離

兩眼座標 x的差值

Ѳ=arccos( 兩眼位置 x 的差 / 當下的眼距 )

髮型圖片的修正

原圖處理流程

縮放 角度 A 角度 B

大小縮放

手動編輯畫比例尺 臉部的一半大小

縮放示意

2. 依比例複製成左右兩張

右

左

角度 A 的旋轉1. 取得角度 A 、左右比例

3. 各剪一半後貼回去原圖

4. 覆蓋到攝影機影像上

右

左

角度 A 的旋轉

角度 B 的旋轉取得角度後直接以函式作旋轉

旋轉後圖片會變大、須在最後執行角度 B 稍大、分類器便無法抓取臉部

成果照片

縮放

角度B

角度 A

成果照片

成果影片 Youtube 連結

( 網址： http://www.youtube.com/watch?v=AT99cm51QLY )

Conclusion 使用者可以任意挪動位置來觀看自己配上髮

型的效果，而圖片也能依照畫面做適當的調整，確實有達到研究的目的及想要呈現的效果。

唯 OpenCV 的臉部辨識效果令人不盡滿意，使程式有時候會有臉部角度無法判斷的情形，畢竟人臉本來就不是形狀固定的標記，此部分需得到更好的分類器或使用別的方法取代才能改善。

Future Work側面髮型

現階段只能模擬正面髮型希望加上側面及背面的功能沒有臉部器官可定位、可能要使用 ARToolkit

髮型圖片的資料庫目前只能靠手動修改照片讓使用者自行匯入照片的功能

Reference1.Gary Bradski, Adrian Kaehler “ Learning

OpenCV: Computer Vision with the OpenCV Library” (2008)

2.Open Computer Vision Library (sourceforge.net/projects/opencvlibrary)

3.OpenCV China (www.opencv.org.cn/index.php/)

4.ARToolkit(www.hitl.washington.edu/artoolkit/)

感謝聆聽！