國 立 中 央 大 學 資 訊 工 程 研 究 所

碩士論文

使用樣板比對做進出口行人數量統計

A Passing People Counting System using Template Matching Technique

指導教授范 國 清 博士

研 究 生彭 振 軒

中 華 民 國 九 十 五 年 六 月

國立中央大學圖書館 碩博士論文電子檔授權書

(93 年 5 月最新修正版)

本授權書所授權之論文全文電子檔為本人於國立中央大學撰寫之

碩博士學位論文(以下請擇一勾選)

( ˇ )同意 (立即開放)

( )同意 (一年後開放)原因是

( )同意 (二年後開放)原因是

( )不同意原因是

以非專屬無償授權國立中央大學圖書館與國家圖書館基於推動讀

者間「資源共享互惠合作」之理念於回饋社會與學術研究之目的

得不限地域時間與次數以紙本微縮光碟及其它各種方法將上

列論文收錄重製公開陳列與發行或再授權他人以各種方法重

製與利用並得將數位化之上列論文與論文電子檔以上載網路方式

提供讀者基於個人非營利性質之線上檢索閱覽下載或列印

研究生簽名 彭 振 軒

論文名稱 使用樣板比對做進出口行人統計系統

指導教授姓名 范 國 清

系所 資訊工程 所 博士 碩士班

學號 93522052

日期民國 95 年 6 月 19 日

備註 1 本授權書請填寫並親筆簽名後裝訂於各紙本論文封面後之次頁（全文電子檔內之授權

書簽名可用電腦打字代替）

2 請加印一份單張之授權書填寫並親筆簽名後於辦理離校時交圖書館（以統一代轉寄

給國家圖書館）

3 讀者基於個人非營利性質之線上檢索閱覽下載或列印上列論文應依著作權法相關

規定辦理

i

Abstract

With the price declining of capturing devices and the advancement

of computer technologies recently the topics of vision-based intelligent

surveillance system have become more and more popular Using the

technique of computer vision without the needing of manual intervention

surveillance system can automatically analyze images captured by video

camera to embed the functionalities of detection tracking and

identification The advantages include saving human resources saving

cost and providing variety of services

This thesis presents a passing people counting system using the

method of template matching to identify whether the object moving into

or out of the entrance is a pedestrian or not Firstly background

subtraction is employed to find out moving objects Secondly feature

matching is used to identify pedestrian and filter non-pedestrian objects in

detection process Lastly tracking method is applied to recognize the

direction of moving pedestrians and the total numbers of two ways

passing people is counted simultaneously

Experiments were conducted on several passing people sequences

The results reveal that the proposed method can accurately and

effectively detect and track pedestrians so as to successfully achieve the

purpose of people counting

ii

摘要

隨著取像設備價格大幅的降低以及電腦科學的進步以視覺為

基礎的智慧型監控系統成為近年來熱門的研究主題利用電腦視覺的

方法在不需要人為的操作之下讓監控系統能夠自動對攝影機所擷

取的影像進行分析以具有偵測追蹤及辨識的功能而其好處包

括節省人力資源降低成本和提供多樣化的服務

本篇論文提出一個進出口人數統計的系統是利用樣版比對的方

式判斷進出的物體是否為行人首先利用背景相減法來找出前景

物接下來偵測部分利用特徵比對的方式辨識進出的行人過濾

其他的物體最後則是利用追蹤來判定行人進出的方向並統計各個

方向的行人總數

實驗部分是採用數段不同的行人進出影像實驗結果顯示論文所

提出的方法能準確且有效率的偵測並追蹤行人達到統計進出人數的

目的

iii

誌謝

承蒙指導教授 范國清博士與學長 謝君偉博士兩年來的細心指

導與督促從詳細的上課內容研究方向的選擇細部問題解決的方

法到論文撰寫與修改使論文得以順利完成在此致上最誠摯的謝

意范教授不論在學術研究的成果適時提醒解決問題的方向甚至

是待人處事的態度都讓學生受益良多另外也要感謝口試委員蔡

文祥校長王文俊博士謝君偉博士蘇柏齊博士在口試時不吝給

予論文上寶貴的建議與指教使論文得以更臻完善

另外也要感謝圖形識別實驗室博士班與碩士班的學長姐同學

韻榮政儀珮軒怡君英傑皓雲與學弟妹們不僅在課業上

給予珍貴的指導建議同時也豐富了我兩年快樂的實驗室生活另

外也要感謝親切的助理平時幫忙處理行政上的事務辛苦地在校園裡

為實驗室奔波勞走此外要感謝我親愛的家人和女友在求學的路上

給我最大的支持與鼓勵讓我得以全心投入研究而無後顧之憂

付梓在即以最誠摯的心感謝中央大學我的母校謝謝你帶給

我快樂且難忘的兩年並感謝所有愛護我關心我的人最後以此論

文與他們一起分享

iv

目錄

Abstract i

摘要 ii

誌謝 iii

目錄 iv

附圖目錄 vi

附表目錄 viii

第一章 緒論 1

11 研究動機1

12 相關研究2

121 前景物偵測與追蹤2

122 進出人數統計系統3

13 系統簡介6

14 論文架構9

第二章 前處理 10

21 背景建立與更新10

22 邊緣偵測11

221 傳統邊緣偵測器的比較12

222 良好的邊緣偵測法的準則12

223 Canny 邊緣偵測器 13

第三章 行人偵測與辨識 19

31 前景物偵測19

311 HSV 色彩空間介紹20

312 前景點偵測與陰影去除22

313 前景物修補23

v

32 連通元件運算與物體大小的限制 25

33 行人辨識27

331 距離轉換27

332 樣板資料庫的建立29

333 執行效能的改進31

334 樣板比對34

第四章 行人追蹤與統計 37

41 行人定位37

411 監視畫面的分割37

412 行人資訊的表示38

42 行人追蹤與統計39

第五章 實驗結果 43

51 實驗環境與測試資料43

52 行人辨識結果45

53 行人追蹤結果50

54 錯誤分析與討論59

第六章 結論及未來方向 63

61 結論63

62 未來方向64

參考文獻66

vi

附圖目錄

圖 11 用面積估計人數 4

圖 12 利用類神經網路找出頭髮區塊 4

圖 13 透過 range image 找頭5

圖 14 3D 轉 2D 的人體樣板5

圖 15 攝影機水平拍攝而造成的遮蔽現象 6

圖 16 架設示意圖 6

圖 17 系統架構圖 7

圖 18 系統流程圖 8

圖 21 物件邊線示意圖 14

圖 22 邊線方向的分類 15

圖 23 Canny edge detection 的處理流程圖17

圖 24 各種邊緣偵測的結果 18

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖 21

圖 32 前景偵測及陰影去除 23

圖 33 子區塊示意圖 24

圖 34 判斷為前景區塊的方式 24

圖 35 前景物修補後的結果 25

圖 36 連通元件運算和物體大小的限制 26

圖 37 距離轉換的結果 27

圖 38 距離轉換示意圖 28

圖 39 將影像分為 12 個區塊 29

圖 310 樣板資料庫 31

圖 311 樣板分類示意圖32

圖 312 特徵影像做距離轉換320x240 約 30 秒 33

vii

圖 313 樣板做距離轉換70x90 約 035 秒 33

圖 314 DT 樣板 34

圖 315 利用距離轉換做樣板比對的流程圖 35

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果 36

圖 41 畫面分割 37

圖 42 判定行人所在的區塊 38

圖 43 目標物位置對應示意圖 39

圖 44 目標物距離太遠不為對應 40

圖 45 走到一半轉頭往回走 41

圖 46 物體型態固定可利用顏色資訊做追蹤 42

圖 47 位置不同顏色資訊差異大 42

圖 51 實驗測試環境 43

圖 52 行人進出的影像 44

圖 53 同一人在不同位置的辨識結果 45

圖 54 不同人在同一位置的辨識結果 46

圖 55 多人的辨識結果 47

圖 56 非行人物體經過監視區域 48

圖 57 第一段影像序列的行人追蹤統計結果 53

圖 58 第二段影像序列的行人追蹤統計結果 55

圖 59 第三段影像序列的行人追蹤統計結果 58

圖 510 無法偵測到行人 60

圖 511 邊緣資訊不足60

圖 512 兩行人緊靠著行走 60

圖 513 兩行人肩靠肩並行 61

圖 514 陰影無法濾除而被誤判 61

圖 515 追蹤錯誤的情形之一 62

圖 61 使用另一支攝影機做人臉辨識 65

viii

附表目錄

表 41 行人的各項屬性 38

表 51 室外環境行人辨識結果數據 49

表 52 室內環境行人辨識結果數據 49

表 53 室外環境行人追蹤統計結果數據 59

表 54 室內環境行人追蹤統計結果數據 59

1

第一章

緒論

11 研究動機

針對出入口的人數流量計算主要可分為三方面的應用

(1) 商業的統計在某些商業性質的公共場所中會需要統計進出的

人數以作為他們營業上的參考數據例如在世貿中心常常舉辦展覽

活動其中有許多是免費入場的因此我們無法透過售票的數量來

得之參觀的人數

(2) 安全的考量根據台北市政府消防局法條－台北市特定場所容留

人數管制規則[1]針對舞廳酒吧視聽歌唱使用樓地板面積達

五千平方公尺之百貨商場超級市場以及經指定之臨時室內表演展

覽場所都必須對內部的人數作數量上的控制以免發生災害時

人員逃生上造成推撞擠壓肇致傷亡情事

(3) 智慧型建築在某些備有智慧型系統的建築當中其系統可以藉

由統計進出房間的人數來調整空調的強弱或控制室內電燈的開關

而傳統計算進出人數的方式不外乎是使用人力於出入口安排

工作人員站崗利用計數器方式隨時對進場人員進行人數之計算

其缺點為耗費大量的人力資源不合乎經濟效益另外一種採用機械

計算的方式是在出入口設置旋轉欄杆利用人通過時欄杆的旋轉

來驅動計數器此種方法雖然可以節省人力資源但是因為硬體的設

2

計讓人在進出時的行走方向受到限制

隨著科技的進步近年來對於進出人數的計算已改由感測器來

偵測人體例如紅外線熱感器不論在成本或是效果上都有很大的

改善但是當多個人靠在一起通過熱感器時就會發生被判定為一個

大的熱源而無法很精確的偵測出正確的人數

基於上述的理由本研究希望能建立一套進出口的人數統計系

統利用影像處理和電腦視覺的技術達到自動計算進出人數的功

能同時滿足節省人力資源以及讓進出的行人自由行走的目的

12 相關研究

本篇論文的架構可分為偵測辨識和追蹤三個部分以下將對

過去偵測以及追蹤方面的相關研究成果作概略性的介紹而辨識的

部分則因為本系統的攝影機架設位置特殊所以合併在前人的系統

當中一併介紹同時對於前人的系統做一些優缺點的分析

121 前景物偵測與追蹤

首先關於前景物偵測最常使用的就是背景相減法（background

subtraction）HorprasertChen 等人[2] [3]用統計的方法訓練背景模組

（background model）然後將目前的畫面與背景模組的差異分為色

彩（chromaticity）與亮度（brightness）的失真（distortion）並選擇

適當的閥值（threshold）判斷出該像素點（pixel）是屬於前景陰影

或背景Stauffer 等人[4]利用高斯分布的模型（Gaussian distribution

model）將每個像素點分類成前景點或是背景點而 Lipton 等人[5]

將影像序列中相鄰的兩張影像相減令差值大於閥值的點為前景點

3

優點為不用建立背景但在前景物體色彩單調一致的情況下可能會

產生破碎的結果

在找出前景物體之後接下來的步驟就是追蹤在追蹤的研究方

面最有名的就是卡曼濾波器（Kalman filter）[6]由 RE Kalman

於 1960 年所發表共分為兩個階段一為預測下一個時間點的系統

狀態稱為預測機制（time update）二為依實際測量到的資訊對卡

曼濾波器的各項參數做修正調整稱為修正機制（measurement

update）Cavallaro 等人[7]採用以區塊為主的追蹤方法先統計區塊

內的色彩資訊在追蹤時則利用這些色彩資訊來將兩張畫面中的區塊

做對應Chen 等人[8]提出了使用 bipartite graph 來表示物體間對應的

方法在 bipartite graph 中的每一個 node 即為一個物體此方法當物

體間有交錯合併與分裂的情形時仍然能夠正確的找到物體間的對

應關係

122 進出人數統計系統

以面積大小估計人數ChenSnidaro 等人[9] [10]利用背景相減

法得到前景物體的區塊接下來就利用區塊的面積大小判斷當中

的人數有多少其優點為簡單快速缺點則是他預設所有的前景物體

皆為進出者而沒有進一步的去分析是否為人因此今天若有一個

人推著一個娃娃車經過而娃娃車的面積和一個人的面積大小差不

多則此時系統會判定有兩個人通過另外區塊大小所代表的人數

是從影片當中去推估的當同一個區塊內的人數越多則估計上越容

易產生失誤因此[9]提出了一個前景區塊內最多只能有五個人的

限制條件

4

圖 11 用面積估計人數

利用類神經網路找頭髮Adriano 等人[11]提出了利用 SOM 的神

經網路找出屬於人頭髮的區塊再利用人頭的大小過濾掉其他過

大或過小的黑色區塊其缺點為經由 SOM 訓練後的結果無法分

辨頭髮以及其他黑色的物體像是黑色的衣服也會被偵測出來而頭

髮和黑衣服連在一起的區塊則會因為面積太大而被濾掉其他像是

染髮光頭戴帽子等情形也都會影響偵測結果

圖 12 利用類神經網路找出頭髮區塊

利用多攝影機取得 range imageRogic[12]利用三隻校正過的攝

影機取得影像中物體的深度資訊然後找出相對高度較高也就是

離攝影機較近的部分當作是人的頭而他的缺點則是當人舉起雙

手通過監視區域時由於雙手皆是最高物體因此會被當成兩個人計

算另外一個較大的問題是該方法的計算量複雜沒有辦法達到

5

real-time 處理一秒僅能處理三張影格（frame）

圖 13 透過 range image 找頭

樣板比對（template matching）Pang 等人[13]將監視的區域分成

許多網格（grid）每個網格上都建立對應的樣板而樣板是透過透

視投影（perspective projection)的方式從 3D 轉成 2D分成頭部肩

膀和軀幹部分接著就先利用頭髮的顏色資訊從畫面當中找出頭部

的可能區域然後根據頭部所在的位置去跟資料庫中的樣板作比對

圖 14 3D 轉 2D 的人體樣板

6

13 系統簡介

首先先介紹系統攝影機的架設由於攝影機一般水平拍攝會造

成前方物體擋住後面物體的狀況產生嚴重的遮蔽問題如圖 15 所

示

圖 15 攝影機水平拍攝而造成的遮蔽現象

因此本系統將攝影機架設於垂直進出口正上方約四至六公尺

然後由上往下垂直地面拍攝如圖 16 所示如此所獲得的影像皆

為人的頭頂以及部分的軀幹這樣一來便不會產生遮蔽的問題

圖 16 架設示意圖

7

整個「進出人數統計系統」架構主要分為兩大模組行人偵測

模組以及行人計數模組如圖 17 所示

圖 17 系統架構圖

首先將攝影機所取得的影像序列送至偵測模組當中同時也

分別送至前處理的部分做背景建立更新（background updating）和

邊緣偵測（edge detection）在背景建立的部分本篇使用第一張影

像做為參考的背景然後透過統計的方式來做背景更新

當我們有了背景模組在偵測模組中就可以比較目前影像與背

景的差異進而求出前景物體然後透過連通元件（connected

component）的運算之後將面積過小的物體及雜訊去除接著就把

候選物體（candidate）範圍內的邊緣資訊當成特徵與資料庫中的樣

板做比對當比對結果符合系統才判定該物體為行人否則就將其

濾除

8

最後將行人的座標送至追蹤模組進行追蹤直到該行人離開監視

區域後系統才會判定他的移動方向並將該方向的人數累加

詳細的系統流程圖如下圖 18 所示

圖 18 系統流程圖

9

14 論文架構

本論文共分為六章其內容架構如下所述第一章介紹論文的研

究動機過去相關的研究以及系統的架構第二章介紹背景更新以及

邊緣資訊偵測的方法第三章為前景物的偵測以及利用樣板比對的

方式做行人的辨識第四章介紹追蹤的方法和行人進出方向的判別

第五章為實驗結果與討論第六章則對論文提出結論以及未來研究方

向的討論

10

第二章

前處理

21 背景建立與更新

由於本系統的攝影機架設以及拍攝環境皆為固定不動的因此可

以使用基本的背景相減法來偵測前景物體使用背景相減法首先必須

建立背景模組本篇我們很簡單的設定影像序列當中的第一張影格為

背景影像而因為本系統的攝影機是架設在出入口會受到室外光線

或者室內燈光變化的影響所以必須對背景的變化不斷的做更新之

動作故接下來的每張影格都會被拿來做背景更新

在此我們除了將目前的影格和背景比較判斷是否產生變化之

外還多了跟前一張影格做比較來判斷變化是長久的還是短暫的

最後再搭配統計的方式來達到背景更新的效果

系統利用一個和影像大小相同的二維陣列來紀錄畫面中每個像

素點的變化情形判斷式如下

( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( ) ( )⎪

⎪⎩

⎪⎪⎨

⎧

ltminus

gtminusgtminus

ltminusgtminus+

= minus

minus

1t

21tt

1t

21tt

1t

θ xyBGxyI

θ xyIxyI θ xyBGxyI

θ xyIxyI θ xyBGxyI xyd

yxd

if0

andif0

andif1

(2-1)

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

國立中央大學圖書館 碩博士論文電子檔授權書

(93 年 5 月最新修正版)

本授權書所授權之論文全文電子檔為本人於國立中央大學撰寫之

碩博士學位論文(以下請擇一勾選)

( ˇ )同意 (立即開放)

( )同意 (一年後開放)原因是

( )同意 (二年後開放)原因是

( )不同意原因是

以非專屬無償授權國立中央大學圖書館與國家圖書館基於推動讀

者間「資源共享互惠合作」之理念於回饋社會與學術研究之目的

得不限地域時間與次數以紙本微縮光碟及其它各種方法將上

列論文收錄重製公開陳列與發行或再授權他人以各種方法重

製與利用並得將數位化之上列論文與論文電子檔以上載網路方式

提供讀者基於個人非營利性質之線上檢索閱覽下載或列印

研究生簽名 彭 振 軒

論文名稱 使用樣板比對做進出口行人統計系統

指導教授姓名 范 國 清

系所 資訊工程 所 博士 碩士班

學號 93522052

日期民國 95 年 6 月 19 日

備註 1 本授權書請填寫並親筆簽名後裝訂於各紙本論文封面後之次頁（全文電子檔內之授權

書簽名可用電腦打字代替）

2 請加印一份單張之授權書填寫並親筆簽名後於辦理離校時交圖書館（以統一代轉寄

給國家圖書館）

3 讀者基於個人非營利性質之線上檢索閱覽下載或列印上列論文應依著作權法相關

規定辦理

i

Abstract

With the price declining of capturing devices and the advancement

of computer technologies recently the topics of vision-based intelligent

surveillance system have become more and more popular Using the

technique of computer vision without the needing of manual intervention

surveillance system can automatically analyze images captured by video

camera to embed the functionalities of detection tracking and

identification The advantages include saving human resources saving

cost and providing variety of services

This thesis presents a passing people counting system using the

method of template matching to identify whether the object moving into

or out of the entrance is a pedestrian or not Firstly background

subtraction is employed to find out moving objects Secondly feature

matching is used to identify pedestrian and filter non-pedestrian objects in

detection process Lastly tracking method is applied to recognize the

direction of moving pedestrians and the total numbers of two ways

passing people is counted simultaneously

Experiments were conducted on several passing people sequences

The results reveal that the proposed method can accurately and

effectively detect and track pedestrians so as to successfully achieve the

purpose of people counting

ii

摘要

隨著取像設備價格大幅的降低以及電腦科學的進步以視覺為

基礎的智慧型監控系統成為近年來熱門的研究主題利用電腦視覺的

方法在不需要人為的操作之下讓監控系統能夠自動對攝影機所擷

取的影像進行分析以具有偵測追蹤及辨識的功能而其好處包

括節省人力資源降低成本和提供多樣化的服務

本篇論文提出一個進出口人數統計的系統是利用樣版比對的方

式判斷進出的物體是否為行人首先利用背景相減法來找出前景

物接下來偵測部分利用特徵比對的方式辨識進出的行人過濾

其他的物體最後則是利用追蹤來判定行人進出的方向並統計各個

方向的行人總數

實驗部分是採用數段不同的行人進出影像實驗結果顯示論文所

提出的方法能準確且有效率的偵測並追蹤行人達到統計進出人數的

目的

iii

誌謝

承蒙指導教授 范國清博士與學長 謝君偉博士兩年來的細心指

導與督促從詳細的上課內容研究方向的選擇細部問題解決的方

法到論文撰寫與修改使論文得以順利完成在此致上最誠摯的謝

意范教授不論在學術研究的成果適時提醒解決問題的方向甚至

是待人處事的態度都讓學生受益良多另外也要感謝口試委員蔡

文祥校長王文俊博士謝君偉博士蘇柏齊博士在口試時不吝給

予論文上寶貴的建議與指教使論文得以更臻完善

另外也要感謝圖形識別實驗室博士班與碩士班的學長姐同學

韻榮政儀珮軒怡君英傑皓雲與學弟妹們不僅在課業上

給予珍貴的指導建議同時也豐富了我兩年快樂的實驗室生活另

外也要感謝親切的助理平時幫忙處理行政上的事務辛苦地在校園裡

為實驗室奔波勞走此外要感謝我親愛的家人和女友在求學的路上

給我最大的支持與鼓勵讓我得以全心投入研究而無後顧之憂

付梓在即以最誠摯的心感謝中央大學我的母校謝謝你帶給

我快樂且難忘的兩年並感謝所有愛護我關心我的人最後以此論

文與他們一起分享

iv

目錄

Abstract i

摘要 ii

誌謝 iii

目錄 iv

附圖目錄 vi

附表目錄 viii

第一章 緒論 1

11 研究動機1

12 相關研究2

121 前景物偵測與追蹤2

122 進出人數統計系統3

13 系統簡介6

14 論文架構9

第二章 前處理 10

21 背景建立與更新10

22 邊緣偵測11

221 傳統邊緣偵測器的比較12

222 良好的邊緣偵測法的準則12

223 Canny 邊緣偵測器 13

第三章 行人偵測與辨識 19

31 前景物偵測19

311 HSV 色彩空間介紹20

312 前景點偵測與陰影去除22

313 前景物修補23

v

32 連通元件運算與物體大小的限制 25

33 行人辨識27

331 距離轉換27

332 樣板資料庫的建立29

333 執行效能的改進31

334 樣板比對34

第四章 行人追蹤與統計 37

41 行人定位37

411 監視畫面的分割37

412 行人資訊的表示38

42 行人追蹤與統計39

第五章 實驗結果 43

51 實驗環境與測試資料43

52 行人辨識結果45

53 行人追蹤結果50

54 錯誤分析與討論59

第六章 結論及未來方向 63

61 結論63

62 未來方向64

參考文獻66

vi

附圖目錄

圖 11 用面積估計人數 4

圖 12 利用類神經網路找出頭髮區塊 4

圖 13 透過 range image 找頭5

圖 14 3D 轉 2D 的人體樣板5

圖 15 攝影機水平拍攝而造成的遮蔽現象 6

圖 16 架設示意圖 6

圖 17 系統架構圖 7

圖 18 系統流程圖 8

圖 21 物件邊線示意圖 14

圖 22 邊線方向的分類 15

圖 23 Canny edge detection 的處理流程圖17

圖 24 各種邊緣偵測的結果 18

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖 21

圖 32 前景偵測及陰影去除 23

圖 33 子區塊示意圖 24

圖 34 判斷為前景區塊的方式 24

圖 35 前景物修補後的結果 25

圖 36 連通元件運算和物體大小的限制 26

圖 37 距離轉換的結果 27

圖 38 距離轉換示意圖 28

圖 39 將影像分為 12 個區塊 29

圖 310 樣板資料庫 31

圖 311 樣板分類示意圖32

圖 312 特徵影像做距離轉換320x240 約 30 秒 33

vii

圖 313 樣板做距離轉換70x90 約 035 秒 33

圖 314 DT 樣板 34

圖 315 利用距離轉換做樣板比對的流程圖 35

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果 36

圖 41 畫面分割 37

圖 42 判定行人所在的區塊 38

圖 43 目標物位置對應示意圖 39

圖 44 目標物距離太遠不為對應 40

圖 45 走到一半轉頭往回走 41

圖 46 物體型態固定可利用顏色資訊做追蹤 42

圖 47 位置不同顏色資訊差異大 42

圖 51 實驗測試環境 43

圖 52 行人進出的影像 44

圖 53 同一人在不同位置的辨識結果 45

圖 54 不同人在同一位置的辨識結果 46

圖 55 多人的辨識結果 47

圖 56 非行人物體經過監視區域 48

圖 57 第一段影像序列的行人追蹤統計結果 53

圖 58 第二段影像序列的行人追蹤統計結果 55

圖 59 第三段影像序列的行人追蹤統計結果 58

圖 510 無法偵測到行人 60

圖 511 邊緣資訊不足60

圖 512 兩行人緊靠著行走 60

圖 513 兩行人肩靠肩並行 61

圖 514 陰影無法濾除而被誤判 61

圖 515 追蹤錯誤的情形之一 62

圖 61 使用另一支攝影機做人臉辨識 65

viii

附表目錄

表 41 行人的各項屬性 38

表 51 室外環境行人辨識結果數據 49

表 52 室內環境行人辨識結果數據 49

表 53 室外環境行人追蹤統計結果數據 59

表 54 室內環境行人追蹤統計結果數據 59

1

第一章

緒論

11 研究動機

針對出入口的人數流量計算主要可分為三方面的應用

(1) 商業的統計在某些商業性質的公共場所中會需要統計進出的

人數以作為他們營業上的參考數據例如在世貿中心常常舉辦展覽

活動其中有許多是免費入場的因此我們無法透過售票的數量來

得之參觀的人數

(2) 安全的考量根據台北市政府消防局法條－台北市特定場所容留

人數管制規則[1]針對舞廳酒吧視聽歌唱使用樓地板面積達

五千平方公尺之百貨商場超級市場以及經指定之臨時室內表演展

覽場所都必須對內部的人數作數量上的控制以免發生災害時

人員逃生上造成推撞擠壓肇致傷亡情事

(3) 智慧型建築在某些備有智慧型系統的建築當中其系統可以藉

由統計進出房間的人數來調整空調的強弱或控制室內電燈的開關

而傳統計算進出人數的方式不外乎是使用人力於出入口安排

工作人員站崗利用計數器方式隨時對進場人員進行人數之計算

其缺點為耗費大量的人力資源不合乎經濟效益另外一種採用機械

計算的方式是在出入口設置旋轉欄杆利用人通過時欄杆的旋轉

來驅動計數器此種方法雖然可以節省人力資源但是因為硬體的設

2

計讓人在進出時的行走方向受到限制

隨著科技的進步近年來對於進出人數的計算已改由感測器來

偵測人體例如紅外線熱感器不論在成本或是效果上都有很大的

改善但是當多個人靠在一起通過熱感器時就會發生被判定為一個

大的熱源而無法很精確的偵測出正確的人數

基於上述的理由本研究希望能建立一套進出口的人數統計系

統利用影像處理和電腦視覺的技術達到自動計算進出人數的功

能同時滿足節省人力資源以及讓進出的行人自由行走的目的

12 相關研究

本篇論文的架構可分為偵測辨識和追蹤三個部分以下將對

過去偵測以及追蹤方面的相關研究成果作概略性的介紹而辨識的

部分則因為本系統的攝影機架設位置特殊所以合併在前人的系統

當中一併介紹同時對於前人的系統做一些優缺點的分析

121 前景物偵測與追蹤

首先關於前景物偵測最常使用的就是背景相減法（background

subtraction）HorprasertChen 等人[2] [3]用統計的方法訓練背景模組

（background model）然後將目前的畫面與背景模組的差異分為色

彩（chromaticity）與亮度（brightness）的失真（distortion）並選擇

適當的閥值（threshold）判斷出該像素點（pixel）是屬於前景陰影

或背景Stauffer 等人[4]利用高斯分布的模型（Gaussian distribution

model）將每個像素點分類成前景點或是背景點而 Lipton 等人[5]

將影像序列中相鄰的兩張影像相減令差值大於閥值的點為前景點

3

優點為不用建立背景但在前景物體色彩單調一致的情況下可能會

產生破碎的結果

在找出前景物體之後接下來的步驟就是追蹤在追蹤的研究方

面最有名的就是卡曼濾波器（Kalman filter）[6]由 RE Kalman

於 1960 年所發表共分為兩個階段一為預測下一個時間點的系統

狀態稱為預測機制（time update）二為依實際測量到的資訊對卡

曼濾波器的各項參數做修正調整稱為修正機制（measurement

update）Cavallaro 等人[7]採用以區塊為主的追蹤方法先統計區塊

內的色彩資訊在追蹤時則利用這些色彩資訊來將兩張畫面中的區塊

做對應Chen 等人[8]提出了使用 bipartite graph 來表示物體間對應的

方法在 bipartite graph 中的每一個 node 即為一個物體此方法當物

體間有交錯合併與分裂的情形時仍然能夠正確的找到物體間的對

應關係

122 進出人數統計系統

以面積大小估計人數ChenSnidaro 等人[9] [10]利用背景相減

法得到前景物體的區塊接下來就利用區塊的面積大小判斷當中

的人數有多少其優點為簡單快速缺點則是他預設所有的前景物體

皆為進出者而沒有進一步的去分析是否為人因此今天若有一個

人推著一個娃娃車經過而娃娃車的面積和一個人的面積大小差不

多則此時系統會判定有兩個人通過另外區塊大小所代表的人數

是從影片當中去推估的當同一個區塊內的人數越多則估計上越容

易產生失誤因此[9]提出了一個前景區塊內最多只能有五個人的

限制條件

4

圖 11 用面積估計人數

利用類神經網路找頭髮Adriano 等人[11]提出了利用 SOM 的神

經網路找出屬於人頭髮的區塊再利用人頭的大小過濾掉其他過

大或過小的黑色區塊其缺點為經由 SOM 訓練後的結果無法分

辨頭髮以及其他黑色的物體像是黑色的衣服也會被偵測出來而頭

髮和黑衣服連在一起的區塊則會因為面積太大而被濾掉其他像是

染髮光頭戴帽子等情形也都會影響偵測結果

圖 12 利用類神經網路找出頭髮區塊

利用多攝影機取得 range imageRogic[12]利用三隻校正過的攝

影機取得影像中物體的深度資訊然後找出相對高度較高也就是

離攝影機較近的部分當作是人的頭而他的缺點則是當人舉起雙

手通過監視區域時由於雙手皆是最高物體因此會被當成兩個人計

算另外一個較大的問題是該方法的計算量複雜沒有辦法達到

5

real-time 處理一秒僅能處理三張影格（frame）

圖 13 透過 range image 找頭

樣板比對（template matching）Pang 等人[13]將監視的區域分成

許多網格（grid）每個網格上都建立對應的樣板而樣板是透過透

視投影（perspective projection)的方式從 3D 轉成 2D分成頭部肩

膀和軀幹部分接著就先利用頭髮的顏色資訊從畫面當中找出頭部

的可能區域然後根據頭部所在的位置去跟資料庫中的樣板作比對

圖 14 3D 轉 2D 的人體樣板

6

13 系統簡介

首先先介紹系統攝影機的架設由於攝影機一般水平拍攝會造

成前方物體擋住後面物體的狀況產生嚴重的遮蔽問題如圖 15 所

示

圖 15 攝影機水平拍攝而造成的遮蔽現象

因此本系統將攝影機架設於垂直進出口正上方約四至六公尺

然後由上往下垂直地面拍攝如圖 16 所示如此所獲得的影像皆

為人的頭頂以及部分的軀幹這樣一來便不會產生遮蔽的問題

圖 16 架設示意圖

7

整個「進出人數統計系統」架構主要分為兩大模組行人偵測

模組以及行人計數模組如圖 17 所示

圖 17 系統架構圖

首先將攝影機所取得的影像序列送至偵測模組當中同時也

分別送至前處理的部分做背景建立更新（background updating）和

邊緣偵測（edge detection）在背景建立的部分本篇使用第一張影

像做為參考的背景然後透過統計的方式來做背景更新

當我們有了背景模組在偵測模組中就可以比較目前影像與背

景的差異進而求出前景物體然後透過連通元件（connected

component）的運算之後將面積過小的物體及雜訊去除接著就把

候選物體（candidate）範圍內的邊緣資訊當成特徵與資料庫中的樣

板做比對當比對結果符合系統才判定該物體為行人否則就將其

濾除

8

最後將行人的座標送至追蹤模組進行追蹤直到該行人離開監視

區域後系統才會判定他的移動方向並將該方向的人數累加

詳細的系統流程圖如下圖 18 所示

圖 18 系統流程圖

9

14 論文架構

本論文共分為六章其內容架構如下所述第一章介紹論文的研

究動機過去相關的研究以及系統的架構第二章介紹背景更新以及

邊緣資訊偵測的方法第三章為前景物的偵測以及利用樣板比對的

方式做行人的辨識第四章介紹追蹤的方法和行人進出方向的判別

第五章為實驗結果與討論第六章則對論文提出結論以及未來研究方

向的討論

10

第二章

前處理

21 背景建立與更新

由於本系統的攝影機架設以及拍攝環境皆為固定不動的因此可

以使用基本的背景相減法來偵測前景物體使用背景相減法首先必須

建立背景模組本篇我們很簡單的設定影像序列當中的第一張影格為

背景影像而因為本系統的攝影機是架設在出入口會受到室外光線

或者室內燈光變化的影響所以必須對背景的變化不斷的做更新之

動作故接下來的每張影格都會被拿來做背景更新

在此我們除了將目前的影格和背景比較判斷是否產生變化之

外還多了跟前一張影格做比較來判斷變化是長久的還是短暫的

最後再搭配統計的方式來達到背景更新的效果

系統利用一個和影像大小相同的二維陣列來紀錄畫面中每個像

素點的變化情形判斷式如下

( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( ) ( )⎪

⎪⎩

⎪⎪⎨

⎧

ltminus

gtminusgtminus

ltminusgtminus+

= minus

minus

1t

21tt

1t

21tt

1t

θ xyBGxyI

θ xyIxyI θ xyBGxyI

θ xyIxyI θ xyBGxyI xyd

yxd

if0

andif0

andif1

(2-1)

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

i

Abstract

With the price declining of capturing devices and the advancement

of computer technologies recently the topics of vision-based intelligent

surveillance system have become more and more popular Using the

technique of computer vision without the needing of manual intervention

surveillance system can automatically analyze images captured by video

camera to embed the functionalities of detection tracking and

identification The advantages include saving human resources saving

cost and providing variety of services

This thesis presents a passing people counting system using the

method of template matching to identify whether the object moving into

or out of the entrance is a pedestrian or not Firstly background

subtraction is employed to find out moving objects Secondly feature

matching is used to identify pedestrian and filter non-pedestrian objects in

detection process Lastly tracking method is applied to recognize the

direction of moving pedestrians and the total numbers of two ways

passing people is counted simultaneously

Experiments were conducted on several passing people sequences

The results reveal that the proposed method can accurately and

effectively detect and track pedestrians so as to successfully achieve the

purpose of people counting

ii

摘要

隨著取像設備價格大幅的降低以及電腦科學的進步以視覺為

基礎的智慧型監控系統成為近年來熱門的研究主題利用電腦視覺的

方法在不需要人為的操作之下讓監控系統能夠自動對攝影機所擷

取的影像進行分析以具有偵測追蹤及辨識的功能而其好處包

括節省人力資源降低成本和提供多樣化的服務

本篇論文提出一個進出口人數統計的系統是利用樣版比對的方

式判斷進出的物體是否為行人首先利用背景相減法來找出前景

物接下來偵測部分利用特徵比對的方式辨識進出的行人過濾

其他的物體最後則是利用追蹤來判定行人進出的方向並統計各個

方向的行人總數

實驗部分是採用數段不同的行人進出影像實驗結果顯示論文所

提出的方法能準確且有效率的偵測並追蹤行人達到統計進出人數的

目的

iii

誌謝

承蒙指導教授 范國清博士與學長 謝君偉博士兩年來的細心指

導與督促從詳細的上課內容研究方向的選擇細部問題解決的方

法到論文撰寫與修改使論文得以順利完成在此致上最誠摯的謝

意范教授不論在學術研究的成果適時提醒解決問題的方向甚至

是待人處事的態度都讓學生受益良多另外也要感謝口試委員蔡

文祥校長王文俊博士謝君偉博士蘇柏齊博士在口試時不吝給

予論文上寶貴的建議與指教使論文得以更臻完善

另外也要感謝圖形識別實驗室博士班與碩士班的學長姐同學

韻榮政儀珮軒怡君英傑皓雲與學弟妹們不僅在課業上

給予珍貴的指導建議同時也豐富了我兩年快樂的實驗室生活另

外也要感謝親切的助理平時幫忙處理行政上的事務辛苦地在校園裡

為實驗室奔波勞走此外要感謝我親愛的家人和女友在求學的路上

給我最大的支持與鼓勵讓我得以全心投入研究而無後顧之憂

付梓在即以最誠摯的心感謝中央大學我的母校謝謝你帶給

我快樂且難忘的兩年並感謝所有愛護我關心我的人最後以此論

文與他們一起分享

iv

目錄

Abstract i

摘要 ii

誌謝 iii

目錄 iv

附圖目錄 vi

附表目錄 viii

第一章 緒論 1

11 研究動機1

12 相關研究2

121 前景物偵測與追蹤2

122 進出人數統計系統3

13 系統簡介6

14 論文架構9

第二章 前處理 10

21 背景建立與更新10

22 邊緣偵測11

221 傳統邊緣偵測器的比較12

222 良好的邊緣偵測法的準則12

223 Canny 邊緣偵測器 13

第三章 行人偵測與辨識 19

31 前景物偵測19

311 HSV 色彩空間介紹20

312 前景點偵測與陰影去除22

313 前景物修補23

v

32 連通元件運算與物體大小的限制 25

33 行人辨識27

331 距離轉換27

332 樣板資料庫的建立29

333 執行效能的改進31

334 樣板比對34

第四章 行人追蹤與統計 37

41 行人定位37

411 監視畫面的分割37

412 行人資訊的表示38

42 行人追蹤與統計39

第五章 實驗結果 43

51 實驗環境與測試資料43

52 行人辨識結果45

53 行人追蹤結果50

54 錯誤分析與討論59

第六章 結論及未來方向 63

61 結論63

62 未來方向64

參考文獻66

vi

附圖目錄

圖 11 用面積估計人數 4

圖 12 利用類神經網路找出頭髮區塊 4

圖 13 透過 range image 找頭5

圖 14 3D 轉 2D 的人體樣板5

圖 15 攝影機水平拍攝而造成的遮蔽現象 6

圖 16 架設示意圖 6

圖 17 系統架構圖 7

圖 18 系統流程圖 8

圖 21 物件邊線示意圖 14

圖 22 邊線方向的分類 15

圖 23 Canny edge detection 的處理流程圖17

圖 24 各種邊緣偵測的結果 18

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖 21

圖 32 前景偵測及陰影去除 23

圖 33 子區塊示意圖 24

圖 34 判斷為前景區塊的方式 24

圖 35 前景物修補後的結果 25

圖 36 連通元件運算和物體大小的限制 26

圖 37 距離轉換的結果 27

圖 38 距離轉換示意圖 28

圖 39 將影像分為 12 個區塊 29

圖 310 樣板資料庫 31

圖 311 樣板分類示意圖32

圖 312 特徵影像做距離轉換320x240 約 30 秒 33

vii

圖 313 樣板做距離轉換70x90 約 035 秒 33

圖 314 DT 樣板 34

圖 315 利用距離轉換做樣板比對的流程圖 35

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果 36

圖 41 畫面分割 37

圖 42 判定行人所在的區塊 38

圖 43 目標物位置對應示意圖 39

圖 44 目標物距離太遠不為對應 40

圖 45 走到一半轉頭往回走 41

圖 46 物體型態固定可利用顏色資訊做追蹤 42

圖 47 位置不同顏色資訊差異大 42

圖 51 實驗測試環境 43

圖 52 行人進出的影像 44

圖 53 同一人在不同位置的辨識結果 45

圖 54 不同人在同一位置的辨識結果 46

圖 55 多人的辨識結果 47

圖 56 非行人物體經過監視區域 48

圖 57 第一段影像序列的行人追蹤統計結果 53

圖 58 第二段影像序列的行人追蹤統計結果 55

圖 59 第三段影像序列的行人追蹤統計結果 58

圖 510 無法偵測到行人 60

圖 511 邊緣資訊不足60

圖 512 兩行人緊靠著行走 60

圖 513 兩行人肩靠肩並行 61

圖 514 陰影無法濾除而被誤判 61

圖 515 追蹤錯誤的情形之一 62

圖 61 使用另一支攝影機做人臉辨識 65

viii

附表目錄

表 41 行人的各項屬性 38

表 51 室外環境行人辨識結果數據 49

表 52 室內環境行人辨識結果數據 49

表 53 室外環境行人追蹤統計結果數據 59

表 54 室內環境行人追蹤統計結果數據 59

1

第一章

緒論

11 研究動機

針對出入口的人數流量計算主要可分為三方面的應用

(1) 商業的統計在某些商業性質的公共場所中會需要統計進出的

人數以作為他們營業上的參考數據例如在世貿中心常常舉辦展覽

活動其中有許多是免費入場的因此我們無法透過售票的數量來

得之參觀的人數

(2) 安全的考量根據台北市政府消防局法條－台北市特定場所容留

人數管制規則[1]針對舞廳酒吧視聽歌唱使用樓地板面積達

五千平方公尺之百貨商場超級市場以及經指定之臨時室內表演展

覽場所都必須對內部的人數作數量上的控制以免發生災害時

人員逃生上造成推撞擠壓肇致傷亡情事

(3) 智慧型建築在某些備有智慧型系統的建築當中其系統可以藉

由統計進出房間的人數來調整空調的強弱或控制室內電燈的開關

而傳統計算進出人數的方式不外乎是使用人力於出入口安排

工作人員站崗利用計數器方式隨時對進場人員進行人數之計算

其缺點為耗費大量的人力資源不合乎經濟效益另外一種採用機械

計算的方式是在出入口設置旋轉欄杆利用人通過時欄杆的旋轉

來驅動計數器此種方法雖然可以節省人力資源但是因為硬體的設

2

計讓人在進出時的行走方向受到限制

隨著科技的進步近年來對於進出人數的計算已改由感測器來

偵測人體例如紅外線熱感器不論在成本或是效果上都有很大的

改善但是當多個人靠在一起通過熱感器時就會發生被判定為一個

大的熱源而無法很精確的偵測出正確的人數

基於上述的理由本研究希望能建立一套進出口的人數統計系

統利用影像處理和電腦視覺的技術達到自動計算進出人數的功

能同時滿足節省人力資源以及讓進出的行人自由行走的目的

12 相關研究

本篇論文的架構可分為偵測辨識和追蹤三個部分以下將對

過去偵測以及追蹤方面的相關研究成果作概略性的介紹而辨識的

部分則因為本系統的攝影機架設位置特殊所以合併在前人的系統

當中一併介紹同時對於前人的系統做一些優缺點的分析

121 前景物偵測與追蹤

首先關於前景物偵測最常使用的就是背景相減法（background

subtraction）HorprasertChen 等人[2] [3]用統計的方法訓練背景模組

（background model）然後將目前的畫面與背景模組的差異分為色

彩（chromaticity）與亮度（brightness）的失真（distortion）並選擇

適當的閥值（threshold）判斷出該像素點（pixel）是屬於前景陰影

或背景Stauffer 等人[4]利用高斯分布的模型（Gaussian distribution

model）將每個像素點分類成前景點或是背景點而 Lipton 等人[5]

將影像序列中相鄰的兩張影像相減令差值大於閥值的點為前景點

3

優點為不用建立背景但在前景物體色彩單調一致的情況下可能會

產生破碎的結果

在找出前景物體之後接下來的步驟就是追蹤在追蹤的研究方

面最有名的就是卡曼濾波器（Kalman filter）[6]由 RE Kalman

於 1960 年所發表共分為兩個階段一為預測下一個時間點的系統

狀態稱為預測機制（time update）二為依實際測量到的資訊對卡

曼濾波器的各項參數做修正調整稱為修正機制（measurement

update）Cavallaro 等人[7]採用以區塊為主的追蹤方法先統計區塊

內的色彩資訊在追蹤時則利用這些色彩資訊來將兩張畫面中的區塊

做對應Chen 等人[8]提出了使用 bipartite graph 來表示物體間對應的

方法在 bipartite graph 中的每一個 node 即為一個物體此方法當物

體間有交錯合併與分裂的情形時仍然能夠正確的找到物體間的對

應關係

122 進出人數統計系統

以面積大小估計人數ChenSnidaro 等人[9] [10]利用背景相減

法得到前景物體的區塊接下來就利用區塊的面積大小判斷當中

的人數有多少其優點為簡單快速缺點則是他預設所有的前景物體

皆為進出者而沒有進一步的去分析是否為人因此今天若有一個

人推著一個娃娃車經過而娃娃車的面積和一個人的面積大小差不

多則此時系統會判定有兩個人通過另外區塊大小所代表的人數

是從影片當中去推估的當同一個區塊內的人數越多則估計上越容

易產生失誤因此[9]提出了一個前景區塊內最多只能有五個人的

限制條件

4

圖 11 用面積估計人數

利用類神經網路找頭髮Adriano 等人[11]提出了利用 SOM 的神

經網路找出屬於人頭髮的區塊再利用人頭的大小過濾掉其他過

大或過小的黑色區塊其缺點為經由 SOM 訓練後的結果無法分

辨頭髮以及其他黑色的物體像是黑色的衣服也會被偵測出來而頭

髮和黑衣服連在一起的區塊則會因為面積太大而被濾掉其他像是

染髮光頭戴帽子等情形也都會影響偵測結果

圖 12 利用類神經網路找出頭髮區塊

利用多攝影機取得 range imageRogic[12]利用三隻校正過的攝

影機取得影像中物體的深度資訊然後找出相對高度較高也就是

離攝影機較近的部分當作是人的頭而他的缺點則是當人舉起雙

手通過監視區域時由於雙手皆是最高物體因此會被當成兩個人計

算另外一個較大的問題是該方法的計算量複雜沒有辦法達到

5

real-time 處理一秒僅能處理三張影格（frame）

圖 13 透過 range image 找頭

樣板比對（template matching）Pang 等人[13]將監視的區域分成

許多網格（grid）每個網格上都建立對應的樣板而樣板是透過透

視投影（perspective projection)的方式從 3D 轉成 2D分成頭部肩

膀和軀幹部分接著就先利用頭髮的顏色資訊從畫面當中找出頭部

的可能區域然後根據頭部所在的位置去跟資料庫中的樣板作比對

圖 14 3D 轉 2D 的人體樣板

6

13 系統簡介

首先先介紹系統攝影機的架設由於攝影機一般水平拍攝會造

成前方物體擋住後面物體的狀況產生嚴重的遮蔽問題如圖 15 所

示

圖 15 攝影機水平拍攝而造成的遮蔽現象

因此本系統將攝影機架設於垂直進出口正上方約四至六公尺

然後由上往下垂直地面拍攝如圖 16 所示如此所獲得的影像皆

為人的頭頂以及部分的軀幹這樣一來便不會產生遮蔽的問題

圖 16 架設示意圖

7

整個「進出人數統計系統」架構主要分為兩大模組行人偵測

模組以及行人計數模組如圖 17 所示

圖 17 系統架構圖

首先將攝影機所取得的影像序列送至偵測模組當中同時也

分別送至前處理的部分做背景建立更新（background updating）和

邊緣偵測（edge detection）在背景建立的部分本篇使用第一張影

像做為參考的背景然後透過統計的方式來做背景更新

當我們有了背景模組在偵測模組中就可以比較目前影像與背

景的差異進而求出前景物體然後透過連通元件（connected

component）的運算之後將面積過小的物體及雜訊去除接著就把

候選物體（candidate）範圍內的邊緣資訊當成特徵與資料庫中的樣

板做比對當比對結果符合系統才判定該物體為行人否則就將其

濾除

8

最後將行人的座標送至追蹤模組進行追蹤直到該行人離開監視

區域後系統才會判定他的移動方向並將該方向的人數累加

詳細的系統流程圖如下圖 18 所示

圖 18 系統流程圖

9

14 論文架構

本論文共分為六章其內容架構如下所述第一章介紹論文的研

究動機過去相關的研究以及系統的架構第二章介紹背景更新以及

邊緣資訊偵測的方法第三章為前景物的偵測以及利用樣板比對的

方式做行人的辨識第四章介紹追蹤的方法和行人進出方向的判別

第五章為實驗結果與討論第六章則對論文提出結論以及未來研究方

向的討論

10

第二章

前處理

21 背景建立與更新

由於本系統的攝影機架設以及拍攝環境皆為固定不動的因此可

以使用基本的背景相減法來偵測前景物體使用背景相減法首先必須

建立背景模組本篇我們很簡單的設定影像序列當中的第一張影格為

背景影像而因為本系統的攝影機是架設在出入口會受到室外光線

或者室內燈光變化的影響所以必須對背景的變化不斷的做更新之

動作故接下來的每張影格都會被拿來做背景更新

在此我們除了將目前的影格和背景比較判斷是否產生變化之

外還多了跟前一張影格做比較來判斷變化是長久的還是短暫的

最後再搭配統計的方式來達到背景更新的效果

系統利用一個和影像大小相同的二維陣列來紀錄畫面中每個像

素點的變化情形判斷式如下

( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( ) ( )⎪

⎪⎩

⎪⎪⎨

⎧

ltminus

gtminusgtminus

ltminusgtminus+

= minus

minus

1t

21tt

1t

21tt

1t

θ xyBGxyI

θ xyIxyI θ xyBGxyI

θ xyIxyI θ xyBGxyI xyd

yxd

if0

andif0

andif1

(2-1)

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

ii

摘要

隨著取像設備價格大幅的降低以及電腦科學的進步以視覺為

基礎的智慧型監控系統成為近年來熱門的研究主題利用電腦視覺的

方法在不需要人為的操作之下讓監控系統能夠自動對攝影機所擷

取的影像進行分析以具有偵測追蹤及辨識的功能而其好處包

括節省人力資源降低成本和提供多樣化的服務

本篇論文提出一個進出口人數統計的系統是利用樣版比對的方

式判斷進出的物體是否為行人首先利用背景相減法來找出前景

物接下來偵測部分利用特徵比對的方式辨識進出的行人過濾

其他的物體最後則是利用追蹤來判定行人進出的方向並統計各個

方向的行人總數

實驗部分是採用數段不同的行人進出影像實驗結果顯示論文所

提出的方法能準確且有效率的偵測並追蹤行人達到統計進出人數的

目的

iii

誌謝

承蒙指導教授 范國清博士與學長 謝君偉博士兩年來的細心指

導與督促從詳細的上課內容研究方向的選擇細部問題解決的方

法到論文撰寫與修改使論文得以順利完成在此致上最誠摯的謝

意范教授不論在學術研究的成果適時提醒解決問題的方向甚至

是待人處事的態度都讓學生受益良多另外也要感謝口試委員蔡

文祥校長王文俊博士謝君偉博士蘇柏齊博士在口試時不吝給

予論文上寶貴的建議與指教使論文得以更臻完善

另外也要感謝圖形識別實驗室博士班與碩士班的學長姐同學

韻榮政儀珮軒怡君英傑皓雲與學弟妹們不僅在課業上

給予珍貴的指導建議同時也豐富了我兩年快樂的實驗室生活另

外也要感謝親切的助理平時幫忙處理行政上的事務辛苦地在校園裡

為實驗室奔波勞走此外要感謝我親愛的家人和女友在求學的路上

給我最大的支持與鼓勵讓我得以全心投入研究而無後顧之憂

付梓在即以最誠摯的心感謝中央大學我的母校謝謝你帶給

我快樂且難忘的兩年並感謝所有愛護我關心我的人最後以此論

文與他們一起分享

iv

目錄

Abstract i

摘要 ii

誌謝 iii

目錄 iv

附圖目錄 vi

附表目錄 viii

第一章 緒論 1

11 研究動機1

12 相關研究2

121 前景物偵測與追蹤2

122 進出人數統計系統3

13 系統簡介6

14 論文架構9

第二章 前處理 10

21 背景建立與更新10

22 邊緣偵測11

221 傳統邊緣偵測器的比較12

222 良好的邊緣偵測法的準則12

223 Canny 邊緣偵測器 13

第三章 行人偵測與辨識 19

31 前景物偵測19

311 HSV 色彩空間介紹20

312 前景點偵測與陰影去除22

313 前景物修補23

v

32 連通元件運算與物體大小的限制 25

33 行人辨識27

331 距離轉換27

332 樣板資料庫的建立29

333 執行效能的改進31

334 樣板比對34

第四章 行人追蹤與統計 37

41 行人定位37

411 監視畫面的分割37

412 行人資訊的表示38

42 行人追蹤與統計39

第五章 實驗結果 43

51 實驗環境與測試資料43

52 行人辨識結果45

53 行人追蹤結果50

54 錯誤分析與討論59

第六章 結論及未來方向 63

61 結論63

62 未來方向64

參考文獻66

vi

附圖目錄

圖 11 用面積估計人數 4

圖 12 利用類神經網路找出頭髮區塊 4

圖 13 透過 range image 找頭5

圖 14 3D 轉 2D 的人體樣板5

圖 15 攝影機水平拍攝而造成的遮蔽現象 6

圖 16 架設示意圖 6

圖 17 系統架構圖 7

圖 18 系統流程圖 8

圖 21 物件邊線示意圖 14

圖 22 邊線方向的分類 15

圖 23 Canny edge detection 的處理流程圖17

圖 24 各種邊緣偵測的結果 18

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖 21

圖 32 前景偵測及陰影去除 23

圖 33 子區塊示意圖 24

圖 34 判斷為前景區塊的方式 24

圖 35 前景物修補後的結果 25

圖 36 連通元件運算和物體大小的限制 26

圖 37 距離轉換的結果 27

圖 38 距離轉換示意圖 28

圖 39 將影像分為 12 個區塊 29

圖 310 樣板資料庫 31

圖 311 樣板分類示意圖32

圖 312 特徵影像做距離轉換320x240 約 30 秒 33

vii

圖 313 樣板做距離轉換70x90 約 035 秒 33

圖 314 DT 樣板 34

圖 315 利用距離轉換做樣板比對的流程圖 35

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果 36

圖 41 畫面分割 37

圖 42 判定行人所在的區塊 38

圖 43 目標物位置對應示意圖 39

圖 44 目標物距離太遠不為對應 40

圖 45 走到一半轉頭往回走 41

圖 46 物體型態固定可利用顏色資訊做追蹤 42

圖 47 位置不同顏色資訊差異大 42

圖 51 實驗測試環境 43

圖 52 行人進出的影像 44

圖 53 同一人在不同位置的辨識結果 45

圖 54 不同人在同一位置的辨識結果 46

圖 55 多人的辨識結果 47

圖 56 非行人物體經過監視區域 48

圖 57 第一段影像序列的行人追蹤統計結果 53

圖 58 第二段影像序列的行人追蹤統計結果 55

圖 59 第三段影像序列的行人追蹤統計結果 58

圖 510 無法偵測到行人 60

圖 511 邊緣資訊不足60

圖 512 兩行人緊靠著行走 60

圖 513 兩行人肩靠肩並行 61

圖 514 陰影無法濾除而被誤判 61

圖 515 追蹤錯誤的情形之一 62

圖 61 使用另一支攝影機做人臉辨識 65

viii

附表目錄

表 41 行人的各項屬性 38

表 51 室外環境行人辨識結果數據 49

表 52 室內環境行人辨識結果數據 49

表 53 室外環境行人追蹤統計結果數據 59

表 54 室內環境行人追蹤統計結果數據 59

1

第一章

緒論

11 研究動機

針對出入口的人數流量計算主要可分為三方面的應用

(1) 商業的統計在某些商業性質的公共場所中會需要統計進出的

人數以作為他們營業上的參考數據例如在世貿中心常常舉辦展覽

活動其中有許多是免費入場的因此我們無法透過售票的數量來

得之參觀的人數

(2) 安全的考量根據台北市政府消防局法條－台北市特定場所容留

人數管制規則[1]針對舞廳酒吧視聽歌唱使用樓地板面積達

五千平方公尺之百貨商場超級市場以及經指定之臨時室內表演展

覽場所都必須對內部的人數作數量上的控制以免發生災害時

人員逃生上造成推撞擠壓肇致傷亡情事

(3) 智慧型建築在某些備有智慧型系統的建築當中其系統可以藉

由統計進出房間的人數來調整空調的強弱或控制室內電燈的開關

而傳統計算進出人數的方式不外乎是使用人力於出入口安排

工作人員站崗利用計數器方式隨時對進場人員進行人數之計算

其缺點為耗費大量的人力資源不合乎經濟效益另外一種採用機械

計算的方式是在出入口設置旋轉欄杆利用人通過時欄杆的旋轉

來驅動計數器此種方法雖然可以節省人力資源但是因為硬體的設

2

計讓人在進出時的行走方向受到限制

隨著科技的進步近年來對於進出人數的計算已改由感測器來

偵測人體例如紅外線熱感器不論在成本或是效果上都有很大的

改善但是當多個人靠在一起通過熱感器時就會發生被判定為一個

大的熱源而無法很精確的偵測出正確的人數

基於上述的理由本研究希望能建立一套進出口的人數統計系

統利用影像處理和電腦視覺的技術達到自動計算進出人數的功

能同時滿足節省人力資源以及讓進出的行人自由行走的目的

12 相關研究

本篇論文的架構可分為偵測辨識和追蹤三個部分以下將對

過去偵測以及追蹤方面的相關研究成果作概略性的介紹而辨識的

部分則因為本系統的攝影機架設位置特殊所以合併在前人的系統

當中一併介紹同時對於前人的系統做一些優缺點的分析

121 前景物偵測與追蹤

首先關於前景物偵測最常使用的就是背景相減法（background

subtraction）HorprasertChen 等人[2] [3]用統計的方法訓練背景模組

（background model）然後將目前的畫面與背景模組的差異分為色

彩（chromaticity）與亮度（brightness）的失真（distortion）並選擇

適當的閥值（threshold）判斷出該像素點（pixel）是屬於前景陰影

或背景Stauffer 等人[4]利用高斯分布的模型（Gaussian distribution

model）將每個像素點分類成前景點或是背景點而 Lipton 等人[5]

將影像序列中相鄰的兩張影像相減令差值大於閥值的點為前景點

3

優點為不用建立背景但在前景物體色彩單調一致的情況下可能會

產生破碎的結果

在找出前景物體之後接下來的步驟就是追蹤在追蹤的研究方

面最有名的就是卡曼濾波器（Kalman filter）[6]由 RE Kalman

於 1960 年所發表共分為兩個階段一為預測下一個時間點的系統

狀態稱為預測機制（time update）二為依實際測量到的資訊對卡

曼濾波器的各項參數做修正調整稱為修正機制（measurement

update）Cavallaro 等人[7]採用以區塊為主的追蹤方法先統計區塊

內的色彩資訊在追蹤時則利用這些色彩資訊來將兩張畫面中的區塊

做對應Chen 等人[8]提出了使用 bipartite graph 來表示物體間對應的

方法在 bipartite graph 中的每一個 node 即為一個物體此方法當物

體間有交錯合併與分裂的情形時仍然能夠正確的找到物體間的對

應關係

122 進出人數統計系統

以面積大小估計人數ChenSnidaro 等人[9] [10]利用背景相減

法得到前景物體的區塊接下來就利用區塊的面積大小判斷當中

的人數有多少其優點為簡單快速缺點則是他預設所有的前景物體

皆為進出者而沒有進一步的去分析是否為人因此今天若有一個

人推著一個娃娃車經過而娃娃車的面積和一個人的面積大小差不

多則此時系統會判定有兩個人通過另外區塊大小所代表的人數

是從影片當中去推估的當同一個區塊內的人數越多則估計上越容

易產生失誤因此[9]提出了一個前景區塊內最多只能有五個人的

限制條件

4

圖 11 用面積估計人數

利用類神經網路找頭髮Adriano 等人[11]提出了利用 SOM 的神

經網路找出屬於人頭髮的區塊再利用人頭的大小過濾掉其他過

大或過小的黑色區塊其缺點為經由 SOM 訓練後的結果無法分

辨頭髮以及其他黑色的物體像是黑色的衣服也會被偵測出來而頭

髮和黑衣服連在一起的區塊則會因為面積太大而被濾掉其他像是

染髮光頭戴帽子等情形也都會影響偵測結果

圖 12 利用類神經網路找出頭髮區塊

利用多攝影機取得 range imageRogic[12]利用三隻校正過的攝

影機取得影像中物體的深度資訊然後找出相對高度較高也就是

離攝影機較近的部分當作是人的頭而他的缺點則是當人舉起雙

手通過監視區域時由於雙手皆是最高物體因此會被當成兩個人計

算另外一個較大的問題是該方法的計算量複雜沒有辦法達到

5

real-time 處理一秒僅能處理三張影格（frame）

圖 13 透過 range image 找頭

樣板比對（template matching）Pang 等人[13]將監視的區域分成

許多網格（grid）每個網格上都建立對應的樣板而樣板是透過透

視投影（perspective projection)的方式從 3D 轉成 2D分成頭部肩

膀和軀幹部分接著就先利用頭髮的顏色資訊從畫面當中找出頭部

的可能區域然後根據頭部所在的位置去跟資料庫中的樣板作比對

圖 14 3D 轉 2D 的人體樣板

6

13 系統簡介

首先先介紹系統攝影機的架設由於攝影機一般水平拍攝會造

成前方物體擋住後面物體的狀況產生嚴重的遮蔽問題如圖 15 所

示

圖 15 攝影機水平拍攝而造成的遮蔽現象

因此本系統將攝影機架設於垂直進出口正上方約四至六公尺

然後由上往下垂直地面拍攝如圖 16 所示如此所獲得的影像皆

為人的頭頂以及部分的軀幹這樣一來便不會產生遮蔽的問題

圖 16 架設示意圖

7

整個「進出人數統計系統」架構主要分為兩大模組行人偵測

模組以及行人計數模組如圖 17 所示

圖 17 系統架構圖

首先將攝影機所取得的影像序列送至偵測模組當中同時也

分別送至前處理的部分做背景建立更新（background updating）和

邊緣偵測（edge detection）在背景建立的部分本篇使用第一張影

像做為參考的背景然後透過統計的方式來做背景更新

當我們有了背景模組在偵測模組中就可以比較目前影像與背

景的差異進而求出前景物體然後透過連通元件（connected

component）的運算之後將面積過小的物體及雜訊去除接著就把

候選物體（candidate）範圍內的邊緣資訊當成特徵與資料庫中的樣

板做比對當比對結果符合系統才判定該物體為行人否則就將其

濾除

8

最後將行人的座標送至追蹤模組進行追蹤直到該行人離開監視

區域後系統才會判定他的移動方向並將該方向的人數累加

詳細的系統流程圖如下圖 18 所示

圖 18 系統流程圖

9

14 論文架構

本論文共分為六章其內容架構如下所述第一章介紹論文的研

究動機過去相關的研究以及系統的架構第二章介紹背景更新以及

邊緣資訊偵測的方法第三章為前景物的偵測以及利用樣板比對的

方式做行人的辨識第四章介紹追蹤的方法和行人進出方向的判別

第五章為實驗結果與討論第六章則對論文提出結論以及未來研究方

向的討論

10

第二章

前處理

21 背景建立與更新

由於本系統的攝影機架設以及拍攝環境皆為固定不動的因此可

以使用基本的背景相減法來偵測前景物體使用背景相減法首先必須

建立背景模組本篇我們很簡單的設定影像序列當中的第一張影格為

背景影像而因為本系統的攝影機是架設在出入口會受到室外光線

或者室內燈光變化的影響所以必須對背景的變化不斷的做更新之

動作故接下來的每張影格都會被拿來做背景更新

在此我們除了將目前的影格和背景比較判斷是否產生變化之

外還多了跟前一張影格做比較來判斷變化是長久的還是短暫的

最後再搭配統計的方式來達到背景更新的效果

系統利用一個和影像大小相同的二維陣列來紀錄畫面中每個像

素點的變化情形判斷式如下

( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( ) ( )⎪

⎪⎩

⎪⎪⎨

⎧

ltminus

gtminusgtminus

ltminusgtminus+

= minus

minus

1t

21tt

1t

21tt

1t

θ xyBGxyI

θ xyIxyI θ xyBGxyI

θ xyIxyI θ xyBGxyI xyd

yxd

if0

andif0

andif1

(2-1)

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

iii

誌謝

承蒙指導教授 范國清博士與學長 謝君偉博士兩年來的細心指

導與督促從詳細的上課內容研究方向的選擇細部問題解決的方

法到論文撰寫與修改使論文得以順利完成在此致上最誠摯的謝

意范教授不論在學術研究的成果適時提醒解決問題的方向甚至

是待人處事的態度都讓學生受益良多另外也要感謝口試委員蔡

文祥校長王文俊博士謝君偉博士蘇柏齊博士在口試時不吝給

予論文上寶貴的建議與指教使論文得以更臻完善

另外也要感謝圖形識別實驗室博士班與碩士班的學長姐同學

韻榮政儀珮軒怡君英傑皓雲與學弟妹們不僅在課業上

給予珍貴的指導建議同時也豐富了我兩年快樂的實驗室生活另

外也要感謝親切的助理平時幫忙處理行政上的事務辛苦地在校園裡

為實驗室奔波勞走此外要感謝我親愛的家人和女友在求學的路上

給我最大的支持與鼓勵讓我得以全心投入研究而無後顧之憂

付梓在即以最誠摯的心感謝中央大學我的母校謝謝你帶給

我快樂且難忘的兩年並感謝所有愛護我關心我的人最後以此論

文與他們一起分享

iv

目錄

Abstract i

摘要 ii

誌謝 iii

目錄 iv

附圖目錄 vi

附表目錄 viii

第一章 緒論 1

11 研究動機1

12 相關研究2

121 前景物偵測與追蹤2

122 進出人數統計系統3

13 系統簡介6

14 論文架構9

第二章 前處理 10

21 背景建立與更新10

22 邊緣偵測11

221 傳統邊緣偵測器的比較12

222 良好的邊緣偵測法的準則12

223 Canny 邊緣偵測器 13

第三章 行人偵測與辨識 19

31 前景物偵測19

311 HSV 色彩空間介紹20

312 前景點偵測與陰影去除22

313 前景物修補23

v

32 連通元件運算與物體大小的限制 25

33 行人辨識27

331 距離轉換27

332 樣板資料庫的建立29

333 執行效能的改進31

334 樣板比對34

第四章 行人追蹤與統計 37

41 行人定位37

411 監視畫面的分割37

412 行人資訊的表示38

42 行人追蹤與統計39

第五章 實驗結果 43

51 實驗環境與測試資料43

52 行人辨識結果45

53 行人追蹤結果50

54 錯誤分析與討論59

第六章 結論及未來方向 63

61 結論63

62 未來方向64

參考文獻66

vi

附圖目錄

圖 11 用面積估計人數 4

圖 12 利用類神經網路找出頭髮區塊 4

圖 13 透過 range image 找頭5

圖 14 3D 轉 2D 的人體樣板5

圖 15 攝影機水平拍攝而造成的遮蔽現象 6

圖 16 架設示意圖 6

圖 17 系統架構圖 7

圖 18 系統流程圖 8

圖 21 物件邊線示意圖 14

圖 22 邊線方向的分類 15

圖 23 Canny edge detection 的處理流程圖17

圖 24 各種邊緣偵測的結果 18

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖 21

圖 32 前景偵測及陰影去除 23

圖 33 子區塊示意圖 24

圖 34 判斷為前景區塊的方式 24

圖 35 前景物修補後的結果 25

圖 36 連通元件運算和物體大小的限制 26

圖 37 距離轉換的結果 27

圖 38 距離轉換示意圖 28

圖 39 將影像分為 12 個區塊 29

圖 310 樣板資料庫 31

圖 311 樣板分類示意圖32

圖 312 特徵影像做距離轉換320x240 約 30 秒 33

vii

圖 313 樣板做距離轉換70x90 約 035 秒 33

圖 314 DT 樣板 34

圖 315 利用距離轉換做樣板比對的流程圖 35

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果 36

圖 41 畫面分割 37

圖 42 判定行人所在的區塊 38

圖 43 目標物位置對應示意圖 39

圖 44 目標物距離太遠不為對應 40

圖 45 走到一半轉頭往回走 41

圖 46 物體型態固定可利用顏色資訊做追蹤 42

圖 47 位置不同顏色資訊差異大 42

圖 51 實驗測試環境 43

圖 52 行人進出的影像 44

圖 53 同一人在不同位置的辨識結果 45

圖 54 不同人在同一位置的辨識結果 46

圖 55 多人的辨識結果 47

圖 56 非行人物體經過監視區域 48

圖 57 第一段影像序列的行人追蹤統計結果 53

圖 58 第二段影像序列的行人追蹤統計結果 55

圖 59 第三段影像序列的行人追蹤統計結果 58

圖 510 無法偵測到行人 60

圖 511 邊緣資訊不足60

圖 512 兩行人緊靠著行走 60

圖 513 兩行人肩靠肩並行 61

圖 514 陰影無法濾除而被誤判 61

圖 515 追蹤錯誤的情形之一 62

圖 61 使用另一支攝影機做人臉辨識 65

viii

附表目錄

表 41 行人的各項屬性 38

表 51 室外環境行人辨識結果數據 49

表 52 室內環境行人辨識結果數據 49

表 53 室外環境行人追蹤統計結果數據 59

表 54 室內環境行人追蹤統計結果數據 59

1

第一章

緒論

11 研究動機

針對出入口的人數流量計算主要可分為三方面的應用

(1) 商業的統計在某些商業性質的公共場所中會需要統計進出的

人數以作為他們營業上的參考數據例如在世貿中心常常舉辦展覽

活動其中有許多是免費入場的因此我們無法透過售票的數量來

得之參觀的人數

(2) 安全的考量根據台北市政府消防局法條－台北市特定場所容留

人數管制規則[1]針對舞廳酒吧視聽歌唱使用樓地板面積達

五千平方公尺之百貨商場超級市場以及經指定之臨時室內表演展

覽場所都必須對內部的人數作數量上的控制以免發生災害時

人員逃生上造成推撞擠壓肇致傷亡情事

(3) 智慧型建築在某些備有智慧型系統的建築當中其系統可以藉

由統計進出房間的人數來調整空調的強弱或控制室內電燈的開關

而傳統計算進出人數的方式不外乎是使用人力於出入口安排

工作人員站崗利用計數器方式隨時對進場人員進行人數之計算

其缺點為耗費大量的人力資源不合乎經濟效益另外一種採用機械

計算的方式是在出入口設置旋轉欄杆利用人通過時欄杆的旋轉

來驅動計數器此種方法雖然可以節省人力資源但是因為硬體的設

2

計讓人在進出時的行走方向受到限制

隨著科技的進步近年來對於進出人數的計算已改由感測器來

偵測人體例如紅外線熱感器不論在成本或是效果上都有很大的

改善但是當多個人靠在一起通過熱感器時就會發生被判定為一個

大的熱源而無法很精確的偵測出正確的人數

基於上述的理由本研究希望能建立一套進出口的人數統計系

統利用影像處理和電腦視覺的技術達到自動計算進出人數的功

能同時滿足節省人力資源以及讓進出的行人自由行走的目的

12 相關研究

本篇論文的架構可分為偵測辨識和追蹤三個部分以下將對

過去偵測以及追蹤方面的相關研究成果作概略性的介紹而辨識的

部分則因為本系統的攝影機架設位置特殊所以合併在前人的系統

當中一併介紹同時對於前人的系統做一些優缺點的分析

121 前景物偵測與追蹤

首先關於前景物偵測最常使用的就是背景相減法（background

subtraction）HorprasertChen 等人[2] [3]用統計的方法訓練背景模組

（background model）然後將目前的畫面與背景模組的差異分為色

彩（chromaticity）與亮度（brightness）的失真（distortion）並選擇

適當的閥值（threshold）判斷出該像素點（pixel）是屬於前景陰影

或背景Stauffer 等人[4]利用高斯分布的模型（Gaussian distribution

model）將每個像素點分類成前景點或是背景點而 Lipton 等人[5]

將影像序列中相鄰的兩張影像相減令差值大於閥值的點為前景點

3

優點為不用建立背景但在前景物體色彩單調一致的情況下可能會

產生破碎的結果

在找出前景物體之後接下來的步驟就是追蹤在追蹤的研究方

面最有名的就是卡曼濾波器（Kalman filter）[6]由 RE Kalman

於 1960 年所發表共分為兩個階段一為預測下一個時間點的系統

狀態稱為預測機制（time update）二為依實際測量到的資訊對卡

曼濾波器的各項參數做修正調整稱為修正機制（measurement

update）Cavallaro 等人[7]採用以區塊為主的追蹤方法先統計區塊

內的色彩資訊在追蹤時則利用這些色彩資訊來將兩張畫面中的區塊

做對應Chen 等人[8]提出了使用 bipartite graph 來表示物體間對應的

方法在 bipartite graph 中的每一個 node 即為一個物體此方法當物

體間有交錯合併與分裂的情形時仍然能夠正確的找到物體間的對

應關係

122 進出人數統計系統

以面積大小估計人數ChenSnidaro 等人[9] [10]利用背景相減

法得到前景物體的區塊接下來就利用區塊的面積大小判斷當中

的人數有多少其優點為簡單快速缺點則是他預設所有的前景物體

皆為進出者而沒有進一步的去分析是否為人因此今天若有一個

人推著一個娃娃車經過而娃娃車的面積和一個人的面積大小差不

多則此時系統會判定有兩個人通過另外區塊大小所代表的人數

是從影片當中去推估的當同一個區塊內的人數越多則估計上越容

易產生失誤因此[9]提出了一個前景區塊內最多只能有五個人的

限制條件

4

圖 11 用面積估計人數

利用類神經網路找頭髮Adriano 等人[11]提出了利用 SOM 的神

經網路找出屬於人頭髮的區塊再利用人頭的大小過濾掉其他過

大或過小的黑色區塊其缺點為經由 SOM 訓練後的結果無法分

辨頭髮以及其他黑色的物體像是黑色的衣服也會被偵測出來而頭

髮和黑衣服連在一起的區塊則會因為面積太大而被濾掉其他像是

染髮光頭戴帽子等情形也都會影響偵測結果

圖 12 利用類神經網路找出頭髮區塊

利用多攝影機取得 range imageRogic[12]利用三隻校正過的攝

影機取得影像中物體的深度資訊然後找出相對高度較高也就是

離攝影機較近的部分當作是人的頭而他的缺點則是當人舉起雙

手通過監視區域時由於雙手皆是最高物體因此會被當成兩個人計

算另外一個較大的問題是該方法的計算量複雜沒有辦法達到

5

real-time 處理一秒僅能處理三張影格（frame）

圖 13 透過 range image 找頭

樣板比對（template matching）Pang 等人[13]將監視的區域分成

許多網格（grid）每個網格上都建立對應的樣板而樣板是透過透

視投影（perspective projection)的方式從 3D 轉成 2D分成頭部肩

膀和軀幹部分接著就先利用頭髮的顏色資訊從畫面當中找出頭部

的可能區域然後根據頭部所在的位置去跟資料庫中的樣板作比對

圖 14 3D 轉 2D 的人體樣板

6

13 系統簡介

首先先介紹系統攝影機的架設由於攝影機一般水平拍攝會造

成前方物體擋住後面物體的狀況產生嚴重的遮蔽問題如圖 15 所

示

圖 15 攝影機水平拍攝而造成的遮蔽現象

因此本系統將攝影機架設於垂直進出口正上方約四至六公尺

然後由上往下垂直地面拍攝如圖 16 所示如此所獲得的影像皆

為人的頭頂以及部分的軀幹這樣一來便不會產生遮蔽的問題

圖 16 架設示意圖

7

整個「進出人數統計系統」架構主要分為兩大模組行人偵測

模組以及行人計數模組如圖 17 所示

圖 17 系統架構圖

首先將攝影機所取得的影像序列送至偵測模組當中同時也

分別送至前處理的部分做背景建立更新（background updating）和

邊緣偵測（edge detection）在背景建立的部分本篇使用第一張影

像做為參考的背景然後透過統計的方式來做背景更新

當我們有了背景模組在偵測模組中就可以比較目前影像與背

景的差異進而求出前景物體然後透過連通元件（connected

component）的運算之後將面積過小的物體及雜訊去除接著就把

候選物體（candidate）範圍內的邊緣資訊當成特徵與資料庫中的樣

板做比對當比對結果符合系統才判定該物體為行人否則就將其

濾除

8

最後將行人的座標送至追蹤模組進行追蹤直到該行人離開監視

區域後系統才會判定他的移動方向並將該方向的人數累加

詳細的系統流程圖如下圖 18 所示

圖 18 系統流程圖

9

14 論文架構

本論文共分為六章其內容架構如下所述第一章介紹論文的研

究動機過去相關的研究以及系統的架構第二章介紹背景更新以及

邊緣資訊偵測的方法第三章為前景物的偵測以及利用樣板比對的

方式做行人的辨識第四章介紹追蹤的方法和行人進出方向的判別

第五章為實驗結果與討論第六章則對論文提出結論以及未來研究方

向的討論

10

第二章

前處理

21 背景建立與更新

由於本系統的攝影機架設以及拍攝環境皆為固定不動的因此可

以使用基本的背景相減法來偵測前景物體使用背景相減法首先必須

建立背景模組本篇我們很簡單的設定影像序列當中的第一張影格為

背景影像而因為本系統的攝影機是架設在出入口會受到室外光線

或者室內燈光變化的影響所以必須對背景的變化不斷的做更新之

動作故接下來的每張影格都會被拿來做背景更新

在此我們除了將目前的影格和背景比較判斷是否產生變化之

外還多了跟前一張影格做比較來判斷變化是長久的還是短暫的

最後再搭配統計的方式來達到背景更新的效果

系統利用一個和影像大小相同的二維陣列來紀錄畫面中每個像

素點的變化情形判斷式如下

( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( ) ( )⎪

⎪⎩

⎪⎪⎨

⎧

ltminus

gtminusgtminus

ltminusgtminus+

= minus

minus

1t

21tt

1t

21tt

1t

θ xyBGxyI

θ xyIxyI θ xyBGxyI

θ xyIxyI θ xyBGxyI xyd

yxd

if0

andif0

andif1

(2-1)

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

iv

目錄

Abstract i

摘要 ii

誌謝 iii

目錄 iv

附圖目錄 vi

附表目錄 viii

第一章 緒論 1

11 研究動機1

12 相關研究2

121 前景物偵測與追蹤2

122 進出人數統計系統3

13 系統簡介6

14 論文架構9

第二章 前處理 10

21 背景建立與更新10

22 邊緣偵測11

221 傳統邊緣偵測器的比較12

222 良好的邊緣偵測法的準則12

223 Canny 邊緣偵測器 13

第三章 行人偵測與辨識 19

31 前景物偵測19

311 HSV 色彩空間介紹20

312 前景點偵測與陰影去除22

313 前景物修補23

v

32 連通元件運算與物體大小的限制 25

33 行人辨識27

331 距離轉換27

332 樣板資料庫的建立29

333 執行效能的改進31

334 樣板比對34

第四章 行人追蹤與統計 37

41 行人定位37

411 監視畫面的分割37

412 行人資訊的表示38

42 行人追蹤與統計39

第五章 實驗結果 43

51 實驗環境與測試資料43

52 行人辨識結果45

53 行人追蹤結果50

54 錯誤分析與討論59

第六章 結論及未來方向 63

61 結論63

62 未來方向64

參考文獻66

vi

附圖目錄

圖 11 用面積估計人數 4

圖 12 利用類神經網路找出頭髮區塊 4

圖 13 透過 range image 找頭5

圖 14 3D 轉 2D 的人體樣板5

圖 15 攝影機水平拍攝而造成的遮蔽現象 6

圖 16 架設示意圖 6

圖 17 系統架構圖 7

圖 18 系統流程圖 8

圖 21 物件邊線示意圖 14

圖 22 邊線方向的分類 15

圖 23 Canny edge detection 的處理流程圖17

圖 24 各種邊緣偵測的結果 18

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖 21

圖 32 前景偵測及陰影去除 23

圖 33 子區塊示意圖 24

圖 34 判斷為前景區塊的方式 24

圖 35 前景物修補後的結果 25

圖 36 連通元件運算和物體大小的限制 26

圖 37 距離轉換的結果 27

圖 38 距離轉換示意圖 28

圖 39 將影像分為 12 個區塊 29

圖 310 樣板資料庫 31

圖 311 樣板分類示意圖32

圖 312 特徵影像做距離轉換320x240 約 30 秒 33

vii

圖 313 樣板做距離轉換70x90 約 035 秒 33

圖 314 DT 樣板 34

圖 315 利用距離轉換做樣板比對的流程圖 35

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果 36

圖 41 畫面分割 37

圖 42 判定行人所在的區塊 38

圖 43 目標物位置對應示意圖 39

圖 44 目標物距離太遠不為對應 40

圖 45 走到一半轉頭往回走 41

圖 46 物體型態固定可利用顏色資訊做追蹤 42

圖 47 位置不同顏色資訊差異大 42

圖 51 實驗測試環境 43

圖 52 行人進出的影像 44

圖 53 同一人在不同位置的辨識結果 45

圖 54 不同人在同一位置的辨識結果 46

圖 55 多人的辨識結果 47

圖 56 非行人物體經過監視區域 48

圖 57 第一段影像序列的行人追蹤統計結果 53

圖 58 第二段影像序列的行人追蹤統計結果 55

圖 59 第三段影像序列的行人追蹤統計結果 58

圖 510 無法偵測到行人 60

圖 511 邊緣資訊不足60

圖 512 兩行人緊靠著行走 60

圖 513 兩行人肩靠肩並行 61

圖 514 陰影無法濾除而被誤判 61

圖 515 追蹤錯誤的情形之一 62

圖 61 使用另一支攝影機做人臉辨識 65

viii

附表目錄

表 41 行人的各項屬性 38

表 51 室外環境行人辨識結果數據 49

表 52 室內環境行人辨識結果數據 49

表 53 室外環境行人追蹤統計結果數據 59

表 54 室內環境行人追蹤統計結果數據 59

1

第一章

緒論

11 研究動機

針對出入口的人數流量計算主要可分為三方面的應用

(1) 商業的統計在某些商業性質的公共場所中會需要統計進出的

人數以作為他們營業上的參考數據例如在世貿中心常常舉辦展覽

活動其中有許多是免費入場的因此我們無法透過售票的數量來

得之參觀的人數

(2) 安全的考量根據台北市政府消防局法條－台北市特定場所容留

人數管制規則[1]針對舞廳酒吧視聽歌唱使用樓地板面積達

五千平方公尺之百貨商場超級市場以及經指定之臨時室內表演展

覽場所都必須對內部的人數作數量上的控制以免發生災害時

人員逃生上造成推撞擠壓肇致傷亡情事

(3) 智慧型建築在某些備有智慧型系統的建築當中其系統可以藉

由統計進出房間的人數來調整空調的強弱或控制室內電燈的開關

而傳統計算進出人數的方式不外乎是使用人力於出入口安排

工作人員站崗利用計數器方式隨時對進場人員進行人數之計算

其缺點為耗費大量的人力資源不合乎經濟效益另外一種採用機械

計算的方式是在出入口設置旋轉欄杆利用人通過時欄杆的旋轉

來驅動計數器此種方法雖然可以節省人力資源但是因為硬體的設

2

計讓人在進出時的行走方向受到限制

隨著科技的進步近年來對於進出人數的計算已改由感測器來

偵測人體例如紅外線熱感器不論在成本或是效果上都有很大的

改善但是當多個人靠在一起通過熱感器時就會發生被判定為一個

大的熱源而無法很精確的偵測出正確的人數

基於上述的理由本研究希望能建立一套進出口的人數統計系

統利用影像處理和電腦視覺的技術達到自動計算進出人數的功

能同時滿足節省人力資源以及讓進出的行人自由行走的目的

12 相關研究

本篇論文的架構可分為偵測辨識和追蹤三個部分以下將對

過去偵測以及追蹤方面的相關研究成果作概略性的介紹而辨識的

部分則因為本系統的攝影機架設位置特殊所以合併在前人的系統

當中一併介紹同時對於前人的系統做一些優缺點的分析

121 前景物偵測與追蹤

首先關於前景物偵測最常使用的就是背景相減法（background

subtraction）HorprasertChen 等人[2] [3]用統計的方法訓練背景模組

（background model）然後將目前的畫面與背景模組的差異分為色

彩（chromaticity）與亮度（brightness）的失真（distortion）並選擇

適當的閥值（threshold）判斷出該像素點（pixel）是屬於前景陰影

或背景Stauffer 等人[4]利用高斯分布的模型（Gaussian distribution

model）將每個像素點分類成前景點或是背景點而 Lipton 等人[5]

將影像序列中相鄰的兩張影像相減令差值大於閥值的點為前景點

3

優點為不用建立背景但在前景物體色彩單調一致的情況下可能會

產生破碎的結果

在找出前景物體之後接下來的步驟就是追蹤在追蹤的研究方

面最有名的就是卡曼濾波器（Kalman filter）[6]由 RE Kalman

於 1960 年所發表共分為兩個階段一為預測下一個時間點的系統

狀態稱為預測機制（time update）二為依實際測量到的資訊對卡

曼濾波器的各項參數做修正調整稱為修正機制（measurement

update）Cavallaro 等人[7]採用以區塊為主的追蹤方法先統計區塊

內的色彩資訊在追蹤時則利用這些色彩資訊來將兩張畫面中的區塊

做對應Chen 等人[8]提出了使用 bipartite graph 來表示物體間對應的

方法在 bipartite graph 中的每一個 node 即為一個物體此方法當物

體間有交錯合併與分裂的情形時仍然能夠正確的找到物體間的對

應關係

122 進出人數統計系統

以面積大小估計人數ChenSnidaro 等人[9] [10]利用背景相減

法得到前景物體的區塊接下來就利用區塊的面積大小判斷當中

的人數有多少其優點為簡單快速缺點則是他預設所有的前景物體

皆為進出者而沒有進一步的去分析是否為人因此今天若有一個

人推著一個娃娃車經過而娃娃車的面積和一個人的面積大小差不

多則此時系統會判定有兩個人通過另外區塊大小所代表的人數

是從影片當中去推估的當同一個區塊內的人數越多則估計上越容

易產生失誤因此[9]提出了一個前景區塊內最多只能有五個人的

限制條件

4

圖 11 用面積估計人數

利用類神經網路找頭髮Adriano 等人[11]提出了利用 SOM 的神

經網路找出屬於人頭髮的區塊再利用人頭的大小過濾掉其他過

大或過小的黑色區塊其缺點為經由 SOM 訓練後的結果無法分

辨頭髮以及其他黑色的物體像是黑色的衣服也會被偵測出來而頭

髮和黑衣服連在一起的區塊則會因為面積太大而被濾掉其他像是

染髮光頭戴帽子等情形也都會影響偵測結果

圖 12 利用類神經網路找出頭髮區塊

利用多攝影機取得 range imageRogic[12]利用三隻校正過的攝

影機取得影像中物體的深度資訊然後找出相對高度較高也就是

離攝影機較近的部分當作是人的頭而他的缺點則是當人舉起雙

手通過監視區域時由於雙手皆是最高物體因此會被當成兩個人計

算另外一個較大的問題是該方法的計算量複雜沒有辦法達到

5

real-time 處理一秒僅能處理三張影格（frame）

圖 13 透過 range image 找頭

樣板比對（template matching）Pang 等人[13]將監視的區域分成

許多網格（grid）每個網格上都建立對應的樣板而樣板是透過透

視投影（perspective projection)的方式從 3D 轉成 2D分成頭部肩

膀和軀幹部分接著就先利用頭髮的顏色資訊從畫面當中找出頭部

的可能區域然後根據頭部所在的位置去跟資料庫中的樣板作比對

圖 14 3D 轉 2D 的人體樣板

6

13 系統簡介

首先先介紹系統攝影機的架設由於攝影機一般水平拍攝會造

成前方物體擋住後面物體的狀況產生嚴重的遮蔽問題如圖 15 所

示

圖 15 攝影機水平拍攝而造成的遮蔽現象

因此本系統將攝影機架設於垂直進出口正上方約四至六公尺

然後由上往下垂直地面拍攝如圖 16 所示如此所獲得的影像皆

為人的頭頂以及部分的軀幹這樣一來便不會產生遮蔽的問題

圖 16 架設示意圖

7

整個「進出人數統計系統」架構主要分為兩大模組行人偵測

模組以及行人計數模組如圖 17 所示

圖 17 系統架構圖

首先將攝影機所取得的影像序列送至偵測模組當中同時也

分別送至前處理的部分做背景建立更新（background updating）和

邊緣偵測（edge detection）在背景建立的部分本篇使用第一張影

像做為參考的背景然後透過統計的方式來做背景更新

當我們有了背景模組在偵測模組中就可以比較目前影像與背

景的差異進而求出前景物體然後透過連通元件（connected

component）的運算之後將面積過小的物體及雜訊去除接著就把

候選物體（candidate）範圍內的邊緣資訊當成特徵與資料庫中的樣

板做比對當比對結果符合系統才判定該物體為行人否則就將其

濾除

8

最後將行人的座標送至追蹤模組進行追蹤直到該行人離開監視

區域後系統才會判定他的移動方向並將該方向的人數累加

詳細的系統流程圖如下圖 18 所示

圖 18 系統流程圖

9

14 論文架構

本論文共分為六章其內容架構如下所述第一章介紹論文的研

究動機過去相關的研究以及系統的架構第二章介紹背景更新以及

邊緣資訊偵測的方法第三章為前景物的偵測以及利用樣板比對的

方式做行人的辨識第四章介紹追蹤的方法和行人進出方向的判別

第五章為實驗結果與討論第六章則對論文提出結論以及未來研究方

向的討論

10

第二章

前處理

21 背景建立與更新

由於本系統的攝影機架設以及拍攝環境皆為固定不動的因此可

以使用基本的背景相減法來偵測前景物體使用背景相減法首先必須

建立背景模組本篇我們很簡單的設定影像序列當中的第一張影格為

背景影像而因為本系統的攝影機是架設在出入口會受到室外光線

或者室內燈光變化的影響所以必須對背景的變化不斷的做更新之

動作故接下來的每張影格都會被拿來做背景更新

在此我們除了將目前的影格和背景比較判斷是否產生變化之

外還多了跟前一張影格做比較來判斷變化是長久的還是短暫的

最後再搭配統計的方式來達到背景更新的效果

系統利用一個和影像大小相同的二維陣列來紀錄畫面中每個像

素點的變化情形判斷式如下

( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( ) ( )⎪

⎪⎩

⎪⎪⎨

⎧

ltminus

gtminusgtminus

ltminusgtminus+

= minus

minus

1t

21tt

1t

21tt

1t

θ xyBGxyI

θ xyIxyI θ xyBGxyI

θ xyIxyI θ xyBGxyI xyd

yxd

if0

andif0

andif1

(2-1)

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

v

32 連通元件運算與物體大小的限制 25

33 行人辨識27

331 距離轉換27

332 樣板資料庫的建立29

333 執行效能的改進31

334 樣板比對34

第四章 行人追蹤與統計 37

41 行人定位37

411 監視畫面的分割37

412 行人資訊的表示38

42 行人追蹤與統計39

第五章 實驗結果 43

51 實驗環境與測試資料43

52 行人辨識結果45

53 行人追蹤結果50

54 錯誤分析與討論59

第六章 結論及未來方向 63

61 結論63

62 未來方向64

參考文獻66

vi

附圖目錄

圖 11 用面積估計人數 4

圖 12 利用類神經網路找出頭髮區塊 4

圖 13 透過 range image 找頭5

圖 14 3D 轉 2D 的人體樣板5

圖 15 攝影機水平拍攝而造成的遮蔽現象 6

圖 16 架設示意圖 6

圖 17 系統架構圖 7

圖 18 系統流程圖 8

圖 21 物件邊線示意圖 14

圖 22 邊線方向的分類 15

圖 23 Canny edge detection 的處理流程圖17

圖 24 各種邊緣偵測的結果 18

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖 21

圖 32 前景偵測及陰影去除 23

圖 33 子區塊示意圖 24

圖 34 判斷為前景區塊的方式 24

圖 35 前景物修補後的結果 25

圖 36 連通元件運算和物體大小的限制 26

圖 37 距離轉換的結果 27

圖 38 距離轉換示意圖 28

圖 39 將影像分為 12 個區塊 29

圖 310 樣板資料庫 31

圖 311 樣板分類示意圖32

圖 312 特徵影像做距離轉換320x240 約 30 秒 33

vii

圖 313 樣板做距離轉換70x90 約 035 秒 33

圖 314 DT 樣板 34

圖 315 利用距離轉換做樣板比對的流程圖 35

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果 36

圖 41 畫面分割 37

圖 42 判定行人所在的區塊 38

圖 43 目標物位置對應示意圖 39

圖 44 目標物距離太遠不為對應 40

圖 45 走到一半轉頭往回走 41

圖 46 物體型態固定可利用顏色資訊做追蹤 42

圖 47 位置不同顏色資訊差異大 42

圖 51 實驗測試環境 43

圖 52 行人進出的影像 44

圖 53 同一人在不同位置的辨識結果 45

圖 54 不同人在同一位置的辨識結果 46

圖 55 多人的辨識結果 47

圖 56 非行人物體經過監視區域 48

圖 57 第一段影像序列的行人追蹤統計結果 53

圖 58 第二段影像序列的行人追蹤統計結果 55

圖 59 第三段影像序列的行人追蹤統計結果 58

圖 510 無法偵測到行人 60

圖 511 邊緣資訊不足60

圖 512 兩行人緊靠著行走 60

圖 513 兩行人肩靠肩並行 61

圖 514 陰影無法濾除而被誤判 61

圖 515 追蹤錯誤的情形之一 62

圖 61 使用另一支攝影機做人臉辨識 65

viii

附表目錄

表 41 行人的各項屬性 38

表 51 室外環境行人辨識結果數據 49

表 52 室內環境行人辨識結果數據 49

表 53 室外環境行人追蹤統計結果數據 59

表 54 室內環境行人追蹤統計結果數據 59

1

第一章

緒論

11 研究動機

針對出入口的人數流量計算主要可分為三方面的應用

(1) 商業的統計在某些商業性質的公共場所中會需要統計進出的

人數以作為他們營業上的參考數據例如在世貿中心常常舉辦展覽

活動其中有許多是免費入場的因此我們無法透過售票的數量來

得之參觀的人數

(2) 安全的考量根據台北市政府消防局法條－台北市特定場所容留

人數管制規則[1]針對舞廳酒吧視聽歌唱使用樓地板面積達

五千平方公尺之百貨商場超級市場以及經指定之臨時室內表演展

覽場所都必須對內部的人數作數量上的控制以免發生災害時

人員逃生上造成推撞擠壓肇致傷亡情事

(3) 智慧型建築在某些備有智慧型系統的建築當中其系統可以藉

由統計進出房間的人數來調整空調的強弱或控制室內電燈的開關

而傳統計算進出人數的方式不外乎是使用人力於出入口安排

工作人員站崗利用計數器方式隨時對進場人員進行人數之計算

其缺點為耗費大量的人力資源不合乎經濟效益另外一種採用機械

計算的方式是在出入口設置旋轉欄杆利用人通過時欄杆的旋轉

來驅動計數器此種方法雖然可以節省人力資源但是因為硬體的設

2

計讓人在進出時的行走方向受到限制

隨著科技的進步近年來對於進出人數的計算已改由感測器來

偵測人體例如紅外線熱感器不論在成本或是效果上都有很大的

改善但是當多個人靠在一起通過熱感器時就會發生被判定為一個

大的熱源而無法很精確的偵測出正確的人數

基於上述的理由本研究希望能建立一套進出口的人數統計系

統利用影像處理和電腦視覺的技術達到自動計算進出人數的功

能同時滿足節省人力資源以及讓進出的行人自由行走的目的

12 相關研究

本篇論文的架構可分為偵測辨識和追蹤三個部分以下將對

過去偵測以及追蹤方面的相關研究成果作概略性的介紹而辨識的

部分則因為本系統的攝影機架設位置特殊所以合併在前人的系統

當中一併介紹同時對於前人的系統做一些優缺點的分析

121 前景物偵測與追蹤

首先關於前景物偵測最常使用的就是背景相減法（background

subtraction）HorprasertChen 等人[2] [3]用統計的方法訓練背景模組

（background model）然後將目前的畫面與背景模組的差異分為色

彩（chromaticity）與亮度（brightness）的失真（distortion）並選擇

適當的閥值（threshold）判斷出該像素點（pixel）是屬於前景陰影

或背景Stauffer 等人[4]利用高斯分布的模型（Gaussian distribution

model）將每個像素點分類成前景點或是背景點而 Lipton 等人[5]

將影像序列中相鄰的兩張影像相減令差值大於閥值的點為前景點

3

優點為不用建立背景但在前景物體色彩單調一致的情況下可能會

產生破碎的結果

在找出前景物體之後接下來的步驟就是追蹤在追蹤的研究方

面最有名的就是卡曼濾波器（Kalman filter）[6]由 RE Kalman

於 1960 年所發表共分為兩個階段一為預測下一個時間點的系統

狀態稱為預測機制（time update）二為依實際測量到的資訊對卡

曼濾波器的各項參數做修正調整稱為修正機制（measurement

update）Cavallaro 等人[7]採用以區塊為主的追蹤方法先統計區塊

內的色彩資訊在追蹤時則利用這些色彩資訊來將兩張畫面中的區塊

做對應Chen 等人[8]提出了使用 bipartite graph 來表示物體間對應的

方法在 bipartite graph 中的每一個 node 即為一個物體此方法當物

體間有交錯合併與分裂的情形時仍然能夠正確的找到物體間的對

應關係

122 進出人數統計系統

以面積大小估計人數ChenSnidaro 等人[9] [10]利用背景相減

法得到前景物體的區塊接下來就利用區塊的面積大小判斷當中

的人數有多少其優點為簡單快速缺點則是他預設所有的前景物體

皆為進出者而沒有進一步的去分析是否為人因此今天若有一個

人推著一個娃娃車經過而娃娃車的面積和一個人的面積大小差不

多則此時系統會判定有兩個人通過另外區塊大小所代表的人數

是從影片當中去推估的當同一個區塊內的人數越多則估計上越容

易產生失誤因此[9]提出了一個前景區塊內最多只能有五個人的

限制條件

4

圖 11 用面積估計人數

利用類神經網路找頭髮Adriano 等人[11]提出了利用 SOM 的神

經網路找出屬於人頭髮的區塊再利用人頭的大小過濾掉其他過

大或過小的黑色區塊其缺點為經由 SOM 訓練後的結果無法分

辨頭髮以及其他黑色的物體像是黑色的衣服也會被偵測出來而頭

髮和黑衣服連在一起的區塊則會因為面積太大而被濾掉其他像是

染髮光頭戴帽子等情形也都會影響偵測結果

圖 12 利用類神經網路找出頭髮區塊

利用多攝影機取得 range imageRogic[12]利用三隻校正過的攝

影機取得影像中物體的深度資訊然後找出相對高度較高也就是

離攝影機較近的部分當作是人的頭而他的缺點則是當人舉起雙

手通過監視區域時由於雙手皆是最高物體因此會被當成兩個人計

算另外一個較大的問題是該方法的計算量複雜沒有辦法達到

5

real-time 處理一秒僅能處理三張影格（frame）

圖 13 透過 range image 找頭

樣板比對（template matching）Pang 等人[13]將監視的區域分成

許多網格（grid）每個網格上都建立對應的樣板而樣板是透過透

視投影（perspective projection)的方式從 3D 轉成 2D分成頭部肩

膀和軀幹部分接著就先利用頭髮的顏色資訊從畫面當中找出頭部

的可能區域然後根據頭部所在的位置去跟資料庫中的樣板作比對

圖 14 3D 轉 2D 的人體樣板

6

13 系統簡介

首先先介紹系統攝影機的架設由於攝影機一般水平拍攝會造

成前方物體擋住後面物體的狀況產生嚴重的遮蔽問題如圖 15 所

示

圖 15 攝影機水平拍攝而造成的遮蔽現象

因此本系統將攝影機架設於垂直進出口正上方約四至六公尺

然後由上往下垂直地面拍攝如圖 16 所示如此所獲得的影像皆

為人的頭頂以及部分的軀幹這樣一來便不會產生遮蔽的問題

圖 16 架設示意圖

7

整個「進出人數統計系統」架構主要分為兩大模組行人偵測

模組以及行人計數模組如圖 17 所示

圖 17 系統架構圖

首先將攝影機所取得的影像序列送至偵測模組當中同時也

分別送至前處理的部分做背景建立更新（background updating）和

邊緣偵測（edge detection）在背景建立的部分本篇使用第一張影

像做為參考的背景然後透過統計的方式來做背景更新

當我們有了背景模組在偵測模組中就可以比較目前影像與背

景的差異進而求出前景物體然後透過連通元件（connected

component）的運算之後將面積過小的物體及雜訊去除接著就把

候選物體（candidate）範圍內的邊緣資訊當成特徵與資料庫中的樣

板做比對當比對結果符合系統才判定該物體為行人否則就將其

濾除

8

最後將行人的座標送至追蹤模組進行追蹤直到該行人離開監視

區域後系統才會判定他的移動方向並將該方向的人數累加

詳細的系統流程圖如下圖 18 所示

圖 18 系統流程圖

9

14 論文架構

本論文共分為六章其內容架構如下所述第一章介紹論文的研

究動機過去相關的研究以及系統的架構第二章介紹背景更新以及

邊緣資訊偵測的方法第三章為前景物的偵測以及利用樣板比對的

方式做行人的辨識第四章介紹追蹤的方法和行人進出方向的判別

第五章為實驗結果與討論第六章則對論文提出結論以及未來研究方

向的討論

10

第二章

前處理

21 背景建立與更新

由於本系統的攝影機架設以及拍攝環境皆為固定不動的因此可

以使用基本的背景相減法來偵測前景物體使用背景相減法首先必須

建立背景模組本篇我們很簡單的設定影像序列當中的第一張影格為

背景影像而因為本系統的攝影機是架設在出入口會受到室外光線

或者室內燈光變化的影響所以必須對背景的變化不斷的做更新之

動作故接下來的每張影格都會被拿來做背景更新

在此我們除了將目前的影格和背景比較判斷是否產生變化之

外還多了跟前一張影格做比較來判斷變化是長久的還是短暫的

最後再搭配統計的方式來達到背景更新的效果

系統利用一個和影像大小相同的二維陣列來紀錄畫面中每個像

素點的變化情形判斷式如下

( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( ) ( )⎪

⎪⎩

⎪⎪⎨

⎧

ltminus

gtminusgtminus

ltminusgtminus+

= minus

minus

1t

21tt

1t

21tt

1t

θ xyBGxyI

θ xyIxyI θ xyBGxyI

θ xyIxyI θ xyBGxyI xyd

yxd

if0

andif0

andif1

(2-1)

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

vi

附圖目錄

圖 11 用面積估計人數 4

圖 12 利用類神經網路找出頭髮區塊 4

圖 13 透過 range image 找頭5

圖 14 3D 轉 2D 的人體樣板5

圖 15 攝影機水平拍攝而造成的遮蔽現象 6

圖 16 架設示意圖 6

圖 17 系統架構圖 7

圖 18 系統流程圖 8

圖 21 物件邊線示意圖 14

圖 22 邊線方向的分類 15

圖 23 Canny edge detection 的處理流程圖17

圖 24 各種邊緣偵測的結果 18

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖 21

圖 32 前景偵測及陰影去除 23

圖 33 子區塊示意圖 24

圖 34 判斷為前景區塊的方式 24

圖 35 前景物修補後的結果 25

圖 36 連通元件運算和物體大小的限制 26

圖 37 距離轉換的結果 27

圖 38 距離轉換示意圖 28

圖 39 將影像分為 12 個區塊 29

圖 310 樣板資料庫 31

圖 311 樣板分類示意圖32

圖 312 特徵影像做距離轉換320x240 約 30 秒 33

vii

圖 313 樣板做距離轉換70x90 約 035 秒 33

圖 314 DT 樣板 34

圖 315 利用距離轉換做樣板比對的流程圖 35

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果 36

圖 41 畫面分割 37

圖 42 判定行人所在的區塊 38

圖 43 目標物位置對應示意圖 39

圖 44 目標物距離太遠不為對應 40

圖 45 走到一半轉頭往回走 41

圖 46 物體型態固定可利用顏色資訊做追蹤 42

圖 47 位置不同顏色資訊差異大 42

圖 51 實驗測試環境 43

圖 52 行人進出的影像 44

圖 53 同一人在不同位置的辨識結果 45

圖 54 不同人在同一位置的辨識結果 46

圖 55 多人的辨識結果 47

圖 56 非行人物體經過監視區域 48

圖 57 第一段影像序列的行人追蹤統計結果 53

圖 58 第二段影像序列的行人追蹤統計結果 55

圖 59 第三段影像序列的行人追蹤統計結果 58

圖 510 無法偵測到行人 60

圖 511 邊緣資訊不足60

圖 512 兩行人緊靠著行走 60

圖 513 兩行人肩靠肩並行 61

圖 514 陰影無法濾除而被誤判 61

圖 515 追蹤錯誤的情形之一 62

圖 61 使用另一支攝影機做人臉辨識 65

viii

附表目錄

表 41 行人的各項屬性 38

表 51 室外環境行人辨識結果數據 49

表 52 室內環境行人辨識結果數據 49

表 53 室外環境行人追蹤統計結果數據 59

表 54 室內環境行人追蹤統計結果數據 59

1

第一章

緒論

11 研究動機

針對出入口的人數流量計算主要可分為三方面的應用

(1) 商業的統計在某些商業性質的公共場所中會需要統計進出的

人數以作為他們營業上的參考數據例如在世貿中心常常舉辦展覽

活動其中有許多是免費入場的因此我們無法透過售票的數量來

得之參觀的人數

(2) 安全的考量根據台北市政府消防局法條－台北市特定場所容留

人數管制規則[1]針對舞廳酒吧視聽歌唱使用樓地板面積達

五千平方公尺之百貨商場超級市場以及經指定之臨時室內表演展

覽場所都必須對內部的人數作數量上的控制以免發生災害時

人員逃生上造成推撞擠壓肇致傷亡情事

(3) 智慧型建築在某些備有智慧型系統的建築當中其系統可以藉

由統計進出房間的人數來調整空調的強弱或控制室內電燈的開關

而傳統計算進出人數的方式不外乎是使用人力於出入口安排

工作人員站崗利用計數器方式隨時對進場人員進行人數之計算

其缺點為耗費大量的人力資源不合乎經濟效益另外一種採用機械

計算的方式是在出入口設置旋轉欄杆利用人通過時欄杆的旋轉

來驅動計數器此種方法雖然可以節省人力資源但是因為硬體的設

2

計讓人在進出時的行走方向受到限制

隨著科技的進步近年來對於進出人數的計算已改由感測器來

偵測人體例如紅外線熱感器不論在成本或是效果上都有很大的

改善但是當多個人靠在一起通過熱感器時就會發生被判定為一個

大的熱源而無法很精確的偵測出正確的人數

基於上述的理由本研究希望能建立一套進出口的人數統計系

統利用影像處理和電腦視覺的技術達到自動計算進出人數的功

能同時滿足節省人力資源以及讓進出的行人自由行走的目的

12 相關研究

本篇論文的架構可分為偵測辨識和追蹤三個部分以下將對

過去偵測以及追蹤方面的相關研究成果作概略性的介紹而辨識的

部分則因為本系統的攝影機架設位置特殊所以合併在前人的系統

當中一併介紹同時對於前人的系統做一些優缺點的分析

121 前景物偵測與追蹤

首先關於前景物偵測最常使用的就是背景相減法（background

subtraction）HorprasertChen 等人[2] [3]用統計的方法訓練背景模組

（background model）然後將目前的畫面與背景模組的差異分為色

彩（chromaticity）與亮度（brightness）的失真（distortion）並選擇

適當的閥值（threshold）判斷出該像素點（pixel）是屬於前景陰影

或背景Stauffer 等人[4]利用高斯分布的模型（Gaussian distribution

model）將每個像素點分類成前景點或是背景點而 Lipton 等人[5]

將影像序列中相鄰的兩張影像相減令差值大於閥值的點為前景點

3

優點為不用建立背景但在前景物體色彩單調一致的情況下可能會

產生破碎的結果

在找出前景物體之後接下來的步驟就是追蹤在追蹤的研究方

面最有名的就是卡曼濾波器（Kalman filter）[6]由 RE Kalman

於 1960 年所發表共分為兩個階段一為預測下一個時間點的系統

狀態稱為預測機制（time update）二為依實際測量到的資訊對卡

曼濾波器的各項參數做修正調整稱為修正機制（measurement

update）Cavallaro 等人[7]採用以區塊為主的追蹤方法先統計區塊

內的色彩資訊在追蹤時則利用這些色彩資訊來將兩張畫面中的區塊

做對應Chen 等人[8]提出了使用 bipartite graph 來表示物體間對應的

方法在 bipartite graph 中的每一個 node 即為一個物體此方法當物

體間有交錯合併與分裂的情形時仍然能夠正確的找到物體間的對

應關係

122 進出人數統計系統

以面積大小估計人數ChenSnidaro 等人[9] [10]利用背景相減

法得到前景物體的區塊接下來就利用區塊的面積大小判斷當中

的人數有多少其優點為簡單快速缺點則是他預設所有的前景物體

皆為進出者而沒有進一步的去分析是否為人因此今天若有一個

人推著一個娃娃車經過而娃娃車的面積和一個人的面積大小差不

多則此時系統會判定有兩個人通過另外區塊大小所代表的人數

是從影片當中去推估的當同一個區塊內的人數越多則估計上越容

易產生失誤因此[9]提出了一個前景區塊內最多只能有五個人的

限制條件

4

圖 11 用面積估計人數

利用類神經網路找頭髮Adriano 等人[11]提出了利用 SOM 的神

經網路找出屬於人頭髮的區塊再利用人頭的大小過濾掉其他過

大或過小的黑色區塊其缺點為經由 SOM 訓練後的結果無法分

辨頭髮以及其他黑色的物體像是黑色的衣服也會被偵測出來而頭

髮和黑衣服連在一起的區塊則會因為面積太大而被濾掉其他像是

染髮光頭戴帽子等情形也都會影響偵測結果

圖 12 利用類神經網路找出頭髮區塊

利用多攝影機取得 range imageRogic[12]利用三隻校正過的攝

影機取得影像中物體的深度資訊然後找出相對高度較高也就是

離攝影機較近的部分當作是人的頭而他的缺點則是當人舉起雙

手通過監視區域時由於雙手皆是最高物體因此會被當成兩個人計

算另外一個較大的問題是該方法的計算量複雜沒有辦法達到

5

real-time 處理一秒僅能處理三張影格（frame）

圖 13 透過 range image 找頭

樣板比對（template matching）Pang 等人[13]將監視的區域分成

許多網格（grid）每個網格上都建立對應的樣板而樣板是透過透

視投影（perspective projection)的方式從 3D 轉成 2D分成頭部肩

膀和軀幹部分接著就先利用頭髮的顏色資訊從畫面當中找出頭部

的可能區域然後根據頭部所在的位置去跟資料庫中的樣板作比對

圖 14 3D 轉 2D 的人體樣板

6

13 系統簡介

首先先介紹系統攝影機的架設由於攝影機一般水平拍攝會造

成前方物體擋住後面物體的狀況產生嚴重的遮蔽問題如圖 15 所

示

圖 15 攝影機水平拍攝而造成的遮蔽現象

因此本系統將攝影機架設於垂直進出口正上方約四至六公尺

然後由上往下垂直地面拍攝如圖 16 所示如此所獲得的影像皆

為人的頭頂以及部分的軀幹這樣一來便不會產生遮蔽的問題

圖 16 架設示意圖

7

整個「進出人數統計系統」架構主要分為兩大模組行人偵測

模組以及行人計數模組如圖 17 所示

圖 17 系統架構圖

首先將攝影機所取得的影像序列送至偵測模組當中同時也

分別送至前處理的部分做背景建立更新（background updating）和

邊緣偵測（edge detection）在背景建立的部分本篇使用第一張影

像做為參考的背景然後透過統計的方式來做背景更新

當我們有了背景模組在偵測模組中就可以比較目前影像與背

景的差異進而求出前景物體然後透過連通元件（connected

component）的運算之後將面積過小的物體及雜訊去除接著就把

候選物體（candidate）範圍內的邊緣資訊當成特徵與資料庫中的樣

板做比對當比對結果符合系統才判定該物體為行人否則就將其

濾除

8

最後將行人的座標送至追蹤模組進行追蹤直到該行人離開監視

區域後系統才會判定他的移動方向並將該方向的人數累加

詳細的系統流程圖如下圖 18 所示

圖 18 系統流程圖

9

14 論文架構

本論文共分為六章其內容架構如下所述第一章介紹論文的研

究動機過去相關的研究以及系統的架構第二章介紹背景更新以及

邊緣資訊偵測的方法第三章為前景物的偵測以及利用樣板比對的

方式做行人的辨識第四章介紹追蹤的方法和行人進出方向的判別

第五章為實驗結果與討論第六章則對論文提出結論以及未來研究方

向的討論

10

第二章

前處理

21 背景建立與更新

由於本系統的攝影機架設以及拍攝環境皆為固定不動的因此可

以使用基本的背景相減法來偵測前景物體使用背景相減法首先必須

建立背景模組本篇我們很簡單的設定影像序列當中的第一張影格為

背景影像而因為本系統的攝影機是架設在出入口會受到室外光線

或者室內燈光變化的影響所以必須對背景的變化不斷的做更新之

動作故接下來的每張影格都會被拿來做背景更新

在此我們除了將目前的影格和背景比較判斷是否產生變化之

外還多了跟前一張影格做比較來判斷變化是長久的還是短暫的

最後再搭配統計的方式來達到背景更新的效果

系統利用一個和影像大小相同的二維陣列來紀錄畫面中每個像

素點的變化情形判斷式如下

( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( ) ( )⎪

⎪⎩

⎪⎪⎨

⎧

ltminus

gtminusgtminus

ltminusgtminus+

= minus

minus

1t

21tt

1t

21tt

1t

θ xyBGxyI

θ xyIxyI θ xyBGxyI

θ xyIxyI θ xyBGxyI xyd

yxd

if0

andif0

andif1

(2-1)

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

vii

圖 313 樣板做距離轉換70x90 約 035 秒 33

圖 314 DT 樣板 34

圖 315 利用距離轉換做樣板比對的流程圖 35

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果 36

圖 41 畫面分割 37

圖 42 判定行人所在的區塊 38

圖 43 目標物位置對應示意圖 39

圖 44 目標物距離太遠不為對應 40

圖 45 走到一半轉頭往回走 41

圖 46 物體型態固定可利用顏色資訊做追蹤 42

圖 47 位置不同顏色資訊差異大 42

圖 51 實驗測試環境 43

圖 52 行人進出的影像 44

圖 53 同一人在不同位置的辨識結果 45

圖 54 不同人在同一位置的辨識結果 46

圖 55 多人的辨識結果 47

圖 56 非行人物體經過監視區域 48

圖 57 第一段影像序列的行人追蹤統計結果 53

圖 58 第二段影像序列的行人追蹤統計結果 55

圖 59 第三段影像序列的行人追蹤統計結果 58

圖 510 無法偵測到行人 60

圖 511 邊緣資訊不足60

圖 512 兩行人緊靠著行走 60

圖 513 兩行人肩靠肩並行 61

圖 514 陰影無法濾除而被誤判 61

圖 515 追蹤錯誤的情形之一 62

圖 61 使用另一支攝影機做人臉辨識 65

viii

附表目錄

表 41 行人的各項屬性 38

表 51 室外環境行人辨識結果數據 49

表 52 室內環境行人辨識結果數據 49

表 53 室外環境行人追蹤統計結果數據 59

表 54 室內環境行人追蹤統計結果數據 59

1

第一章

緒論

11 研究動機

針對出入口的人數流量計算主要可分為三方面的應用

(1) 商業的統計在某些商業性質的公共場所中會需要統計進出的

人數以作為他們營業上的參考數據例如在世貿中心常常舉辦展覽

活動其中有許多是免費入場的因此我們無法透過售票的數量來

得之參觀的人數

(2) 安全的考量根據台北市政府消防局法條－台北市特定場所容留

人數管制規則[1]針對舞廳酒吧視聽歌唱使用樓地板面積達

五千平方公尺之百貨商場超級市場以及經指定之臨時室內表演展

覽場所都必須對內部的人數作數量上的控制以免發生災害時

人員逃生上造成推撞擠壓肇致傷亡情事

(3) 智慧型建築在某些備有智慧型系統的建築當中其系統可以藉

由統計進出房間的人數來調整空調的強弱或控制室內電燈的開關

而傳統計算進出人數的方式不外乎是使用人力於出入口安排

工作人員站崗利用計數器方式隨時對進場人員進行人數之計算

其缺點為耗費大量的人力資源不合乎經濟效益另外一種採用機械

計算的方式是在出入口設置旋轉欄杆利用人通過時欄杆的旋轉

來驅動計數器此種方法雖然可以節省人力資源但是因為硬體的設

2

計讓人在進出時的行走方向受到限制

隨著科技的進步近年來對於進出人數的計算已改由感測器來

偵測人體例如紅外線熱感器不論在成本或是效果上都有很大的

改善但是當多個人靠在一起通過熱感器時就會發生被判定為一個

大的熱源而無法很精確的偵測出正確的人數

基於上述的理由本研究希望能建立一套進出口的人數統計系

統利用影像處理和電腦視覺的技術達到自動計算進出人數的功

能同時滿足節省人力資源以及讓進出的行人自由行走的目的

12 相關研究

本篇論文的架構可分為偵測辨識和追蹤三個部分以下將對

過去偵測以及追蹤方面的相關研究成果作概略性的介紹而辨識的

部分則因為本系統的攝影機架設位置特殊所以合併在前人的系統

當中一併介紹同時對於前人的系統做一些優缺點的分析

121 前景物偵測與追蹤

首先關於前景物偵測最常使用的就是背景相減法（background

subtraction）HorprasertChen 等人[2] [3]用統計的方法訓練背景模組

（background model）然後將目前的畫面與背景模組的差異分為色

彩（chromaticity）與亮度（brightness）的失真（distortion）並選擇

適當的閥值（threshold）判斷出該像素點（pixel）是屬於前景陰影

或背景Stauffer 等人[4]利用高斯分布的模型（Gaussian distribution

model）將每個像素點分類成前景點或是背景點而 Lipton 等人[5]

將影像序列中相鄰的兩張影像相減令差值大於閥值的點為前景點

3

優點為不用建立背景但在前景物體色彩單調一致的情況下可能會

產生破碎的結果

在找出前景物體之後接下來的步驟就是追蹤在追蹤的研究方

面最有名的就是卡曼濾波器（Kalman filter）[6]由 RE Kalman

於 1960 年所發表共分為兩個階段一為預測下一個時間點的系統

狀態稱為預測機制（time update）二為依實際測量到的資訊對卡

曼濾波器的各項參數做修正調整稱為修正機制（measurement

update）Cavallaro 等人[7]採用以區塊為主的追蹤方法先統計區塊

內的色彩資訊在追蹤時則利用這些色彩資訊來將兩張畫面中的區塊

做對應Chen 等人[8]提出了使用 bipartite graph 來表示物體間對應的

方法在 bipartite graph 中的每一個 node 即為一個物體此方法當物

體間有交錯合併與分裂的情形時仍然能夠正確的找到物體間的對

應關係

122 進出人數統計系統

以面積大小估計人數ChenSnidaro 等人[9] [10]利用背景相減

法得到前景物體的區塊接下來就利用區塊的面積大小判斷當中

的人數有多少其優點為簡單快速缺點則是他預設所有的前景物體

皆為進出者而沒有進一步的去分析是否為人因此今天若有一個

人推著一個娃娃車經過而娃娃車的面積和一個人的面積大小差不

多則此時系統會判定有兩個人通過另外區塊大小所代表的人數

是從影片當中去推估的當同一個區塊內的人數越多則估計上越容

易產生失誤因此[9]提出了一個前景區塊內最多只能有五個人的

限制條件

4

圖 11 用面積估計人數

利用類神經網路找頭髮Adriano 等人[11]提出了利用 SOM 的神

經網路找出屬於人頭髮的區塊再利用人頭的大小過濾掉其他過

大或過小的黑色區塊其缺點為經由 SOM 訓練後的結果無法分

辨頭髮以及其他黑色的物體像是黑色的衣服也會被偵測出來而頭

髮和黑衣服連在一起的區塊則會因為面積太大而被濾掉其他像是

染髮光頭戴帽子等情形也都會影響偵測結果

圖 12 利用類神經網路找出頭髮區塊

利用多攝影機取得 range imageRogic[12]利用三隻校正過的攝

影機取得影像中物體的深度資訊然後找出相對高度較高也就是

離攝影機較近的部分當作是人的頭而他的缺點則是當人舉起雙

手通過監視區域時由於雙手皆是最高物體因此會被當成兩個人計

算另外一個較大的問題是該方法的計算量複雜沒有辦法達到

5

real-time 處理一秒僅能處理三張影格（frame）

圖 13 透過 range image 找頭

樣板比對（template matching）Pang 等人[13]將監視的區域分成

許多網格（grid）每個網格上都建立對應的樣板而樣板是透過透

視投影（perspective projection)的方式從 3D 轉成 2D分成頭部肩

膀和軀幹部分接著就先利用頭髮的顏色資訊從畫面當中找出頭部

的可能區域然後根據頭部所在的位置去跟資料庫中的樣板作比對

圖 14 3D 轉 2D 的人體樣板

6

13 系統簡介

首先先介紹系統攝影機的架設由於攝影機一般水平拍攝會造

成前方物體擋住後面物體的狀況產生嚴重的遮蔽問題如圖 15 所

示

圖 15 攝影機水平拍攝而造成的遮蔽現象

因此本系統將攝影機架設於垂直進出口正上方約四至六公尺

然後由上往下垂直地面拍攝如圖 16 所示如此所獲得的影像皆

為人的頭頂以及部分的軀幹這樣一來便不會產生遮蔽的問題

圖 16 架設示意圖

7

整個「進出人數統計系統」架構主要分為兩大模組行人偵測

模組以及行人計數模組如圖 17 所示

圖 17 系統架構圖

首先將攝影機所取得的影像序列送至偵測模組當中同時也

分別送至前處理的部分做背景建立更新（background updating）和

邊緣偵測（edge detection）在背景建立的部分本篇使用第一張影

像做為參考的背景然後透過統計的方式來做背景更新

當我們有了背景模組在偵測模組中就可以比較目前影像與背

景的差異進而求出前景物體然後透過連通元件（connected

component）的運算之後將面積過小的物體及雜訊去除接著就把

候選物體（candidate）範圍內的邊緣資訊當成特徵與資料庫中的樣

板做比對當比對結果符合系統才判定該物體為行人否則就將其

濾除

8

最後將行人的座標送至追蹤模組進行追蹤直到該行人離開監視

區域後系統才會判定他的移動方向並將該方向的人數累加

詳細的系統流程圖如下圖 18 所示

圖 18 系統流程圖

9

14 論文架構

本論文共分為六章其內容架構如下所述第一章介紹論文的研

究動機過去相關的研究以及系統的架構第二章介紹背景更新以及

邊緣資訊偵測的方法第三章為前景物的偵測以及利用樣板比對的

方式做行人的辨識第四章介紹追蹤的方法和行人進出方向的判別

第五章為實驗結果與討論第六章則對論文提出結論以及未來研究方

向的討論

10

第二章

前處理

21 背景建立與更新

由於本系統的攝影機架設以及拍攝環境皆為固定不動的因此可

以使用基本的背景相減法來偵測前景物體使用背景相減法首先必須

建立背景模組本篇我們很簡單的設定影像序列當中的第一張影格為

背景影像而因為本系統的攝影機是架設在出入口會受到室外光線

或者室內燈光變化的影響所以必須對背景的變化不斷的做更新之

動作故接下來的每張影格都會被拿來做背景更新

在此我們除了將目前的影格和背景比較判斷是否產生變化之

外還多了跟前一張影格做比較來判斷變化是長久的還是短暫的

最後再搭配統計的方式來達到背景更新的效果

系統利用一個和影像大小相同的二維陣列來紀錄畫面中每個像

素點的變化情形判斷式如下

( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( ) ( )⎪

⎪⎩

⎪⎪⎨

⎧

ltminus

gtminusgtminus

ltminusgtminus+

= minus

minus

1t

21tt

1t

21tt

1t

θ xyBGxyI

θ xyIxyI θ xyBGxyI

θ xyIxyI θ xyBGxyI xyd

yxd

if0

andif0

andif1

(2-1)

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

viii

附表目錄

表 41 行人的各項屬性 38

表 51 室外環境行人辨識結果數據 49

表 52 室內環境行人辨識結果數據 49

表 53 室外環境行人追蹤統計結果數據 59

表 54 室內環境行人追蹤統計結果數據 59

1

第一章

緒論

11 研究動機

針對出入口的人數流量計算主要可分為三方面的應用

(1) 商業的統計在某些商業性質的公共場所中會需要統計進出的

人數以作為他們營業上的參考數據例如在世貿中心常常舉辦展覽

活動其中有許多是免費入場的因此我們無法透過售票的數量來

得之參觀的人數

(2) 安全的考量根據台北市政府消防局法條－台北市特定場所容留

人數管制規則[1]針對舞廳酒吧視聽歌唱使用樓地板面積達

五千平方公尺之百貨商場超級市場以及經指定之臨時室內表演展

覽場所都必須對內部的人數作數量上的控制以免發生災害時

人員逃生上造成推撞擠壓肇致傷亡情事

(3) 智慧型建築在某些備有智慧型系統的建築當中其系統可以藉

由統計進出房間的人數來調整空調的強弱或控制室內電燈的開關

而傳統計算進出人數的方式不外乎是使用人力於出入口安排

工作人員站崗利用計數器方式隨時對進場人員進行人數之計算

其缺點為耗費大量的人力資源不合乎經濟效益另外一種採用機械

計算的方式是在出入口設置旋轉欄杆利用人通過時欄杆的旋轉

來驅動計數器此種方法雖然可以節省人力資源但是因為硬體的設

2

計讓人在進出時的行走方向受到限制

隨著科技的進步近年來對於進出人數的計算已改由感測器來

偵測人體例如紅外線熱感器不論在成本或是效果上都有很大的

改善但是當多個人靠在一起通過熱感器時就會發生被判定為一個

大的熱源而無法很精確的偵測出正確的人數

基於上述的理由本研究希望能建立一套進出口的人數統計系

統利用影像處理和電腦視覺的技術達到自動計算進出人數的功

能同時滿足節省人力資源以及讓進出的行人自由行走的目的

12 相關研究

本篇論文的架構可分為偵測辨識和追蹤三個部分以下將對

過去偵測以及追蹤方面的相關研究成果作概略性的介紹而辨識的

部分則因為本系統的攝影機架設位置特殊所以合併在前人的系統

當中一併介紹同時對於前人的系統做一些優缺點的分析

121 前景物偵測與追蹤

首先關於前景物偵測最常使用的就是背景相減法（background

subtraction）HorprasertChen 等人[2] [3]用統計的方法訓練背景模組

（background model）然後將目前的畫面與背景模組的差異分為色

彩（chromaticity）與亮度（brightness）的失真（distortion）並選擇

適當的閥值（threshold）判斷出該像素點（pixel）是屬於前景陰影

或背景Stauffer 等人[4]利用高斯分布的模型（Gaussian distribution

model）將每個像素點分類成前景點或是背景點而 Lipton 等人[5]

將影像序列中相鄰的兩張影像相減令差值大於閥值的點為前景點

3

優點為不用建立背景但在前景物體色彩單調一致的情況下可能會

產生破碎的結果

在找出前景物體之後接下來的步驟就是追蹤在追蹤的研究方

面最有名的就是卡曼濾波器（Kalman filter）[6]由 RE Kalman

於 1960 年所發表共分為兩個階段一為預測下一個時間點的系統

狀態稱為預測機制（time update）二為依實際測量到的資訊對卡

曼濾波器的各項參數做修正調整稱為修正機制（measurement

update）Cavallaro 等人[7]採用以區塊為主的追蹤方法先統計區塊

內的色彩資訊在追蹤時則利用這些色彩資訊來將兩張畫面中的區塊

做對應Chen 等人[8]提出了使用 bipartite graph 來表示物體間對應的

方法在 bipartite graph 中的每一個 node 即為一個物體此方法當物

體間有交錯合併與分裂的情形時仍然能夠正確的找到物體間的對

應關係

122 進出人數統計系統

以面積大小估計人數ChenSnidaro 等人[9] [10]利用背景相減

法得到前景物體的區塊接下來就利用區塊的面積大小判斷當中

的人數有多少其優點為簡單快速缺點則是他預設所有的前景物體

皆為進出者而沒有進一步的去分析是否為人因此今天若有一個

人推著一個娃娃車經過而娃娃車的面積和一個人的面積大小差不

多則此時系統會判定有兩個人通過另外區塊大小所代表的人數

是從影片當中去推估的當同一個區塊內的人數越多則估計上越容

易產生失誤因此[9]提出了一個前景區塊內最多只能有五個人的

限制條件

4

圖 11 用面積估計人數

利用類神經網路找頭髮Adriano 等人[11]提出了利用 SOM 的神

經網路找出屬於人頭髮的區塊再利用人頭的大小過濾掉其他過

大或過小的黑色區塊其缺點為經由 SOM 訓練後的結果無法分

辨頭髮以及其他黑色的物體像是黑色的衣服也會被偵測出來而頭

髮和黑衣服連在一起的區塊則會因為面積太大而被濾掉其他像是

染髮光頭戴帽子等情形也都會影響偵測結果

圖 12 利用類神經網路找出頭髮區塊

利用多攝影機取得 range imageRogic[12]利用三隻校正過的攝

影機取得影像中物體的深度資訊然後找出相對高度較高也就是

離攝影機較近的部分當作是人的頭而他的缺點則是當人舉起雙

手通過監視區域時由於雙手皆是最高物體因此會被當成兩個人計

算另外一個較大的問題是該方法的計算量複雜沒有辦法達到

5

real-time 處理一秒僅能處理三張影格（frame）

圖 13 透過 range image 找頭

樣板比對（template matching）Pang 等人[13]將監視的區域分成

許多網格（grid）每個網格上都建立對應的樣板而樣板是透過透

視投影（perspective projection)的方式從 3D 轉成 2D分成頭部肩

膀和軀幹部分接著就先利用頭髮的顏色資訊從畫面當中找出頭部

的可能區域然後根據頭部所在的位置去跟資料庫中的樣板作比對

圖 14 3D 轉 2D 的人體樣板

6

13 系統簡介

首先先介紹系統攝影機的架設由於攝影機一般水平拍攝會造

成前方物體擋住後面物體的狀況產生嚴重的遮蔽問題如圖 15 所

示

圖 15 攝影機水平拍攝而造成的遮蔽現象

因此本系統將攝影機架設於垂直進出口正上方約四至六公尺

然後由上往下垂直地面拍攝如圖 16 所示如此所獲得的影像皆

為人的頭頂以及部分的軀幹這樣一來便不會產生遮蔽的問題

圖 16 架設示意圖

7

整個「進出人數統計系統」架構主要分為兩大模組行人偵測

模組以及行人計數模組如圖 17 所示

圖 17 系統架構圖

首先將攝影機所取得的影像序列送至偵測模組當中同時也

分別送至前處理的部分做背景建立更新（background updating）和

邊緣偵測（edge detection）在背景建立的部分本篇使用第一張影

像做為參考的背景然後透過統計的方式來做背景更新

當我們有了背景模組在偵測模組中就可以比較目前影像與背

景的差異進而求出前景物體然後透過連通元件（connected

component）的運算之後將面積過小的物體及雜訊去除接著就把

候選物體（candidate）範圍內的邊緣資訊當成特徵與資料庫中的樣

板做比對當比對結果符合系統才判定該物體為行人否則就將其

濾除

8

最後將行人的座標送至追蹤模組進行追蹤直到該行人離開監視

區域後系統才會判定他的移動方向並將該方向的人數累加

詳細的系統流程圖如下圖 18 所示

圖 18 系統流程圖

9

14 論文架構

本論文共分為六章其內容架構如下所述第一章介紹論文的研

究動機過去相關的研究以及系統的架構第二章介紹背景更新以及

邊緣資訊偵測的方法第三章為前景物的偵測以及利用樣板比對的

方式做行人的辨識第四章介紹追蹤的方法和行人進出方向的判別

第五章為實驗結果與討論第六章則對論文提出結論以及未來研究方

向的討論

10

第二章

前處理

21 背景建立與更新

由於本系統的攝影機架設以及拍攝環境皆為固定不動的因此可

以使用基本的背景相減法來偵測前景物體使用背景相減法首先必須

建立背景模組本篇我們很簡單的設定影像序列當中的第一張影格為

背景影像而因為本系統的攝影機是架設在出入口會受到室外光線

或者室內燈光變化的影響所以必須對背景的變化不斷的做更新之

動作故接下來的每張影格都會被拿來做背景更新

在此我們除了將目前的影格和背景比較判斷是否產生變化之

外還多了跟前一張影格做比較來判斷變化是長久的還是短暫的

最後再搭配統計的方式來達到背景更新的效果

系統利用一個和影像大小相同的二維陣列來紀錄畫面中每個像

素點的變化情形判斷式如下

( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( ) ( )⎪

⎪⎩

⎪⎪⎨

⎧

ltminus

gtminusgtminus

ltminusgtminus+

= minus

minus

1t

21tt

1t

21tt

1t

θ xyBGxyI

θ xyIxyI θ xyBGxyI

θ xyIxyI θ xyBGxyI xyd

yxd

if0

andif0

andif1

(2-1)

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

1

第一章

緒論

11 研究動機

針對出入口的人數流量計算主要可分為三方面的應用

(1) 商業的統計在某些商業性質的公共場所中會需要統計進出的

人數以作為他們營業上的參考數據例如在世貿中心常常舉辦展覽

活動其中有許多是免費入場的因此我們無法透過售票的數量來

得之參觀的人數

(2) 安全的考量根據台北市政府消防局法條－台北市特定場所容留

人數管制規則[1]針對舞廳酒吧視聽歌唱使用樓地板面積達

五千平方公尺之百貨商場超級市場以及經指定之臨時室內表演展

覽場所都必須對內部的人數作數量上的控制以免發生災害時

人員逃生上造成推撞擠壓肇致傷亡情事

(3) 智慧型建築在某些備有智慧型系統的建築當中其系統可以藉

由統計進出房間的人數來調整空調的強弱或控制室內電燈的開關

而傳統計算進出人數的方式不外乎是使用人力於出入口安排

工作人員站崗利用計數器方式隨時對進場人員進行人數之計算

其缺點為耗費大量的人力資源不合乎經濟效益另外一種採用機械

計算的方式是在出入口設置旋轉欄杆利用人通過時欄杆的旋轉

來驅動計數器此種方法雖然可以節省人力資源但是因為硬體的設

2

計讓人在進出時的行走方向受到限制

隨著科技的進步近年來對於進出人數的計算已改由感測器來

偵測人體例如紅外線熱感器不論在成本或是效果上都有很大的

改善但是當多個人靠在一起通過熱感器時就會發生被判定為一個

大的熱源而無法很精確的偵測出正確的人數

基於上述的理由本研究希望能建立一套進出口的人數統計系

統利用影像處理和電腦視覺的技術達到自動計算進出人數的功

能同時滿足節省人力資源以及讓進出的行人自由行走的目的

12 相關研究

本篇論文的架構可分為偵測辨識和追蹤三個部分以下將對

過去偵測以及追蹤方面的相關研究成果作概略性的介紹而辨識的

部分則因為本系統的攝影機架設位置特殊所以合併在前人的系統

當中一併介紹同時對於前人的系統做一些優缺點的分析

121 前景物偵測與追蹤

首先關於前景物偵測最常使用的就是背景相減法（background

subtraction）HorprasertChen 等人[2] [3]用統計的方法訓練背景模組

（background model）然後將目前的畫面與背景模組的差異分為色

彩（chromaticity）與亮度（brightness）的失真（distortion）並選擇

適當的閥值（threshold）判斷出該像素點（pixel）是屬於前景陰影

或背景Stauffer 等人[4]利用高斯分布的模型（Gaussian distribution

model）將每個像素點分類成前景點或是背景點而 Lipton 等人[5]

將影像序列中相鄰的兩張影像相減令差值大於閥值的點為前景點

3

優點為不用建立背景但在前景物體色彩單調一致的情況下可能會

產生破碎的結果

在找出前景物體之後接下來的步驟就是追蹤在追蹤的研究方

面最有名的就是卡曼濾波器（Kalman filter）[6]由 RE Kalman

於 1960 年所發表共分為兩個階段一為預測下一個時間點的系統

狀態稱為預測機制（time update）二為依實際測量到的資訊對卡

曼濾波器的各項參數做修正調整稱為修正機制（measurement

update）Cavallaro 等人[7]採用以區塊為主的追蹤方法先統計區塊

內的色彩資訊在追蹤時則利用這些色彩資訊來將兩張畫面中的區塊

做對應Chen 等人[8]提出了使用 bipartite graph 來表示物體間對應的

方法在 bipartite graph 中的每一個 node 即為一個物體此方法當物

體間有交錯合併與分裂的情形時仍然能夠正確的找到物體間的對

應關係

122 進出人數統計系統

以面積大小估計人數ChenSnidaro 等人[9] [10]利用背景相減

法得到前景物體的區塊接下來就利用區塊的面積大小判斷當中

的人數有多少其優點為簡單快速缺點則是他預設所有的前景物體

皆為進出者而沒有進一步的去分析是否為人因此今天若有一個

人推著一個娃娃車經過而娃娃車的面積和一個人的面積大小差不

多則此時系統會判定有兩個人通過另外區塊大小所代表的人數

是從影片當中去推估的當同一個區塊內的人數越多則估計上越容

易產生失誤因此[9]提出了一個前景區塊內最多只能有五個人的

限制條件

4

圖 11 用面積估計人數

利用類神經網路找頭髮Adriano 等人[11]提出了利用 SOM 的神

經網路找出屬於人頭髮的區塊再利用人頭的大小過濾掉其他過

大或過小的黑色區塊其缺點為經由 SOM 訓練後的結果無法分

辨頭髮以及其他黑色的物體像是黑色的衣服也會被偵測出來而頭

髮和黑衣服連在一起的區塊則會因為面積太大而被濾掉其他像是

染髮光頭戴帽子等情形也都會影響偵測結果

圖 12 利用類神經網路找出頭髮區塊

利用多攝影機取得 range imageRogic[12]利用三隻校正過的攝

影機取得影像中物體的深度資訊然後找出相對高度較高也就是

離攝影機較近的部分當作是人的頭而他的缺點則是當人舉起雙

手通過監視區域時由於雙手皆是最高物體因此會被當成兩個人計

算另外一個較大的問題是該方法的計算量複雜沒有辦法達到

5

real-time 處理一秒僅能處理三張影格（frame）

圖 13 透過 range image 找頭

樣板比對（template matching）Pang 等人[13]將監視的區域分成

許多網格（grid）每個網格上都建立對應的樣板而樣板是透過透

視投影（perspective projection)的方式從 3D 轉成 2D分成頭部肩

膀和軀幹部分接著就先利用頭髮的顏色資訊從畫面當中找出頭部

的可能區域然後根據頭部所在的位置去跟資料庫中的樣板作比對

圖 14 3D 轉 2D 的人體樣板

6

13 系統簡介

首先先介紹系統攝影機的架設由於攝影機一般水平拍攝會造

成前方物體擋住後面物體的狀況產生嚴重的遮蔽問題如圖 15 所

示

圖 15 攝影機水平拍攝而造成的遮蔽現象

因此本系統將攝影機架設於垂直進出口正上方約四至六公尺

然後由上往下垂直地面拍攝如圖 16 所示如此所獲得的影像皆

為人的頭頂以及部分的軀幹這樣一來便不會產生遮蔽的問題

圖 16 架設示意圖

7

整個「進出人數統計系統」架構主要分為兩大模組行人偵測

模組以及行人計數模組如圖 17 所示

圖 17 系統架構圖

首先將攝影機所取得的影像序列送至偵測模組當中同時也

分別送至前處理的部分做背景建立更新（background updating）和

邊緣偵測（edge detection）在背景建立的部分本篇使用第一張影

像做為參考的背景然後透過統計的方式來做背景更新

當我們有了背景模組在偵測模組中就可以比較目前影像與背

景的差異進而求出前景物體然後透過連通元件（connected

component）的運算之後將面積過小的物體及雜訊去除接著就把

候選物體（candidate）範圍內的邊緣資訊當成特徵與資料庫中的樣

板做比對當比對結果符合系統才判定該物體為行人否則就將其

濾除

8

最後將行人的座標送至追蹤模組進行追蹤直到該行人離開監視

區域後系統才會判定他的移動方向並將該方向的人數累加

詳細的系統流程圖如下圖 18 所示

圖 18 系統流程圖

9

14 論文架構

本論文共分為六章其內容架構如下所述第一章介紹論文的研

究動機過去相關的研究以及系統的架構第二章介紹背景更新以及

邊緣資訊偵測的方法第三章為前景物的偵測以及利用樣板比對的

方式做行人的辨識第四章介紹追蹤的方法和行人進出方向的判別

第五章為實驗結果與討論第六章則對論文提出結論以及未來研究方

向的討論

10

第二章

前處理

21 背景建立與更新

由於本系統的攝影機架設以及拍攝環境皆為固定不動的因此可

以使用基本的背景相減法來偵測前景物體使用背景相減法首先必須

建立背景模組本篇我們很簡單的設定影像序列當中的第一張影格為

背景影像而因為本系統的攝影機是架設在出入口會受到室外光線

或者室內燈光變化的影響所以必須對背景的變化不斷的做更新之

動作故接下來的每張影格都會被拿來做背景更新

在此我們除了將目前的影格和背景比較判斷是否產生變化之

外還多了跟前一張影格做比較來判斷變化是長久的還是短暫的

最後再搭配統計的方式來達到背景更新的效果

系統利用一個和影像大小相同的二維陣列來紀錄畫面中每個像

素點的變化情形判斷式如下

( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( ) ( )⎪

⎪⎩

⎪⎪⎨

⎧

ltminus

gtminusgtminus

ltminusgtminus+

= minus

minus

1t

21tt

1t

21tt

1t

θ xyBGxyI

θ xyIxyI θ xyBGxyI

θ xyIxyI θ xyBGxyI xyd

yxd

if0

andif0

andif1

(2-1)

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

2

計讓人在進出時的行走方向受到限制

隨著科技的進步近年來對於進出人數的計算已改由感測器來

偵測人體例如紅外線熱感器不論在成本或是效果上都有很大的

改善但是當多個人靠在一起通過熱感器時就會發生被判定為一個

大的熱源而無法很精確的偵測出正確的人數

基於上述的理由本研究希望能建立一套進出口的人數統計系

統利用影像處理和電腦視覺的技術達到自動計算進出人數的功

能同時滿足節省人力資源以及讓進出的行人自由行走的目的

12 相關研究

本篇論文的架構可分為偵測辨識和追蹤三個部分以下將對

過去偵測以及追蹤方面的相關研究成果作概略性的介紹而辨識的

部分則因為本系統的攝影機架設位置特殊所以合併在前人的系統

當中一併介紹同時對於前人的系統做一些優缺點的分析

121 前景物偵測與追蹤

首先關於前景物偵測最常使用的就是背景相減法（background

subtraction）HorprasertChen 等人[2] [3]用統計的方法訓練背景模組

（background model）然後將目前的畫面與背景模組的差異分為色

彩（chromaticity）與亮度（brightness）的失真（distortion）並選擇

適當的閥值（threshold）判斷出該像素點（pixel）是屬於前景陰影

或背景Stauffer 等人[4]利用高斯分布的模型（Gaussian distribution

model）將每個像素點分類成前景點或是背景點而 Lipton 等人[5]

將影像序列中相鄰的兩張影像相減令差值大於閥值的點為前景點

3

優點為不用建立背景但在前景物體色彩單調一致的情況下可能會

產生破碎的結果

在找出前景物體之後接下來的步驟就是追蹤在追蹤的研究方

面最有名的就是卡曼濾波器（Kalman filter）[6]由 RE Kalman

於 1960 年所發表共分為兩個階段一為預測下一個時間點的系統

狀態稱為預測機制（time update）二為依實際測量到的資訊對卡

曼濾波器的各項參數做修正調整稱為修正機制（measurement

update）Cavallaro 等人[7]採用以區塊為主的追蹤方法先統計區塊

內的色彩資訊在追蹤時則利用這些色彩資訊來將兩張畫面中的區塊

做對應Chen 等人[8]提出了使用 bipartite graph 來表示物體間對應的

方法在 bipartite graph 中的每一個 node 即為一個物體此方法當物

體間有交錯合併與分裂的情形時仍然能夠正確的找到物體間的對

應關係

122 進出人數統計系統

以面積大小估計人數ChenSnidaro 等人[9] [10]利用背景相減

法得到前景物體的區塊接下來就利用區塊的面積大小判斷當中

的人數有多少其優點為簡單快速缺點則是他預設所有的前景物體

皆為進出者而沒有進一步的去分析是否為人因此今天若有一個

人推著一個娃娃車經過而娃娃車的面積和一個人的面積大小差不

多則此時系統會判定有兩個人通過另外區塊大小所代表的人數

是從影片當中去推估的當同一個區塊內的人數越多則估計上越容

易產生失誤因此[9]提出了一個前景區塊內最多只能有五個人的

限制條件

4

圖 11 用面積估計人數

利用類神經網路找頭髮Adriano 等人[11]提出了利用 SOM 的神

經網路找出屬於人頭髮的區塊再利用人頭的大小過濾掉其他過

大或過小的黑色區塊其缺點為經由 SOM 訓練後的結果無法分

辨頭髮以及其他黑色的物體像是黑色的衣服也會被偵測出來而頭

髮和黑衣服連在一起的區塊則會因為面積太大而被濾掉其他像是

染髮光頭戴帽子等情形也都會影響偵測結果

圖 12 利用類神經網路找出頭髮區塊

利用多攝影機取得 range imageRogic[12]利用三隻校正過的攝

影機取得影像中物體的深度資訊然後找出相對高度較高也就是

離攝影機較近的部分當作是人的頭而他的缺點則是當人舉起雙

手通過監視區域時由於雙手皆是最高物體因此會被當成兩個人計

算另外一個較大的問題是該方法的計算量複雜沒有辦法達到

5

real-time 處理一秒僅能處理三張影格（frame）

圖 13 透過 range image 找頭

樣板比對（template matching）Pang 等人[13]將監視的區域分成

許多網格（grid）每個網格上都建立對應的樣板而樣板是透過透

視投影（perspective projection)的方式從 3D 轉成 2D分成頭部肩

膀和軀幹部分接著就先利用頭髮的顏色資訊從畫面當中找出頭部

的可能區域然後根據頭部所在的位置去跟資料庫中的樣板作比對

圖 14 3D 轉 2D 的人體樣板

6

13 系統簡介

首先先介紹系統攝影機的架設由於攝影機一般水平拍攝會造

成前方物體擋住後面物體的狀況產生嚴重的遮蔽問題如圖 15 所

示

圖 15 攝影機水平拍攝而造成的遮蔽現象

因此本系統將攝影機架設於垂直進出口正上方約四至六公尺

然後由上往下垂直地面拍攝如圖 16 所示如此所獲得的影像皆

為人的頭頂以及部分的軀幹這樣一來便不會產生遮蔽的問題

圖 16 架設示意圖

7

整個「進出人數統計系統」架構主要分為兩大模組行人偵測

模組以及行人計數模組如圖 17 所示

圖 17 系統架構圖

首先將攝影機所取得的影像序列送至偵測模組當中同時也

分別送至前處理的部分做背景建立更新（background updating）和

邊緣偵測（edge detection）在背景建立的部分本篇使用第一張影

像做為參考的背景然後透過統計的方式來做背景更新

當我們有了背景模組在偵測模組中就可以比較目前影像與背

景的差異進而求出前景物體然後透過連通元件（connected

component）的運算之後將面積過小的物體及雜訊去除接著就把

候選物體（candidate）範圍內的邊緣資訊當成特徵與資料庫中的樣

板做比對當比對結果符合系統才判定該物體為行人否則就將其

濾除

8

最後將行人的座標送至追蹤模組進行追蹤直到該行人離開監視

區域後系統才會判定他的移動方向並將該方向的人數累加

詳細的系統流程圖如下圖 18 所示

圖 18 系統流程圖

9

14 論文架構

本論文共分為六章其內容架構如下所述第一章介紹論文的研

究動機過去相關的研究以及系統的架構第二章介紹背景更新以及

邊緣資訊偵測的方法第三章為前景物的偵測以及利用樣板比對的

方式做行人的辨識第四章介紹追蹤的方法和行人進出方向的判別

第五章為實驗結果與討論第六章則對論文提出結論以及未來研究方

向的討論

10

第二章

前處理

21 背景建立與更新

由於本系統的攝影機架設以及拍攝環境皆為固定不動的因此可

以使用基本的背景相減法來偵測前景物體使用背景相減法首先必須

建立背景模組本篇我們很簡單的設定影像序列當中的第一張影格為

背景影像而因為本系統的攝影機是架設在出入口會受到室外光線

或者室內燈光變化的影響所以必須對背景的變化不斷的做更新之

動作故接下來的每張影格都會被拿來做背景更新

在此我們除了將目前的影格和背景比較判斷是否產生變化之

外還多了跟前一張影格做比較來判斷變化是長久的還是短暫的

最後再搭配統計的方式來達到背景更新的效果

系統利用一個和影像大小相同的二維陣列來紀錄畫面中每個像

素點的變化情形判斷式如下

( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( ) ( )⎪

⎪⎩

⎪⎪⎨

⎧

ltminus

gtminusgtminus

ltminusgtminus+

= minus

minus

1t

21tt

1t

21tt

1t

θ xyBGxyI

θ xyIxyI θ xyBGxyI

θ xyIxyI θ xyBGxyI xyd

yxd

if0

andif0

andif1

(2-1)

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

3

優點為不用建立背景但在前景物體色彩單調一致的情況下可能會

產生破碎的結果

在找出前景物體之後接下來的步驟就是追蹤在追蹤的研究方

面最有名的就是卡曼濾波器（Kalman filter）[6]由 RE Kalman

於 1960 年所發表共分為兩個階段一為預測下一個時間點的系統

狀態稱為預測機制（time update）二為依實際測量到的資訊對卡

曼濾波器的各項參數做修正調整稱為修正機制（measurement

update）Cavallaro 等人[7]採用以區塊為主的追蹤方法先統計區塊

內的色彩資訊在追蹤時則利用這些色彩資訊來將兩張畫面中的區塊

做對應Chen 等人[8]提出了使用 bipartite graph 來表示物體間對應的

方法在 bipartite graph 中的每一個 node 即為一個物體此方法當物

體間有交錯合併與分裂的情形時仍然能夠正確的找到物體間的對

應關係

122 進出人數統計系統

以面積大小估計人數ChenSnidaro 等人[9] [10]利用背景相減

法得到前景物體的區塊接下來就利用區塊的面積大小判斷當中

的人數有多少其優點為簡單快速缺點則是他預設所有的前景物體

皆為進出者而沒有進一步的去分析是否為人因此今天若有一個

人推著一個娃娃車經過而娃娃車的面積和一個人的面積大小差不

多則此時系統會判定有兩個人通過另外區塊大小所代表的人數

是從影片當中去推估的當同一個區塊內的人數越多則估計上越容

易產生失誤因此[9]提出了一個前景區塊內最多只能有五個人的

限制條件

4

圖 11 用面積估計人數

利用類神經網路找頭髮Adriano 等人[11]提出了利用 SOM 的神

經網路找出屬於人頭髮的區塊再利用人頭的大小過濾掉其他過

大或過小的黑色區塊其缺點為經由 SOM 訓練後的結果無法分

辨頭髮以及其他黑色的物體像是黑色的衣服也會被偵測出來而頭

髮和黑衣服連在一起的區塊則會因為面積太大而被濾掉其他像是

染髮光頭戴帽子等情形也都會影響偵測結果

圖 12 利用類神經網路找出頭髮區塊

利用多攝影機取得 range imageRogic[12]利用三隻校正過的攝

影機取得影像中物體的深度資訊然後找出相對高度較高也就是

離攝影機較近的部分當作是人的頭而他的缺點則是當人舉起雙

手通過監視區域時由於雙手皆是最高物體因此會被當成兩個人計

算另外一個較大的問題是該方法的計算量複雜沒有辦法達到

5

real-time 處理一秒僅能處理三張影格（frame）

圖 13 透過 range image 找頭

樣板比對（template matching）Pang 等人[13]將監視的區域分成

許多網格（grid）每個網格上都建立對應的樣板而樣板是透過透

視投影（perspective projection)的方式從 3D 轉成 2D分成頭部肩

膀和軀幹部分接著就先利用頭髮的顏色資訊從畫面當中找出頭部

的可能區域然後根據頭部所在的位置去跟資料庫中的樣板作比對

圖 14 3D 轉 2D 的人體樣板

6

13 系統簡介

首先先介紹系統攝影機的架設由於攝影機一般水平拍攝會造

成前方物體擋住後面物體的狀況產生嚴重的遮蔽問題如圖 15 所

示

圖 15 攝影機水平拍攝而造成的遮蔽現象

因此本系統將攝影機架設於垂直進出口正上方約四至六公尺

然後由上往下垂直地面拍攝如圖 16 所示如此所獲得的影像皆

為人的頭頂以及部分的軀幹這樣一來便不會產生遮蔽的問題

圖 16 架設示意圖

7

整個「進出人數統計系統」架構主要分為兩大模組行人偵測

模組以及行人計數模組如圖 17 所示

圖 17 系統架構圖

首先將攝影機所取得的影像序列送至偵測模組當中同時也

分別送至前處理的部分做背景建立更新（background updating）和

邊緣偵測（edge detection）在背景建立的部分本篇使用第一張影

像做為參考的背景然後透過統計的方式來做背景更新

當我們有了背景模組在偵測模組中就可以比較目前影像與背

景的差異進而求出前景物體然後透過連通元件（connected

component）的運算之後將面積過小的物體及雜訊去除接著就把

候選物體（candidate）範圍內的邊緣資訊當成特徵與資料庫中的樣

板做比對當比對結果符合系統才判定該物體為行人否則就將其

濾除

8

最後將行人的座標送至追蹤模組進行追蹤直到該行人離開監視

區域後系統才會判定他的移動方向並將該方向的人數累加

詳細的系統流程圖如下圖 18 所示

圖 18 系統流程圖

9

14 論文架構

本論文共分為六章其內容架構如下所述第一章介紹論文的研

究動機過去相關的研究以及系統的架構第二章介紹背景更新以及

邊緣資訊偵測的方法第三章為前景物的偵測以及利用樣板比對的

方式做行人的辨識第四章介紹追蹤的方法和行人進出方向的判別

第五章為實驗結果與討論第六章則對論文提出結論以及未來研究方

向的討論

10

第二章

前處理

21 背景建立與更新

由於本系統的攝影機架設以及拍攝環境皆為固定不動的因此可

以使用基本的背景相減法來偵測前景物體使用背景相減法首先必須

建立背景模組本篇我們很簡單的設定影像序列當中的第一張影格為

背景影像而因為本系統的攝影機是架設在出入口會受到室外光線

或者室內燈光變化的影響所以必須對背景的變化不斷的做更新之

動作故接下來的每張影格都會被拿來做背景更新

在此我們除了將目前的影格和背景比較判斷是否產生變化之

外還多了跟前一張影格做比較來判斷變化是長久的還是短暫的

最後再搭配統計的方式來達到背景更新的效果

系統利用一個和影像大小相同的二維陣列來紀錄畫面中每個像

素點的變化情形判斷式如下

( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( ) ( )⎪

⎪⎩

⎪⎪⎨

⎧

ltminus

gtminusgtminus

ltminusgtminus+

= minus

minus

1t

21tt

1t

21tt

1t

θ xyBGxyI

θ xyIxyI θ xyBGxyI

θ xyIxyI θ xyBGxyI xyd

yxd

if0

andif0

andif1

(2-1)

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

4

圖 11 用面積估計人數

利用類神經網路找頭髮Adriano 等人[11]提出了利用 SOM 的神

經網路找出屬於人頭髮的區塊再利用人頭的大小過濾掉其他過

大或過小的黑色區塊其缺點為經由 SOM 訓練後的結果無法分

辨頭髮以及其他黑色的物體像是黑色的衣服也會被偵測出來而頭

髮和黑衣服連在一起的區塊則會因為面積太大而被濾掉其他像是

染髮光頭戴帽子等情形也都會影響偵測結果

圖 12 利用類神經網路找出頭髮區塊

利用多攝影機取得 range imageRogic[12]利用三隻校正過的攝

影機取得影像中物體的深度資訊然後找出相對高度較高也就是

離攝影機較近的部分當作是人的頭而他的缺點則是當人舉起雙

手通過監視區域時由於雙手皆是最高物體因此會被當成兩個人計

算另外一個較大的問題是該方法的計算量複雜沒有辦法達到

5

real-time 處理一秒僅能處理三張影格（frame）

圖 13 透過 range image 找頭

樣板比對（template matching）Pang 等人[13]將監視的區域分成

許多網格（grid）每個網格上都建立對應的樣板而樣板是透過透

視投影（perspective projection)的方式從 3D 轉成 2D分成頭部肩

膀和軀幹部分接著就先利用頭髮的顏色資訊從畫面當中找出頭部

的可能區域然後根據頭部所在的位置去跟資料庫中的樣板作比對

圖 14 3D 轉 2D 的人體樣板

6

13 系統簡介

首先先介紹系統攝影機的架設由於攝影機一般水平拍攝會造

成前方物體擋住後面物體的狀況產生嚴重的遮蔽問題如圖 15 所

示

圖 15 攝影機水平拍攝而造成的遮蔽現象

因此本系統將攝影機架設於垂直進出口正上方約四至六公尺

然後由上往下垂直地面拍攝如圖 16 所示如此所獲得的影像皆

為人的頭頂以及部分的軀幹這樣一來便不會產生遮蔽的問題

圖 16 架設示意圖

7

整個「進出人數統計系統」架構主要分為兩大模組行人偵測

模組以及行人計數模組如圖 17 所示

圖 17 系統架構圖

首先將攝影機所取得的影像序列送至偵測模組當中同時也

分別送至前處理的部分做背景建立更新（background updating）和

邊緣偵測（edge detection）在背景建立的部分本篇使用第一張影

像做為參考的背景然後透過統計的方式來做背景更新

當我們有了背景模組在偵測模組中就可以比較目前影像與背

景的差異進而求出前景物體然後透過連通元件（connected

component）的運算之後將面積過小的物體及雜訊去除接著就把

候選物體（candidate）範圍內的邊緣資訊當成特徵與資料庫中的樣

板做比對當比對結果符合系統才判定該物體為行人否則就將其

濾除

8

最後將行人的座標送至追蹤模組進行追蹤直到該行人離開監視

區域後系統才會判定他的移動方向並將該方向的人數累加

詳細的系統流程圖如下圖 18 所示

圖 18 系統流程圖

9

14 論文架構

本論文共分為六章其內容架構如下所述第一章介紹論文的研

究動機過去相關的研究以及系統的架構第二章介紹背景更新以及

邊緣資訊偵測的方法第三章為前景物的偵測以及利用樣板比對的

方式做行人的辨識第四章介紹追蹤的方法和行人進出方向的判別

第五章為實驗結果與討論第六章則對論文提出結論以及未來研究方

向的討論

10

第二章

前處理

21 背景建立與更新

由於本系統的攝影機架設以及拍攝環境皆為固定不動的因此可

以使用基本的背景相減法來偵測前景物體使用背景相減法首先必須

建立背景模組本篇我們很簡單的設定影像序列當中的第一張影格為

背景影像而因為本系統的攝影機是架設在出入口會受到室外光線

或者室內燈光變化的影響所以必須對背景的變化不斷的做更新之

動作故接下來的每張影格都會被拿來做背景更新

在此我們除了將目前的影格和背景比較判斷是否產生變化之

外還多了跟前一張影格做比較來判斷變化是長久的還是短暫的

最後再搭配統計的方式來達到背景更新的效果

系統利用一個和影像大小相同的二維陣列來紀錄畫面中每個像

素點的變化情形判斷式如下

( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( ) ( )⎪

⎪⎩

⎪⎪⎨

⎧

ltminus

gtminusgtminus

ltminusgtminus+

= minus

minus

1t

21tt

1t

21tt

1t

θ xyBGxyI

θ xyIxyI θ xyBGxyI

θ xyIxyI θ xyBGxyI xyd

yxd

if0

andif0

andif1

(2-1)

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

5

real-time 處理一秒僅能處理三張影格（frame）

圖 13 透過 range image 找頭

樣板比對（template matching）Pang 等人[13]將監視的區域分成

許多網格（grid）每個網格上都建立對應的樣板而樣板是透過透

視投影（perspective projection)的方式從 3D 轉成 2D分成頭部肩

膀和軀幹部分接著就先利用頭髮的顏色資訊從畫面當中找出頭部

的可能區域然後根據頭部所在的位置去跟資料庫中的樣板作比對

圖 14 3D 轉 2D 的人體樣板

6

13 系統簡介

首先先介紹系統攝影機的架設由於攝影機一般水平拍攝會造

成前方物體擋住後面物體的狀況產生嚴重的遮蔽問題如圖 15 所

示

圖 15 攝影機水平拍攝而造成的遮蔽現象

因此本系統將攝影機架設於垂直進出口正上方約四至六公尺

然後由上往下垂直地面拍攝如圖 16 所示如此所獲得的影像皆

為人的頭頂以及部分的軀幹這樣一來便不會產生遮蔽的問題

圖 16 架設示意圖

7

整個「進出人數統計系統」架構主要分為兩大模組行人偵測

模組以及行人計數模組如圖 17 所示

圖 17 系統架構圖

首先將攝影機所取得的影像序列送至偵測模組當中同時也

分別送至前處理的部分做背景建立更新（background updating）和

邊緣偵測（edge detection）在背景建立的部分本篇使用第一張影

像做為參考的背景然後透過統計的方式來做背景更新

當我們有了背景模組在偵測模組中就可以比較目前影像與背

景的差異進而求出前景物體然後透過連通元件（connected

component）的運算之後將面積過小的物體及雜訊去除接著就把

候選物體（candidate）範圍內的邊緣資訊當成特徵與資料庫中的樣

板做比對當比對結果符合系統才判定該物體為行人否則就將其

濾除

8

最後將行人的座標送至追蹤模組進行追蹤直到該行人離開監視

區域後系統才會判定他的移動方向並將該方向的人數累加

詳細的系統流程圖如下圖 18 所示

圖 18 系統流程圖

9

14 論文架構

本論文共分為六章其內容架構如下所述第一章介紹論文的研

究動機過去相關的研究以及系統的架構第二章介紹背景更新以及

邊緣資訊偵測的方法第三章為前景物的偵測以及利用樣板比對的

方式做行人的辨識第四章介紹追蹤的方法和行人進出方向的判別

第五章為實驗結果與討論第六章則對論文提出結論以及未來研究方

向的討論

10

第二章

前處理

21 背景建立與更新

由於本系統的攝影機架設以及拍攝環境皆為固定不動的因此可

以使用基本的背景相減法來偵測前景物體使用背景相減法首先必須

建立背景模組本篇我們很簡單的設定影像序列當中的第一張影格為

背景影像而因為本系統的攝影機是架設在出入口會受到室外光線

或者室內燈光變化的影響所以必須對背景的變化不斷的做更新之

動作故接下來的每張影格都會被拿來做背景更新

在此我們除了將目前的影格和背景比較判斷是否產生變化之

外還多了跟前一張影格做比較來判斷變化是長久的還是短暫的

最後再搭配統計的方式來達到背景更新的效果

系統利用一個和影像大小相同的二維陣列來紀錄畫面中每個像

素點的變化情形判斷式如下

( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( ) ( )⎪

⎪⎩

⎪⎪⎨

⎧

ltminus

gtminusgtminus

ltminusgtminus+

= minus

minus

1t

21tt

1t

21tt

1t

θ xyBGxyI

θ xyIxyI θ xyBGxyI

θ xyIxyI θ xyBGxyI xyd

yxd

if0

andif0

andif1

(2-1)

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

6

13 系統簡介

首先先介紹系統攝影機的架設由於攝影機一般水平拍攝會造

成前方物體擋住後面物體的狀況產生嚴重的遮蔽問題如圖 15 所

示

圖 15 攝影機水平拍攝而造成的遮蔽現象

因此本系統將攝影機架設於垂直進出口正上方約四至六公尺

然後由上往下垂直地面拍攝如圖 16 所示如此所獲得的影像皆

為人的頭頂以及部分的軀幹這樣一來便不會產生遮蔽的問題

圖 16 架設示意圖

7

整個「進出人數統計系統」架構主要分為兩大模組行人偵測

模組以及行人計數模組如圖 17 所示

圖 17 系統架構圖

首先將攝影機所取得的影像序列送至偵測模組當中同時也

分別送至前處理的部分做背景建立更新（background updating）和

邊緣偵測（edge detection）在背景建立的部分本篇使用第一張影

像做為參考的背景然後透過統計的方式來做背景更新

當我們有了背景模組在偵測模組中就可以比較目前影像與背

景的差異進而求出前景物體然後透過連通元件（connected

component）的運算之後將面積過小的物體及雜訊去除接著就把

候選物體（candidate）範圍內的邊緣資訊當成特徵與資料庫中的樣

板做比對當比對結果符合系統才判定該物體為行人否則就將其

濾除

8

最後將行人的座標送至追蹤模組進行追蹤直到該行人離開監視

區域後系統才會判定他的移動方向並將該方向的人數累加

詳細的系統流程圖如下圖 18 所示

圖 18 系統流程圖

9

14 論文架構

本論文共分為六章其內容架構如下所述第一章介紹論文的研

究動機過去相關的研究以及系統的架構第二章介紹背景更新以及

邊緣資訊偵測的方法第三章為前景物的偵測以及利用樣板比對的

方式做行人的辨識第四章介紹追蹤的方法和行人進出方向的判別

第五章為實驗結果與討論第六章則對論文提出結論以及未來研究方

向的討論

10

第二章

前處理

21 背景建立與更新

由於本系統的攝影機架設以及拍攝環境皆為固定不動的因此可

以使用基本的背景相減法來偵測前景物體使用背景相減法首先必須

建立背景模組本篇我們很簡單的設定影像序列當中的第一張影格為

背景影像而因為本系統的攝影機是架設在出入口會受到室外光線

或者室內燈光變化的影響所以必須對背景的變化不斷的做更新之

動作故接下來的每張影格都會被拿來做背景更新

在此我們除了將目前的影格和背景比較判斷是否產生變化之

外還多了跟前一張影格做比較來判斷變化是長久的還是短暫的

最後再搭配統計的方式來達到背景更新的效果

系統利用一個和影像大小相同的二維陣列來紀錄畫面中每個像

素點的變化情形判斷式如下

( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( ) ( )⎪

⎪⎩

⎪⎪⎨

⎧

ltminus

gtminusgtminus

ltminusgtminus+

= minus

minus

1t

21tt

1t

21tt

1t

θ xyBGxyI

θ xyIxyI θ xyBGxyI

θ xyIxyI θ xyBGxyI xyd

yxd

if0

andif0

andif1

(2-1)

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

7

整個「進出人數統計系統」架構主要分為兩大模組行人偵測

模組以及行人計數模組如圖 17 所示

圖 17 系統架構圖

首先將攝影機所取得的影像序列送至偵測模組當中同時也

分別送至前處理的部分做背景建立更新（background updating）和

邊緣偵測（edge detection）在背景建立的部分本篇使用第一張影

像做為參考的背景然後透過統計的方式來做背景更新

當我們有了背景模組在偵測模組中就可以比較目前影像與背

景的差異進而求出前景物體然後透過連通元件（connected

component）的運算之後將面積過小的物體及雜訊去除接著就把

候選物體（candidate）範圍內的邊緣資訊當成特徵與資料庫中的樣

板做比對當比對結果符合系統才判定該物體為行人否則就將其

濾除

8

最後將行人的座標送至追蹤模組進行追蹤直到該行人離開監視

區域後系統才會判定他的移動方向並將該方向的人數累加

詳細的系統流程圖如下圖 18 所示

圖 18 系統流程圖

9

14 論文架構

本論文共分為六章其內容架構如下所述第一章介紹論文的研

究動機過去相關的研究以及系統的架構第二章介紹背景更新以及

邊緣資訊偵測的方法第三章為前景物的偵測以及利用樣板比對的

方式做行人的辨識第四章介紹追蹤的方法和行人進出方向的判別

第五章為實驗結果與討論第六章則對論文提出結論以及未來研究方

向的討論

10

第二章

前處理

21 背景建立與更新

由於本系統的攝影機架設以及拍攝環境皆為固定不動的因此可

以使用基本的背景相減法來偵測前景物體使用背景相減法首先必須

建立背景模組本篇我們很簡單的設定影像序列當中的第一張影格為

背景影像而因為本系統的攝影機是架設在出入口會受到室外光線

或者室內燈光變化的影響所以必須對背景的變化不斷的做更新之

動作故接下來的每張影格都會被拿來做背景更新

在此我們除了將目前的影格和背景比較判斷是否產生變化之

外還多了跟前一張影格做比較來判斷變化是長久的還是短暫的

最後再搭配統計的方式來達到背景更新的效果

系統利用一個和影像大小相同的二維陣列來紀錄畫面中每個像

素點的變化情形判斷式如下

( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( ) ( )⎪

⎪⎩

⎪⎪⎨

⎧

ltminus

gtminusgtminus

ltminusgtminus+

= minus

minus

1t

21tt

1t

21tt

1t

θ xyBGxyI

θ xyIxyI θ xyBGxyI

θ xyIxyI θ xyBGxyI xyd

yxd

if0

andif0

andif1

(2-1)

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

8

最後將行人的座標送至追蹤模組進行追蹤直到該行人離開監視

區域後系統才會判定他的移動方向並將該方向的人數累加

詳細的系統流程圖如下圖 18 所示

圖 18 系統流程圖

9

14 論文架構

本論文共分為六章其內容架構如下所述第一章介紹論文的研

究動機過去相關的研究以及系統的架構第二章介紹背景更新以及

邊緣資訊偵測的方法第三章為前景物的偵測以及利用樣板比對的

方式做行人的辨識第四章介紹追蹤的方法和行人進出方向的判別

第五章為實驗結果與討論第六章則對論文提出結論以及未來研究方

向的討論

10

第二章

前處理

21 背景建立與更新

由於本系統的攝影機架設以及拍攝環境皆為固定不動的因此可

以使用基本的背景相減法來偵測前景物體使用背景相減法首先必須

建立背景模組本篇我們很簡單的設定影像序列當中的第一張影格為

背景影像而因為本系統的攝影機是架設在出入口會受到室外光線

或者室內燈光變化的影響所以必須對背景的變化不斷的做更新之

動作故接下來的每張影格都會被拿來做背景更新

在此我們除了將目前的影格和背景比較判斷是否產生變化之

外還多了跟前一張影格做比較來判斷變化是長久的還是短暫的

最後再搭配統計的方式來達到背景更新的效果

系統利用一個和影像大小相同的二維陣列來紀錄畫面中每個像

素點的變化情形判斷式如下

( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( ) ( )⎪

⎪⎩

⎪⎪⎨

⎧

ltminus

gtminusgtminus

ltminusgtminus+

= minus

minus

1t

21tt

1t

21tt

1t

θ xyBGxyI

θ xyIxyI θ xyBGxyI

θ xyIxyI θ xyBGxyI xyd

yxd

if0

andif0

andif1

(2-1)

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

9

14 論文架構

本論文共分為六章其內容架構如下所述第一章介紹論文的研

究動機過去相關的研究以及系統的架構第二章介紹背景更新以及

邊緣資訊偵測的方法第三章為前景物的偵測以及利用樣板比對的

方式做行人的辨識第四章介紹追蹤的方法和行人進出方向的判別

第五章為實驗結果與討論第六章則對論文提出結論以及未來研究方

向的討論

10

第二章

前處理

21 背景建立與更新

由於本系統的攝影機架設以及拍攝環境皆為固定不動的因此可

以使用基本的背景相減法來偵測前景物體使用背景相減法首先必須

建立背景模組本篇我們很簡單的設定影像序列當中的第一張影格為

背景影像而因為本系統的攝影機是架設在出入口會受到室外光線

或者室內燈光變化的影響所以必須對背景的變化不斷的做更新之

動作故接下來的每張影格都會被拿來做背景更新

在此我們除了將目前的影格和背景比較判斷是否產生變化之

外還多了跟前一張影格做比較來判斷變化是長久的還是短暫的

最後再搭配統計的方式來達到背景更新的效果

系統利用一個和影像大小相同的二維陣列來紀錄畫面中每個像

素點的變化情形判斷式如下

( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( ) ( )⎪

⎪⎩

⎪⎪⎨

⎧

ltminus

gtminusgtminus

ltminusgtminus+

= minus

minus

1t

21tt

1t

21tt

1t

θ xyBGxyI

θ xyIxyI θ xyBGxyI

θ xyIxyI θ xyBGxyI xyd

yxd

if0

andif0

andif1

(2-1)

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

10

第二章

前處理

21 背景建立與更新

由於本系統的攝影機架設以及拍攝環境皆為固定不動的因此可

以使用基本的背景相減法來偵測前景物體使用背景相減法首先必須

建立背景模組本篇我們很簡單的設定影像序列當中的第一張影格為

背景影像而因為本系統的攝影機是架設在出入口會受到室外光線

或者室內燈光變化的影響所以必須對背景的變化不斷的做更新之

動作故接下來的每張影格都會被拿來做背景更新

在此我們除了將目前的影格和背景比較判斷是否產生變化之

外還多了跟前一張影格做比較來判斷變化是長久的還是短暫的

最後再搭配統計的方式來達到背景更新的效果

系統利用一個和影像大小相同的二維陣列來紀錄畫面中每個像

素點的變化情形判斷式如下

( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )( ) ( )⎪

⎪⎩

⎪⎪⎨

⎧

ltminus

gtminusgtminus

ltminusgtminus+

= minus

minus

1t

21tt

1t

21tt

1t

θ xyBGxyI

θ xyIxyI θ xyBGxyI

θ xyIxyI θ xyBGxyI xyd

yxd

if0

andif0

andif1

(2-1)

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

11

其中 ( )xyI t 表示目前影格的像素點 ( )xyI 1tminus 表示前一個前影格的

像素點而 ( )xyBG 表示背景模組的像素點 ( )xyd 表示該像素點的變

化量當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 但與 ( )xyI 1tminus 的差異很小

表示此點可能已經產生變化且開始穩定了因此我們將 ( )xyd 累加

當 ( )xyI t 與 ( )xyBG 的差異大於閥值 1θ 且與 ( )xyI 1tminus 的差異也大於閥值

2θ 表示此點仍在不斷的變化當中 ( )xyd 設為零同理當 ( )xyI t 與

( )xyBG 的差異小於閥值 1θ 表示沒有變化 ( )xyd 設為零

而背景需要更新的條件如下

( ) ( ) ( ) 3t θ xy d xy I xyBG gt= if (2-2)

當像素的變化量 ( )xyd 超過閥值 3θ 表示該點的變化已經持續一

段時間故將背景點 ( )xyBG 的值用目前的值 ( )xyI t 來取代

22 邊緣偵測

我們使用以特徵為基礎（feature-based）的方法來做物體的比對

辨識而本篇是利用行人的外型輪廓（contour）作為特徵因此要用

到邊緣偵測的方法來擷取輪廓的資訊在灰階影像當中尋找邊線最

簡便的方法就是對影像亮度函數（light intensity function）作微分取

其梯度值而數位影像的邊緣偵測則是使用遮罩（mask）但是一般

做邊緣偵測所使用的遮罩有兩個問題一個是雜訊（noise）造成的問

題另一個是邊線粗細的問題因此在實作上我們利用 Canny[14]

所提出來的邊緣偵測方法來解決

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

12

221 傳統邊緣偵測器的比較

(1) Robert operator計算簡單是其優點但容易受雜訊影響產生

假的邊線

(2) Laplacian operator是二次微分所以會有雙重邊線的問題

(3) Prewitt operator一次微分的 operator共有八個遮罩可偵測八

個方向的梯度值

(4) Sobel operator和 Prewitt 類似都是一次微分的 operator也是

很常使用的邊緣偵測方法

但是一次微分的做法有兩個主要的問題一是偵測出來的邊線通

常比較粗二是對於雜訊很敏感會影響到邊線的正確性因此在

對影像做邊緣偵測之前雜訊的去除是必要的

222 良好的邊緣偵測法的準則

在影像處理或圖形識別當中邊緣偵測在尋找影像強度劇烈變化

上是一種基本但重要的方法而以下三點準則可以用來判斷邊緣

偵測方法的好壞它們分別是

(1) 良好的偵測能力（detection）重要的邊緣線不能遺失同時不應

該有偽造的反應產生也就是說要找出所有具有灰階變化的邊線

同時必須要去除雜訊使得訊號雜訊比（signal to noise ratio）增大

(2) 良好的定位能力（localization）真正灰階變化的位置和邊緣偵測

器找出的邊線像素之間的距離愈小愈好距離愈小表示定位的準確度

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

13

愈高

(3) 單一感應（one response）的問題將多重感應濃縮對應到一個邊

上一般邊緣偵測器會造成同一個邊緣被視為多個邊緣的情況因此

必須從單一邊緣所產生的多重感應中確定出一個正確的感應

223 Canny 邊緣偵測器

有鑑於傳統的邊緣偵測方法通常只滿足前兩項準則以至於會

萃取出許多不合於視覺判斷的邊線及雜訊無法完全達到三個準則的

要求因此 Canny 另外加上一個約制條件使得他的邊緣偵測器除了

有良好的偵測及定位能力之外也能從多重感應的邊緣線像素中找

出較為正確的像素

在介紹 Canny edge detector 之前先介紹高斯濾波器（Gaussian

filter）其定義如下

( )( )

deviation standard is where 2

22

2 σexyG σyx +minus

= (2-3)

其目的就是將影像做雜訊去除（noise reduction）後再把影像中

的邊線找出來以下介紹 Canny edge detection 的基本原理

GnnGGn nablasdot=partpart

= (2-4)

Canny 使用高斯濾波器的一階導函數來減少雜訊造成的誤差令

G 是高斯濾波器n 為梯度（gradient）方向（和邊線方向垂直）Gn

是 G 在 n 方向上的微分而 n 可利用以下式子求得

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

14

( )( )gG

gGnlowastnablalowastnabla

= (2-5)

（g 為影像函數）

圖 21 物件邊線示意圖

因為邊線的位置必定在 gGn lowast 沿著 n 方向的最大值所以

( ) 0=lowastpartpart gGn n (2-6)

而且摺積（convolution）和微分滿足結合律所以上式可改寫成

0=lowastpartpart gGn n (2-7)

再利用式子 2-4 代入得到

02

2

=lowastpartpart gGn (2-8)

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

15

利用上式可求得邊線的位置在數位影像套用這個方法時我們

將其簡化只比較梯度方向上的相鄰點將非最大值都刪除

（non-maximal suppression）保留最大值為了進一步加快計算速

度我們可以把梯度的方向分成四個區域（sector 0 1 2 3）如下圖

如此當梯度方向在-π 8 到π 8 之間或 7π 8 到π或-7π 8 到π時

我們只要比較水平方向的相鄰點當梯度方向在 3π 8 到 5π 8 之間

或-3π 8 到-5π 8 時我們只要比較垂直方向的相鄰點其餘可類推

圖 22 邊線方向的分類

最後再實施一個滯後性界定（hysteresis thresholding）找出介於

兩個閥值之間的邊線像素

以下列出 Canny edge detection 的步驟

1 將原始影像和高斯濾波器做摺積

2 利用一次微分的遮罩對影像每一個像素求得四個方向的邊線強

度 xyxyyx GGGG minus 分別對應到求水平方向垂直方向正對角

線方向反對角線方向的邊緣的遮罩

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

16

3 找出四個方向中的最大值作為目前像素的邊線強度

4 依據步驟 3 將梯度方向分成四個區域

41 如果邊線強度 yG= 方向設定= 0

42 如果邊線強度 xyGminus= 方向設定= 1

43 如果邊線強度 xG= 方向設定= 2

44 如果邊線強度 xyG= 方向設定= 3

5 非最大值刪除每一個像素在 33 的 window 內沿著梯度方向

找出最大值並將其保留其餘均設為零

6 設定兩個閥值 lowT 和 highT 用 highT 挑選出最佳的邊線像素再從鄰近

點（neighbor)中找出梯度強度大於 lowT 的像素即可得到我們要的

邊緣輪廓

由上可知Canny 利用非最大值刪除來解決邊線太粗的問題至

於雜訊的問題如果用一般雜訊去除的方法例如低通濾波（low-pass

filter）中間值濾波（median filter）hellip等會使得影像變得模糊影

響邊線位置的準確度換句話說雜訊的去除和邊緣的偵測是互相衝

突的Canny 則是利用高斯濾波器來解決這個問題也就是在這兩個

衝突中找到平衡點

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

17

整個 Canny edge detection 的流程如下圖 23下頁圖 24 是對影

像做完 Canny edge detection 的結果以及和其他邊緣偵測方法的比

較

圖 23 Canny edge detection 的處理流程圖

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

18

(a) Original image (b) Canny edge detector (c) Laplacian operator

(d) Prewitt operator (e) Sobel operator

圖 24 各種邊緣偵測的結果

由圖 24 的比較中我們可以發現 Canny edge detection 的效果最

好該有的邊都有也沒有邊線過粗的問題因此本篇就採用 Canny

edge detection 的方式來偵測行人的輪廓以做為後續辨識的特徵資

訊

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

19

第三章

行人偵測與辨識

31 前景物偵測

前景物的偵測對於後續的辨識和追蹤扮演了很重要的角色

傳統上偵測前景物的方法大致上有三種分別說明如下

(1) 背景相減法（background subtraction）建立一張背景影像然後

把目前的畫面和背景相減令差值大於閥值的點為前景點背景相減

法是目前最常使用的方法因其可以切割出完整的前景物體同時因

為運算量低容易運用於及時系統中缺點則是對於光線變化較為敏

感當背景與目前畫面的光線有所不同時可能會因為整張畫面的差

異都大於閥值而無法正確的偵測出前景物因此需要配合背景更新的

機制來解決此問題

(2) 連續影像相減法（temporal difference)連續影像相減法不必建

立背景影像而是將影像序列中相鄰的兩張影像相減用來判斷影像

中前景物的位置其優點為較不容易受到光線變化的影響且在無法

建立背景影像的動態環境下也有不錯的偵測效果缺點在於無法切

割出完整的物體外型且當前景物靜止一段時間使用連續畫面相減

法則無法找出變化

(3) 光流偵測法（optical flow)此方法透過較複雜的計算求出連

續影像之間的光流量變化以偵測出前景物體對於偵測單一目標物

尤其是取像裝置亦跟隨移動時仍然有顯著的效果然而因其複雜的

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

20

運算在沒有特殊硬體支援下不利於及時系統

311 HSV 色彩空間介紹

從攝影機所擷取到的影像資訊是由 RGB 來表示但是由 RGB

所構成的色彩空間容易受到光線的影像所以直接在 RGB 空間上

作顏色的分割會有很大的誤差因此許多研究就採用對光線強弱較不

敏感的色彩空間以下介紹一種較為接近人們用來描述或解釋色彩的

HSV 色彩空間

在 HSV 色彩空間中H 為色度（hue）S 為飽和度（saturation）

V 為亮度（value）它的優點是將亮度成分從色彩的資訊中分離出來

根據這三種基本屬性來描述色彩是最符合人們的直覺

色度（H）是色彩的基本屬性就是平常所指的顏色依照圖 31

的標準色輪上的位置取 0-360 度的數值

飽和度（S）是指色彩的純度愈高色彩愈純低則逐漸變淡

取 0-100的數值

亮度（V）是指反光的強度取 0-100的數值

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

21

(a) (b)

圖 31 (a) HSV 色彩屬性圖 (b) HSV 圓錐體色彩屬性圖

以下是 RGB 轉到 HSV 的轉換公式

(3-1)

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

22

312 前景點偵測與陰影去除

本論文利用[2]提出的前景物偵測演算法將先前建立好的背景

影像以及目前的畫面分別由 RGB 轉至 HSV 色彩空間中再藉由比

較其間的差異和選擇適當的閥值判斷像素點是屬於前景陰影或背

景

首先前景物的偵測部分比較目前影像與背景影像中每一個像

素的亮度失真找出屬於前景物的點其判斷式如下

( ) ( ) ( ) ( )⎪⎩

⎪⎨⎧ lowastgeminus

=otherwise 0

11 1 xyMxyBxyIxyF n

VV

(3-2)

其中 ( )xyM n 為一動態閥值表示(x y)像素點在過去 n 張影格亮

度失真的平均值如此利用亮度失真所找出來的前景物包含了真實

物體以及陰影的成分

但是包含陰影的前景物對於後續的分析以及辨識上會造成些許

的影響因此必須再利用色度和飽和度的資訊將陰影去除

( )

( ) ( ) ( )( )

( ) ( ) ( ) ( )

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

ltltminusltminus

ltltltminus

=

otherwise 0

0 and

and 1 and 0 1

SSS

HHH

V

VVV

τxyBxyIτxyBxyI

RxyIxyBxyBxyI

xyS (3-3)

根據實驗觀察R 值的範圍大約在 1 到 3 之間而閥值 Hτ 和 Sτ 就

是用來測量目前影像與背景影像之間色度和飽和度的相似度

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

23

利用這個判斷式便可以把陰影從前景物體當中區隔開來在後續

的處理當中就只需要針對前景物體做處理下圖 32 為偵測結果

(a) 原始影像

(b) 前景偵測（藍色為物體紅色為陰影） (c) 陰影去除

圖 32 前景偵測及陰影去除

313 前景物修補

由上一節的結果可知偵測出來的前景物體仍然會有些許的破

碎和一些外在的雜訊因此需要後續的修補處理讓影像能得到較

好的效果在此節中使用了子區塊（sub-block）的概念來修正經由

背景相減後所產生的雜訊及主體的破洞

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

24

我們將前景物偵測後的結果影像分割成長寬各 4 像素的子區

塊如圖 33 所示每一個包含 16 像素的子區塊中若屬於前景點

的個數超過設定的閥值則該子區塊中的所有像素皆設為前景點否

則將視為背景的一部分圖 34 中假設因背景相減法造成一個物體

分裂成上下兩塊我們利用子區塊的概念計算其中屬於前景點的個

數當 16 個像素點裡有 8 個含以上的點屬於前景點則將整個子區

塊皆視為前景區塊如此便可以解決物體分裂和內部破碎的問題並

達到雜訊去除的目的處理結果如圖 35 所示

圖 33 子區塊示意圖

圖 34 判斷為前景區塊的方式

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

25

圖 35 前景物修補後的結果

本篇論文沒有採用傳統型態學的膨脹和侵蝕原因在於對於膨脹

和侵蝕的程度以及次數上較難拿捏監視器架設的高度不同也可能會

影響處理後的結果因此我們捨棄了膨脹和侵蝕而改用子區塊的方式

來修補前景物體

32 連通元件運算與物體大小的限制

當前景物被偵測出來之後接下來的步驟就是要對前景物做連

通元件運算在此介紹本篇使用的八連通元件運算（8-connected

component）

掃描的方式是從上往下由左到右L(p)表示 p 點的標號演算

法如下

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

26

(3-4)

根據上述的連通元件運算之後可以得到各個連通元件的邊界外

框（bounding box）以及該元件的面積大小有了這兩樣數據首先

便可以透過物體大小的限制將畫面當中面積過小不可能是行人的

物體給過濾掉如圖 36 所示再來就把連通元件的邊界外框座標

當作樣板比對的比對範圍送至後續的辨識模組跟資料庫中的樣板

進行比對

(a) 連通元件運算後的結果 (b) 只保留面積夠大的物體之邊界外框

圖 36 連通元件運算和物體大小的限制

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

27

33 行人辨識

由於系統偵測到的前景物體不一定完全都是行人因此還需要

多一個辨識的階段將前一步驟中面積大小符合但卻不是行人的物

體去除以免影響最後的統計結果

331 距離轉換

在做樣板比對之前首先介紹距離轉換（Distance transform）的

公式及其意義假設 F 表示一特徵影像（二值化的）中的特徵點的一

個集合則對於該影像中的每一個點 p其距離轉換的公式定義如下

( ) ( )qpdpDTFq

minisin

= (3-5)

其中 ( )pqd 為 p 到 q 的歐幾里德距離（Euclidian distance）在做

完距離轉換之後影像中每個像素的值就會變成與最近特徵點之間的

距離圖 37（b）為做完距離轉換的結果我們稱為 DT 影像

(a) 特徵影像 (b) DT 影像

圖 37 距離轉換的結果

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

28

做距離轉換的意義就是去計算物體與樣板的相似程度藉由下

圖來說明白色為特徵點

圖 38 距離轉換示意圖

比對的方式就是統計特徵影像和樣板的特徵點之間的距離當

我們將圖 38（c）樣板 A 套至（a）特徵影像上並計算特徵之間的

距離其總合為 17而圖 38（d）樣板 B 套至（a）特徵影像上其

總合為 0也就是剛好吻合同樣的方法將（c）（d）套至（b） DT

影像加總樣板特徵點對應的距離也會得到相同的結果而做距離

轉換的好處在於當我們有很多樣板時我們只需將特徵影像做一次

距離轉換後續的比對工作就可以透過快速的加總樣板特徵點對應的

距離而得知樣板是否吻合

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

29

332 樣板資料庫的建立

在[15]中Gavrila 利用路牌的形狀建立樣板來偵測道路兩側的

路牌有達到 95的良好偵測結果本篇論文當中我們的樣板同樣

是使用物體的輪廓也就是要使用到在第二章所提到的邊緣偵測我

們透過 Canny edge detection 的方式將行人的輪廓擷取出來當成比

對所使用的樣板

由於路牌的外型輪廓是簡單的幾何形狀例如圓形矩形或三

角形hellip等等因此在樣板的建立方面是較為簡單容易的然而在偵

測像是行人這種外型不固定的物體時就無法使用僅僅兩三種樣板來

進行比對如此的辨識率必然會很低

首先我們將監視畫面切割成 12 個區塊如圖 39 所示由

於攝影機由上往下拍攝對於不同區塊中的行人其透視投影的結果

都不相同因此我們要建立的樣板就是以不同的區塊位置來分類

圖 39 將影像分為 12 個區塊

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

30

在每個區塊下面我們再將行人的行走姿勢分為左腳在前右

腳在前和雙腳合併搭配向上和向下兩個行走方向共 6 種樣板如

圖 310 所示樣板的大小經由影片當中行人大小的分析設定為

寬度 70 像素長度 90 像素樣板的總數為 72 個

(a) 向下右腳在前 (b) 向上右腳在前

(c) 向下左腳在前 (d) 向上左腳在前

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

31

(e) 向下雙腳合併 (f) 向上雙腳合併

圖 310 樣板資料庫

333 執行效能的改進

隨著樣板數目的增加比對的時間也會相對增長因此要如何在

偵測準確率和效能之間取得平衡是一個很重要的問題

本論文根據樣板建立時所分割的區塊將樣板分類當要進行樣

板比對時就針對前景物所在的區域只用該區塊下的樣板去做比

對以節省比對所有樣板的時間如圖 311如此一來樣板數目增

加對於外型不固定物體的比對可以提升偵測的準確率同時也

因為事先將樣板分類節省了在比對上所耗費的時間

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

32

圖 311 樣板分類示意圖

另外距離轉換的計算量和特徵影像的大小成正比第二章前

處理當中輸入的影格經過邊緣偵測後所得到的特徵影像（解析度

為 320x240）對它做距離轉換需要花費 30 秒左右的時間如圖 312

所示這在本篇需要及時處理的系統當中是不能使用的因此我們把

距離轉換的對象從特徵影像變成樣板如此一來距離轉換的動作

就可以事先 off-line 完成節省所花費的時間（約 035x72=25 秒）

也不會影響系統的即時處理如圖 313 所示

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

33

圖 312 特徵影像做距離轉換320x240 約 30 秒

圖 313 樣板做距離轉換70x90 約 035 秒

下頁圖 314 是將樣板做距離轉換後的結果

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

34

圖 314 DT 樣板

334 樣板比對

當建立好樣板並做完距離轉換之後就可以開始進行比對的工

作下頁圖 315 是比對的流程圖

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

35

圖 315 利用距離轉換做樣板比對的流程圖

比對的方法就是將資料庫中的 DT 樣板和特徵影像做摺積將

特徵影像 F 中的特徵點 f 相對應 DT 樣板 T 中的距離加總再求其平

均值稱為 Chamfer distance其公式如下

( ) ( )sumisin

=Ff

T fdF

TFD 1 (3-6)

( )fdT 表示 f 對應於 T 中的距離值當 ( )TFD 的值小於某個閥值

( ) 1 θltTFD (3-7)

則需要再做一個邊緣數量的判斷

( ) 2θgesumisinFf

T fI (3-8)

( )fIT 表示 f 在樣板 T 的範圍之中此判斷式的目的在於確認樣板

的範圍內其邊緣特徵的數量是否夠多因為滿足式子 3-7可能是

樣板範圍內的特徵點夠多且跟樣板距離夠近但也有可能是特徵點

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

36

太少造成距離平均值很小

因此當式子 3-7 和 3-8 的條件都成立時才表示比對成功此時

我們就利用一個和樣板大小相同的邊界外框將偵測到行人的位置標

示出來送至後續的追蹤模組

然而在比對的過程當中會產生一個現象就是一個行人附近會

有很多邊界外框原因是當樣板在(x y)比對成功後在(x+1 y)的位

置上常常會因為同樣滿足 3-7 和 3-8 的條件而顯示比對成功同

理在(x y+1)(x+1 y+1)hellip等等的位置亦然解決的方法就是當第

一次比對成功標示出該行人位置的邊界外框之後就把該外框範圍

內的邊緣特徵移除如此一來當樣板移動到下一個位置時在該範

圍內特徵點數量極少的情況之下式子 3-8 的條件無法成立就不會

再有重複比對成功的問題產生了

(a) (b)

圖 316 (a) 樣板比對成功的結果 (b) 加上特徵移除後的結果

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

37

第四章

行人追蹤與統計

當系統偵測到前景物經過辨識後確定為行人的物體就要將其

資訊送至統計模組中做追蹤以判斷該行人的進出方向如此便能

對進出的人數做統計

41 行人定位

411 監視畫面的分割

在本篇論文當中我們將畫面水平分割成三個區塊如下圖 41

所示

圖 41 畫面分割

其中區塊（1）和（3）稱為警示區域區塊（2）稱為追蹤區域

這些區塊的分割是用來幫助我們追蹤並判斷行人的行走方向當行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

38

人從區塊（1）進入並從區塊（3）離開我們就知道他是往下行走

反之則是往上行走

412 行人資訊的表示

當行人辨識的步驟處理完之後可以得到行人的邊界外框如圖

316（b）所示接下來就以該外框的中心點座標當作行人的位

置座標同時判斷該行人所在的區塊圖 42 中該行人是位在區塊（1）

當中

圖 42 判定行人所在的區塊

接下來我們將行人的各項屬性用一個向量來儲存如下表其

中包括了行人的中心點座標行人目前所位於的區塊行人之前所

經過的區塊以及行人的停滯時間

表 41 行人的各項屬性

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

39

42 行人追蹤與統計

有了行人的各項屬性之後就可以開始對行人持續的追蹤監控

以求得行人的行走方向

本篇論文所使用的追蹤演算法是利用行人在前後兩張影格之間

的位置找出其對應關係並搭配行經區塊的歷史紀錄來求出物體

的行走方向

(a) frame t-1 (b) frame t

圖 43 目標物位置對應示意圖

當行人連續通過三個區塊時該行人行走方向的人數就會被累

加如果有物體一段時間沒有移動那麼它的停滯時間就會累加當

時間超過閥值時該物體就會被移除

以下為追蹤演算法的步驟

1 計算前後兩張影格目標物兩兩之間的歐幾里德（Euclidean

distance）距離

2 將前後兩張影格中歐幾里德距離最短的兩個物體視為相互對

應這裡的對應關係必須是一對一的對應另外若兩物體間的

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

40

最短距離仍超過某設定的閥值表示彼此之間距離太遠不應

該將兩者視為對應如下圖 44 所示

(a) frame t-1 (b) frame t

圖 44 目標物距離太遠不為對應

3 若前後兩張影格的物體相互對應就更新其中心點座標以及目

前所處的區塊並紀錄其歷史區塊

4 在前一張影格中的物體若沒有被對應到表示該物體在後一張

影格沒有被偵測到因此將停滯時間的參數加一

5 在後一張影格中的物體若沒有被對應到表示該物體是剛進入

到監視區域因此將該物體的各項屬性儲存到向量中

6 重複以上的步驟直到物體離開監視區域當其停滯時間超過某

一閥值就追溯其之前所經過的區塊由歷史紀錄中我們可以

知道物體行走的方向是由上往下或是由下往上

7 當我們將該物體行走方向的人數加一之後就可以把物體的資訊

從向量中刪除

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

41

在步驟六當中有一種特殊的情況是行人行走到一半又轉頭

往回走如圖 45 所示

(a) (b) (c)

圖 45 走到一半轉頭往回走

在這種狀況下該行人不應被計入進出的人數因此在判斷歷

史紀錄時若行人進入和離開的區塊是相同區塊則在步驟七中該

行人的資訊就直接被刪除不做計算的動作

另外有個在追蹤過程中很容易發生的問題就是兩個物體合併

之後又分開的情形（merge and split）傳統上可能會利用顏色等特

徵使得物體在對應混淆的情況之下仍能正確的追蹤

但本篇純粹使用物體的位置資訊來做對應而沒有用到物體的顏

色資訊主要有兩個原因第一個是因為本系統攝影機架設位置特殊

的關係傳統攝影機水平拍攝的角度使得物體在畫面當中的型態是

固定的如下頁圖 46 所示如此在追蹤當中可以利用顏色的資訊

來提高對應的準確率

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

42

(a) (b)

圖 46 物體型態固定可利用顏色資訊做追蹤

但是物體在本系統的監視畫面當中會因為位置的不同造成型

態有很大的變化同時顏色的變化差異也很大因此便無法透過顏色

的對應來提高追蹤的準確度如下圖所示當物體剛進入畫面時其

顏色包含了頭部肩膀正面身體和腳部的資訊當物體走到攝影機

正下方時就只剩下頭部和肩膀的顏色資訊最後即將離開畫面時

又變成了頭部肩膀背面身體和腳部的顏色資訊此時若加上顏色

的資訊反而不一定能正確的對應

(a) (b) (c)

圖 47 位置不同顏色資訊差異大

另外一個原因由於本系統不只是做移動物體偵測同時還做了

辨識所以即使兩人合併成一個物體能仍經由辨識將兩人分開

然後再透過位置對應來進行追蹤

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

43

第五章

實驗結果

51 實驗環境與測試資料

本論文的測試環境共有兩處室外環境為學校的進出入口室內

環境為大廳的進出口攝影機皆由二樓約五公尺半的高度往下垂直拍

攝如圖 51 所示

(a) 室外環境 (b) 室內環境

圖 51 實驗測試環境

實驗共測試了 32 段影片影片解析度為 320240 pixels總時間

約為 109 分鐘其中室外的環境包含 6 段晴天19 段陰天3 段雨

天共 28 段影片室內的環境則測試了 4 段影片

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

44

程式開發是使用 Borland C++ Builder 60系統執行的平台為 P-4

30 GHz512MB RAM作業系統為 Windows XP程式的執行效能

平均每秒可處理 8 張影格

下圖 52 為攝影機所拍攝到的行人進出影像

(a) (b)

(c) (d)

(e) (f)

圖 52 行人進出的影像

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

45

52 行人辨識結果

本節展示行人辨識的結果在找出前景物之後就利用樣板比對

的方式判斷物體是否為行人或是其他非人的物體若是行人則

會用一個和樣板大小相同的黃色外框將行人框住以下為行人辨識的

結果

(a) (b)

(c) (d)

圖 53 同一人在不同位置的辨識結果

上圖 53 顯示一個行人行經監視區域在不同的位置上不同的

行走姿勢本篇論文都可以正確的偵測並辨識

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

46

(a) (b)

(c) (d)

(e) (f)

圖 54 不同人在同一位置的辨識結果

上圖 54 顯示不同的行人在同一區塊中（圖 39 所劃分的 12 個

區塊）不同的行走方向不同的行走姿勢本篇論文都可以正確的

偵測並辨識

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

47

(a) (b)

(c) (d)

(e) (f)

(g) (h)

圖 55 多人的辨識結果

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

48

上頁圖 55 為畫面當中有多個行人的偵測結果結果顯示不論

是兩人並行如（c）或著是多人同時經過如（d）～（f）本論文提

出的方法都可以正確的辨識出每個行人的個體

此時如果有非人的物體經過監視區域在樣板比對的過程當中

就不會被辨識成行人如下圖 56 所示

(a) (b)

(c) (d)

(e) (f)

圖 56 非行人物體經過監視區域

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

49

其中（a）（b）是行人撐傘經過的影像經樣板比對後沒有辨

識出行人個體（c）是行人牽腳踏車的影像辨識後只有行人的部分

被框出（d）～（f）為一連續的影像序列只有最後當物體即將離

開畫面時一個行人因為沒有被雨傘遮住而被辨識出來

以下是對室內室外共 32 段影像序列做行人辨識的實驗結果數

據分析如下表所示

表 51 室外環境行人辨識結果數據

表 52 室內環境行人辨識結果數據

所有實驗影片共 484 人其中往上走的人共 281 個往下走的人

有 203 個偵測辨識的正確率室外約為 93室內環境為 100

在此實驗結果中行人偵測的定義是至少要在十個以上的影格中被

偵測出來以便後續的追蹤若被偵測到的次數少於十次在追蹤時

可能會發生對應上的問題因此就不計入辨識成功的部分

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

50

53 行人追蹤結果

本節展示行人追蹤的結果對於偵測出來的行人就利用其位置

對應的關係追蹤並判斷其行走方向

下圖 57 為第一段影像序列追蹤並計算人數的結果往上及往下

的初始人數皆為 1程式介面右下角為影格編號

(a) (b)

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

51

(c) (d)

(e) (f)

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

52

(g) (h)

(i) (j)

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

53

(k) (l)

圖 57 第一段影像序列的行人追蹤統計結果

下頁圖 58 為第二段影像序列的結果往上及往下的初始人數皆

為 0一開始的物體沒有被辨識成行人直到（c）物體將離開時

有一個行人被偵測到但是該行人的偵測次數只有一次不構成偵測

成功的條件因此無法追蹤和統計只有（d）～（f）的行人有被偵

測並且追蹤統計

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

54

(a) (b)

(c) (d)

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

55

(e) (f)

圖 58 第二段影像序列的行人追蹤統計結果

圖 59 為第三段影像序列的結果初始人數往上為 1 往下為 0

(a) (b)

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

56

(c) (d)

(e) (f)

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

57

(g) (h)

(i) (j)

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

58

(k) (l)

(m) (n)

圖 59 第三段影像序列的行人追蹤統計結果

其中（b）～（d）該行人從畫面下方進入走到一半又往回走

最後又從畫面下方離開根據追蹤的結果進入和離開為同區塊（圖

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

59

42 所劃分的三個區塊）所以不計算出入的人數同樣的（h）～（j）

進入和離開為同區塊不計算出入的人數

以下是針對表 51 和 52 中偵測到的行人人數進行追蹤和統

計的結果數據分析如下表所示

表 53 室外環境行人追蹤統計結果數據

表 54 室內環境行人追蹤統計結果數據

在行人偵測所得到的 452 人當中成功追蹤並統計的人數共有

435 人室外環境正確率約為 96室內環境正確率為 100

54 錯誤分析與討論

根據前兩節的數據分析我們發現室內環境因為不會受到光線變

化的影響同時進出的人數單純因此行人統計的準確率可達 100

室外環境則因為進出人數狀況較複雜加上光線變化和天候影響故

準確率較差

本系統所發生的錯誤可分為偵測錯誤和追蹤錯誤偵測時的錯誤

又可分為兩種第一種情況如下頁圖所示

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

60

(a) (b)

圖 510 無法偵測到行人

偵測不到行人的原因在於環境光線的影響（a）的光線太強

以及（b）的光線太弱都造成邊緣偵測的結果不理想以至於在樣

板比對的時候無法滿足式子 3-8 的條件限制如圖 511 所示

(a) (b)

圖 511 邊緣資訊不足

另一種狀況如下圖 512 所示

圖 512 兩行人緊靠著行走

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

61

圖中左邊的行人將手搭在右邊行人的肩膀上當左邊的行人被偵

測出來之後其外框內的邊緣資訊被移除連帶右邊行人的邊緣資訊

也被刪除掉一半造成右邊的行人無法成功辨識

但是若是像下圖 513 的情形就不會有問題因為兩個行人雖

然並行外型輪廓依然完整不像圖 512 右邊行人的外型被左邊行

人遮蓋

圖 513 兩行人肩靠肩並行

而 false alarm 產生的原因主要在於室外陽光太強烈造成陰影

無法被系統濾除而在地面上的輪廓與行人極為類似因此在做樣

板比對時會將陰影辨識成行人而造成誤判同時在人數統計上也

會因此造成多算的情形如下圖所示

圖 514 陰影無法濾除而被誤判

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

62

在追蹤錯誤方面發生的狀況如下圖的例子

(a) (b) (c)

圖 515 追蹤錯誤的情形之一

在（a）中所偵測到的行人因為在（b）中的邊緣資訊不足沒

有被偵測到後來在（c）中又被偵測到如此一來在追蹤的時候

因為物體之間的對應距離相差太遠所以程式認為不是同一個物體

造成此行人沒有被計算到

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

63

第六章

結論及未來方向

61 結論

本篇論文提出了一個進出口行人數量的自動統計系統可應用

於展覽會場百貨公司等需要計算人數的公共場所利用影像處理和

電腦視覺的技術達到自動計算進出人數的功能同時滿足節省人力

資源以及讓進出的行人自由行走的目的

在行人偵測與辨識的部分首先利用統計的方式來求得穩定的背

景資訊並使用背景相減法陰影去除雜訊去除和修補技術偵測

出較為完整的移動物體同時求出其邊緣資訊再來建立行人的外

型樣板資料庫利用樣板比對的方式辨識移動物體是否為行人不

是的就去除是的就進行追蹤

在追蹤部分利用行人在前後畫面的位置對應關係以及行經區

域的歷史紀錄判斷行人的移動方向當行人離開畫面則對該方向

的人數累加

實驗結果顯示本篇論文提出的方法可以有效的偵測出行人並

追蹤達到自動計算進出行人數量的目的同時改進了前人使用面

積估算人數所產生的誤差問題以及尋找黑色頭髮但找不到光頭戴

帽子的人之缺點

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

64

62 未來方向

本論文的未來研究方向可分為下面幾項

(1) 使用更準確的目標物偵測方法

解決環境亮度變化或目標物與背景顏色相似而使得目標物破碎

的問題

(2) 改進比對的執行速度

當行人越多樣板比對的區域就越大造成執行速度下降期望

能有更佳的比對方法來增加系統的執行效能

(3) 使用更準確的追蹤演算法

雖然行人進出的行走路徑單純可用簡單的對應方法來追蹤但

未來可改用卡曼濾波器等更好的追蹤演算法讓系統的準確率更

加提升

(4) 樣板資料庫的建立

目前的樣板是攝影機於五公尺半的高度拍攝後所建立的建立

的出來樣本大小就是適用於該高度的系統若攝影機放置位置

太低則行人會太大太高則會太小那麼資料庫的樣板就必須

重新建立以配合該系統的攝影機高度希望能建立出一個通用

的樣板資料庫

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

65

(5) 增加另一支攝影機來擷取的臉部資訊

未來可以利用另一支水平拍攝的攝影機擷取進場的行人臉部資

訊對於展覽會場或是百貨公司的客源可以進一步的分析顧客

的性別甚至年齡層

圖 61 使用另一支攝影機做人臉辨識

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

66

參考文獻

[1] ldquo台北市特定場所容留人數管制規則rdquo台北市政府消防局

httpwwwtfdgovtwdownloaddownload_02phpspecies_id=45 [2] T Horprasert D Harwood and LS Davis ldquoA statistical approach

for real-time robust background subtraction and shadow detectionrdquo in Proc IEEE Frame-Rate Workshop 1999

[3] B Chen and Y Lei ldquoIndoor and outdoor people detection and

shadow suppression by exploiting HSV color informationrdquo in Proc IEEE Conf Computer and Information Technology pp137-142 2004

[4] C Stauffer and WEL Grimson ldquoAdaptive background mixture

models for real-time trackingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp246-252 1999

[5] AJ Lipton H Fujiyoshi and RS Patil ldquoMoving target

classification and tracking from real-time videordquo in Proc IEEE Workshop Applications of Computer Vision pp8-14 1998

[6] G Welch and G Bishop ldquoAn introduction to the Kalman Filterrdquo [7] A Cavallaro O Steiger and T Ebrahimi ldquoTracking video objects

in cluttered backgroundrdquo IEEE Trans Circuits and Systems for Video Technology VOL 15 NO 4 Apr 2005

[8] HT Chen HH Lin and TL Liu ldquoMulti-object tracking using

dynamical graph matchingrdquo in Proc IEEE Conf Computer Vision and Pattern Recognition VOL 2 pp210-217 2001

[9] TH Chen and CW Hsu ldquoAn automatic bi-directional

passing-people counting method based on color image processingrdquo in Proc IEEE Conf Security Technology pp200-207 2003

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行

67

[10] L Snidaro C Micheloni and C Chiavedale ldquoVideo security for ambient intelligencerdquo IEEE Trans Systems Man and Cybernetics Part A Systems and Humans VOL 35 NO 1 pp133-144 Jan 2005

[11] GP Adriano SIV Mendoza FNJ Montinola and PC Naval

ldquoAPeC Automated people counting from videordquo in Proc PCSC Conf Security and Networking Philippine 2005

[12] ldquoTracking people using range informationrdquo

httpwwwcsubcca~rogicprojectshtml maintained by S Rogic [13] GKH Pang and CK Ng ldquoAutomated people counting using

template matching and head searchrdquo in Proc IEEE Conf Mechatronics and Machine Vision in Practice 2002

[14] J Canny ldquoA computational approach to edge detectionrdquo IEEE

Trans Pattern Analysis and Machine Intelligence VOL 8 NO 6 pp679-698 Nov 1986

[15] DM Gavrila and V Philomin ldquoReal-time object detection for

smart vehiclesrdquo in Proc IEEE Conf Computer Vision pp87-93 1999

[16] R C Gonzalez and RE Woods 繆紹綱編譯 ldquoDigital Image

Processing 2erdquo 台灣培生教育出版股份有限公司出版普林斯

頓國際有限公司發行