以立體視覺引導 PTZ 攝影機的影像伺服系統研究

報告學生：陳嘉政 指導老師：彭守道 老

師

大綱• 前言• 研究動機• 實驗架構介紹–固定式與移動式攝影機比較圖–物件比對 (Pattern Matching)

– RBF 神經網路– SOM 神經網路

• 結論2

前言• 攝影機的使用已經非常的普及，一般攝影機的解析度較差，其使用方式多數為定點拍攝，不容易取得想要的影像。

3

前言• 影像除了可以記錄與觀看，也可以將影像資訊用於自動化系統，藉此解決部分無法自動化的問題，例如：水果與稻米的篩選。

4

研究動機• 結合固定式攝影機與移動式攝影機，使我們能在拍攝大範圍影像時，也能取得重要且清晰的影像。

• 設計一個利用影像資訊，進行自動化的目標追蹤系統。

5

實驗架構介紹• 實驗設備：

固定式攝影機 2 台

移動式攝影機 1 台

桌上型電腦 1 組

6

固定式與移動式攝影機比較圖

種類優缺點

固定式攝影機 PTZ(Pan/Tilt/Zoom) 攝影機

優點 拍攝範圍較廣可使用 Pan/Tilt 角度追蹤目標物

具有光學放大 (Zoom) 功能，可取得較高的物體解晰度

缺點 物體解析度較低，不易判斷移動與放大的功能需要人工操作

監視範圍較小，由 PTZ 攝影機畫面觀察操作時目標物容易追丟

7

物件比對 (Pattern Matching)

• 可以透過事先建立的模型 (model) ，在影像中搜尋條件相似的物件。

8

目標點影像

目標點影像座標

Change position of the camera

固定式攝影機 A 畫面

RBF網路

影像處理

1u

2u

u

Ax

Ay

Bx

By

P

T

Ax

目標點影像

固定式攝影機 B 畫面

Bx

2W

影像座標 PTZ 角度

RBF 類神經網路

9

誤差與修正• RBF 神經網路所運算的結果，不一定能讓目標物停在影像中心，因此需要使用到SOM 神經網路。

• 藉由 SOM 神經網路取得正確的角度值，並將資訊給予 RBF 神經網路進行更新學習。

10

SOM網路

移動式攝影機畫面

目標點影像

畫面中心

uT

uC

S目標點影像座標

Change position of the camera

影像處理

SOM 類神經網路

11

結論• 使用 RBF 神經網路，能有效的轉換影像資訊為角度資訊。

• 藉由 SOM 神經網路的幫助，能使系統產生自我修正的功能。

• Pattern Matching 搜尋方式為全域搜尋，對系統負荷較大，容易造成系統運作變慢。

12

報告結束

感謝聆聽