淺談擴增實境及其應用淺談擴增實境及其應用Augmented Reality and Its ApplicationsAugmented Reality and Its Applications

江憲坤江憲坤

資訊系所資訊系所 // 數位內容科技與管理所數位內容科技與管理所國立彰化師範大學國立彰化師範大學Mar. 13, 2010Mar. 13, 2010

1

大綱大綱

擴增實境簡介擴增實境簡介 擴增實境設備和科技擴增實境設備和科技 介面和視覺化介面和視覺化 ARAR 應用實例應用實例 結論與未來發展趨勢結論與未來發展趨勢

2

簡介簡介 擴增實境擴增實境 (Augmented Reality)(Augmented Reality)

將電腦產生的虛擬物件與現實世界顯示在同一空間裡將電腦產生的虛擬物件與現實世界顯示在同一空間裡的一種技術。的一種技術。

特性特性 在實際環境中結合實際物件和虛擬的物件在實際環境中結合實際物件和虛擬的物件 可即時地跟使用者進行互動可即時地跟使用者進行互動 實際物件和虛擬物件彼此重疊實際物件和虛擬物件彼此重疊 (super-imposed)(super-imposed)

3

Some AR Images

Some AR Images (cont.)

簡介簡介 (( 續續 )) Milgram (1991)Milgram (1991) 之定義之定義

虛擬環境虛擬環境 ((virtual environments)virtual environments) 四周環境皆為虛擬四周環境皆為虛擬的。的。

擴增實境周圍環境為真實的。擴增實境周圍環境為真實的。

6

簡介簡介 (( 續續 )) ARAR 起源起源

1960s1960s SutherlandSutherland 使用使用 HMDHMD 來呈現來呈現 3D3D 圖像圖像

19971997 AzumaAzuma 發表定義發表定義 ARAR 領域之概觀，並描述了許多問題領域之概觀，並描述了許多問題

1990s1990s 開始有關於開始有關於 ARAR 起源之研討會，如：起源之研討會，如： International International

WorkshopWorkshop 、、 Symposium on Augmented RealitySymposium on Augmented Reality、、 International Symposium on Mixed RealityInternational Symposium on Mixed Reality 以以及及 Designing Augmented Reality Environments Designing Augmented Reality Environments workshopworkshop

日本及德國財團日本及德國財團 ArvikaArvika 此些資金充足的組織在發展此些資金充足的組織在發展ARAR ，特別是混合實境系統實驗室。，特別是混合實境系統實驗室。

7

簡介簡介 (( 續續 )) ARAR 目標目標

藉由新的科技發展提出新的應用，延伸既有科技之技藉由新的科技發展提出新的應用，延伸既有科技之技術。術。

讓原本不用瞭解的事物，經由讓原本不用瞭解的事物，經由 ARAR 技術而變得容易瞭解技術而變得容易瞭解，如數學幾何和分子結構，如數學幾何和分子結構

廣泛應用於各種生活層面，如醫療視覺化，設備維修廣泛應用於各種生活層面，如醫療視覺化，設備維修，商業廣告，商業廣告

8

擴增實境設備擴增實境設備 創造令人讚嘆的創造令人讚嘆的 ARAR 環境所需之設備或科技環境所需之設備或科技 設備和科技：設備和科技：

電腦電腦 顯示器顯示器 (displays)(displays) 追蹤追蹤 (tracking)(tracking) 定位定位 (registration)(registration) 校準校準 (calibration)(calibration)

9

擴增實境設備擴增實境設備 顯示器顯示器 -- 頭戴式 頭戴式 (HMD)(HMD)

顯示器置於頭頂，提供圖像到使用者眼前。顯示器置於頭頂，提供圖像到使用者眼前。 頭戴式顯示器分為兩類：光學透視、影像透視頭戴式顯示器分為兩類：光學透視、影像透視

Sony and Olympus Sony and Olympus 已經製造彩色液晶顯示器（已經製造彩色液晶顯示器（ LCDLCD）讓消費者頭戴顯示器來看影像和玩電動遊戲。）讓消費者頭戴顯示器來看影像和玩電動遊戲。

優點 優點 : : 輕便、便宜輕便、便宜 ; ; 缺點 缺點 :: 其解析度低、視野小、不支其解析度低、視野小、不支援立體聲援立體聲

http://www.youtube.com/watch?v=ngMSkhTwsmE

http://www.youtube.com/watch?http://www.youtube.com/watch?v=YXnfsCjthuI&NR=1v=YXnfsCjthuI&NR=1

影像透視 影像透視 (Video See Through)(Video See Through)

Videocamera Video

Graphics

Monitor Combiner

光學透視 光學透視 ((Optical See Through)

Real World

Optical Combiners

Virtual imagesfrom monitors

擴增實境設備 擴增實境設備 (( 續續 ))

顯示器顯示器 -- 頭戴式頭戴式 虛擬視網膜顯示器虛擬視網膜顯示器 ((virtual retinal displayvirtual retinal display)) 將直接將直接

在視網膜上成像，由在視網膜上成像，由 MicroVisionMicroVision 開發開發 優點優點

高亮度和對比、低功率消耗、景深大高亮度和對比、低功率消耗、景深大

13

擴增實境設備 擴增實境設備 (( 續續 ))

顯示器顯示器 -- 頭戴式頭戴式 理想情況下，頭帶理想情況下，頭帶 ARAR 顯示器不會大於一副太陽鏡。顯示器不會大於一副太陽鏡。 MicroOpticalMicroOptical 製作光學眼鏡系列，嵌入光學顯示器到製作光學眼鏡系列，嵌入光學顯示器到常見的眼鏡上。目的在讓顯示器因輕便、不顯眼而被常見的眼鏡上。目的在讓顯示器因輕便、不顯眼而被使用者遺忘。使用者遺忘。

重量小於眼鏡本身重量小於眼鏡本身 66 克克

14

擴增實境設備 擴增實境設備 (( 續續 ))

顯示器顯示器 --手持式手持式 有些有些 ARAR 系統使用手持平板液晶顯示器，其使用一個附系統使用手持平板液晶顯示器，其使用一個附加的攝影機來提供影像透視的擴增。加的攝影機來提供影像透視的擴增。

手持顯示器充當一個窗口或一個放大鏡來顯示重疊於手持顯示器充當一個窗口或一個放大鏡來顯示重疊於ARAR 的實際物件。的實際物件。

ARAR 顯示器的問題顯示器的問題 沒有足夠的光線、解析度、視野沒有足夠的光線、解析度、視野 由於攝影機架於遠離實際眼睛之位置，大多數影像透由於攝影機架於遠離實際眼睛之位置，大多數影像透

視顯示器有視差的錯誤。視顯示器有視差的錯誤。 成本和重量問題成本和重量問題

15

擴增實境設備 擴增實境設備 (( 續續 ))

追蹤感應器追蹤感應器 準確的追蹤使用者瀏覽方向和位置是準確的追蹤使用者瀏覽方向和位置是 ARAR 定位的關鍵。定位的關鍵。 RollandRolland 等人提出了一個近來追蹤系統的概觀等人提出了一個近來追蹤系統的概觀

系統通常採用混合追蹤技術系統通常採用混合追蹤技術 (( 如磁場和影像感應器如磁場和影像感應器 )) 的優的優勢來彌補個別追蹤技術的弱點。勢來彌補個別追蹤技術的弱點。

系統結合加速度和影像追蹤，即使在快速頭部移動，也系統結合加速度和影像追蹤，即使在快速頭部移動，也能準確的定位。能準確的定位。

http://www.youtube.com/watch?http://www.youtube.com/watch?v=MNmrSGjPzfEv=MNmrSGjPzfE

http://www.youtube.com/watch?http://www.youtube.com/watch?v=81qb_QgD_YU&NR=1v=81qb_QgD_YU&NR=1

16

擴增實境設備 擴增實境設備 (( 續續 ))

環境檢測 環境檢測 (Calibration)(Calibration) 一個有效的一個有效的 ARAR 需要了解使用者和環境中其他物件位置需要了解使用者和環境中其他物件位置 算圖時需要有真實景色的深度圖來支援遮蔽算圖時需要有真實景色的深度圖來支援遮蔽

(Occlusion)(Occlusion) 系統使用多台攝影機來即時顯示深度圖系統使用多台攝影機來即時顯示深度圖

17

擴增實境設備 擴增實境設備 (( 續續 ))

環境檢測 環境檢測 ARAR 行動應用部份：行動應用部份：

混合型指南針及陀螺儀跟蹤器在混合型指南針及陀螺儀跟蹤器在戶外定點提供固定的測量方向及戶外定點提供固定的測量方向及位置。位置。

系統會在標誌性建築物特點條件系統會在標誌性建築物特點條件下的地方，產生精確的結果。下的地方，產生精確的結果。

全球定位系統（全球定位系統（ GPSGPS ）通常採）通常採即時追蹤位置的方式。即時追蹤位置的方式。

限制因素：如，全球定位系統限制因素：如，全球定位系統（（ GPSGPS ）需要在無遮蔽視角條）需要在無遮蔽視角條件下較佳。件下較佳。 從圖中兩個不同的視點觀看，

可看到被標註的行動標籤位置。

18

介面和視覺化介面和視覺化 使用者介面和互動使用者介面和互動

ARAR 雛型設計主要在於訊息顯示部分，沒有考慮到自己雛型設計主要在於訊息顯示部分，沒有考慮到自己或潛在使用者與系統間互動之情形。或潛在使用者與系統間互動之情形。

以「桌面隱喻的介面」為基礎以「桌面隱喻的介面」為基礎 螢幕的選單、鍵盤上輸入螢幕的選單、鍵盤上輸入……等等 虛擬環境的研究中找出適性化的設計，例如：使用手勢虛擬環境的研究中找出適性化的設計，例如：使用手勢識別。識別。

19

介面和視覺化介面和視覺化 (( 續續 ))

使用者介面和互動使用者介面和互動 RV-Border Guards gameRV-Border Guards game 的應用：玩家在遊戲中打擊的應用：玩家在遊戲中打擊

虛擬怪物，透過使用手勢來控制他們的武器和盾牌，藉虛擬怪物，透過使用手勢來控制他們的武器和盾牌，藉此與怪物們戰鬥。此與怪物們戰鬥。

RV-Border Guards game,可看到遊戲進行之情形。

20

RV-Border Guards gameRV-Border Guards game

21

介面和視覺化介面和視覺化 (( 續續 )) 使用者介面和互動使用者介面和互動 (( 續續 )) ARAR 互動研究中，有兩個主要的趨勢：互動研究中，有兩個主要的趨勢：

使用不同的設備並充分運用其優勢，可搭配不同的互動使用不同的設備並充分運用其優勢，可搭配不同的互動形式。因此，針對不同的互動研究，找出適合的配備或形式。因此，針對不同的互動研究，找出適合的配備或方法運用於該研究中。方法運用於該研究中。

將有形的的介面與實體世界相結合。將有形的的介面與實體世界相結合。

左圖為使用投影的方式，右圖為透過手持式顯示器的使用情形。22

介面和視覺化介面和視覺化 (( 續續 )) 使用者介面和互動使用者介面和互動 (( 續續 )) EmmieEmmie 系統系統 (1999)(1999) ：採用頭戴式顯示器及不同設備類：採用頭戴式顯示器及不同設備類型，並讓訊息在彼此間傳遞，產生真實和虛擬情境之結合型，並讓訊息在彼此間傳遞，產生真實和虛擬情境之結合。。

在 EMMIE 系統中，結合頭戴式、投影和私人平板電腦。

23

介面和視覺化介面和視覺化 (( 續續 )) 使用者介面和互動使用者介面和互動 (( 續續 )) StudierstubeStudierstube 系統：具備模擬多台設備的優點，用戶持系統：具備模擬多台設備的優點，用戶持

有的追蹤空白物理板，並以此做虛擬控制，從物理面板中有的追蹤空白物理板，並以此做虛擬控制，從物理面板中亦會產生觸覺回饋。亦會產生觸覺回饋。

左圖為 studierstube 系統，右圖為魔法書，為合作式 AR 系統，書本描繪虛擬生活，且讓一個或多個使用者沉浸在虛擬實境環境中。 24

介面和視覺化介面和視覺化 (( 續續 )) 使用者介面和互動使用者介面和互動 (( 續續 )) 室內設計應用：強調使用真實、實體物件和工具。室內設計應用：強調使用真實、實體物件和工具。

以實際的槳來操縱家具模型。透過推的方式、傾斜及其他以實際的槳來操縱家具模型。透過推的方式、傾斜及其他動作，使用者可以自由選擇家具，將它們放置於房內及所動作，使用者可以自由選擇家具，將它們放置於房內及所需位置上，並且可將它們從房間內刪除。需位置上，並且可將它們從房間內刪除。

使用者拿起實際的槳來選擇、移動、下降及刪除模型。 25

介面和視覺化介面和視覺化 (( 續續 )) 高級算圖高級算圖 ((Advanced renderingAdvanced rendering))

介入現實介入現實 ((Mediated realityMediated reality)) LepetitLepetit 討論了半自動方法，在現場透過側面影像來識討論了半自動方法，在現場透過側面影像來識

別物體和它們的位置。在某些情況下，這種技術不需要別物體和它們的位置。在某些情況下，這種技術不需要明確的明確的 3D3D 重建環境，即能將虛擬物件崁入和真實對象重建環境，即能將虛擬物件崁入和真實對象刪除刪除

26

ARAR 應用實例應用實例 分為三個領域：手機、教育、合作和商業應用分為三個領域：手機、教育、合作和商業應用 ARAR 應用在檢查部分應用在檢查部分

NavabNavab 和他的同事利用和他的同事利用 2D2D工廠樓層計畫和工業管線工廠樓層計畫和工業管線結構平面圖，以結構平面圖，以 CC 型臂型臂 XX 光機器的實際限制讓機器自光機器的實際限制讓機器自動校準攝影機和用實際物體對準動校準攝影機和用實際物體對準 XX 光圖像（下圖）光圖像（下圖）

ARAR 應用在醫療層面應用在醫療層面 FuchsFuchs 支持腹腔鏡的手術支持腹腔鏡的手術 WeghorstWeghorst 使用使用 ARAR 來幫助來幫助 治療帕金森氏症病人。治療帕金森氏症病人。

2D工廠樓層計畫和工業管線結構平面圖，產生 3D 管線模型，重疊在工業管線上。

27

透過頭戴式顯示器，可以看到顯示 3D模型建設呈現原來的位置 (Courtesy T. Höllerer, S. Feiner, J. Pavlik, Columbia Univ.)

28

行動應用行動應用 行動應用行動應用

海軍研究室海軍研究室 (NRL)(NRL) 發展一個類似的系統發展一個類似的系統 -- 在戰場擴增在戰場擴增實境系統實境系統 (( 下圖下圖 ))

幫助軍事在城市環境行動期間的操作幫助軍事在城市環境行動期間的操作 目標：目標：

增強環境和動態增強環境和動態 3D3D 訊息訊息 (( 例如目標或危害例如目標或危害 )) 通常轉成了通常轉成了2D2D 地圖來傳達地圖來傳達

目前該系統提供了使用者環境的工具和新的目前該系統提供了使用者環境的工具和新的 3D3D 訊息，訊息，轉而讓其他系統使用者看到轉而讓其他系統使用者看到

29

戰場擴增實境 (Courtesy of the Naval Research Lab.)

30

行動應用 行動應用 (( 續續 ))

Piekarski Piekarski 正開發使用者互動模式和技術的互動正開發使用者互動模式和技術的互動模式建構一個行動的模式建構一個行動的 ARAR 環境環境

此系統也讓其他戶外用戶看到這些只存在虛擬的此系統也讓其他戶外用戶看到這些只存在虛擬的軍事仿真器軍事仿真器 (( 如飛機如飛機 ))

結合擴增和虛擬實境的兩種視野31

教育應用 MagicBook

藉由一本 AR增強的現實書籍，來探索相動作技術之應用 讓讀者在閱讀故事書時，其周遭環境和角色都能栩栩如生的出現

提供生動活潑的 3D書籍，增進小朋友的閱讀興趣

商業應用商業應用 最近，最近， ARAR 已經被使用在即時的實體的廣播，主已經被使用在即時的實體的廣播，主要是提升體育賽事和在一個場景裡穿插廣告。要是提升體育賽事和在一個場景裡穿插廣告。

圖圖 1919 展示了兩個目前展示了兩個目前 ARAR 在體育類的例子。在體育類的例子。 在這兩個系統，環境在實作前被仔細的塑模，以其相在這兩個系統，環境在實作前被仔細的塑模，以其相機校準和精確跟蹤。機校準和精確跟蹤。

33

商業應用商業應用 (( 續續 ))

ARAR 在體育廣播應用。在體育廣播應用。 詮釋對賽車和黃線第一下行線即時插入在實體播詮釋對賽車和黃線第一下行線即時插入在實體播

出時出時

34AR 在體育賽事的應用

商業應用商業應用 (( 續續 ))

以類似的方法，廣告客戶可以美化廣播視頻和虛以類似的方法，廣告客戶可以美化廣播視頻和虛擬廣告以及產品推薦。擬廣告以及產品推薦。

虛擬廣告， Pacific Bell 和 Pennsylvania Lottery 廣告是 AR 擴增物 35

結論與未來發展趨勢結論與未來發展趨勢 ARAR 已經有效的應用到生活中的各個層面已經有效的應用到生活中的各個層面 在學習上，有效的擷取在學習上，有效的擷取 ARAR 技術並應用之，技術並應用之，

可使困難理解的主題變得容易。可使困難理解的主題變得容易。 然而， 然而， ARAR 尚有許多問題尚有許多問題

技術限制技術限制 展示、追蹤器和展示、追蹤器和 ARAR 系統需要更準確，更輕便，更便宜系統需要更準確，更輕便，更便宜

和更低耗能和更低耗能 使用者介面限制使用者介面限制

必須有一個友善的使用者介面，以讓使用者瞭解顯示器上必須有一個友善的使用者介面，以讓使用者瞭解顯示器上的數據意義，和使用者如何與的數據意義，和使用者如何與 ARAR 系統互動系統互動

隱私問題隱私問題36

參考資料 影片網址

Human Pacman     http://www.youtube.com/watch?v=A23PYxYpJRg Magic Land     http://www.youtube.com/watch?v=qMkcQOcvHLA PS3 video game: The Eye of Judgement     http://www.youtube.com/watch?v=19bBrNvIteU MXR wIzQubes     http://www.youtube.com/watch?v=WhVdf1y1OXQ Magic Book     http://www.youtube.com/watch?v=Rl4VU3srOjs     http://www.youtube.com/watch?v=UVhtB-SH5b8     http://www.youtube.com/watch?v=S-G8u-01t0k&feature=related Machine maintenance     http://www.youtube.com/watch?

v=lM9rH5XKWsM&feature=related ARToolkit 4.4 running on iPhone     http://www.youtube.com/watch?v=5M-oAmBDcZk&feature=related Lego Augmented Reality     http://www.youtube.com/watch?v=PGu0N3eL2D0