HUMAN COMPUTER INTERACTION:KINECT SENSOR

前言 Kinect for Xbox 360，簡稱 Kinect（原始開發代號為「Project Natal」，意為誕生計畫），是由微軟開發，應用於 Xbox 360 主機的周邊設備。它讓你不需要透過控制器，而是使用語音指令或手勢來操作 Xbox 360 的系統介面。它也能捕捉玩家全身上下的動作，讓你用身體來進行遊戲，帶給玩家「免控制器的遊戲與娛樂體驗」。

2009 年  6 月  1 日微軟於  E3 遊戲展中公佈名為  Project Natal ( 誕生計畫  ) 的感應器，它能夠捕捉使用者的肢體動作，或是進行臉部辨識。感應器也內建麥克風，可以用來識別語音指令。此感應器相容於所有 Xbox 360 主機，玩家只需新購此感應器就可直接使用。

2010 年的 E3 電玩展，微軟宣佈  Project Natal 的正式名稱為 Kinect

KINECT 技術原理( 一 ) 三個主要擷取功能

彩色影像3D深度影像聲音訊號

Kinect中間的鏡頭是攝影機、左右兩顆鏡頭則是 3D深度感應器；同時具有追焦功能，底座馬達可左右旋轉 28度。此外還有陣列式麥克風。（圖片來源： Games Blog）

KINECT 技術原理( 二 )

Kinect的架構圖（引用 PrimeSense解說圖）。（圖片來源： PrimeSense）

KINECT 技術原理 ( 三 )

Kinect可同時獲取彩色影像、 3D深度影像、以及聲音訊號（引用PrimeSense解說圖）。（圖片來源： PrimeSense）

KINECT 技術原理( 四 ) PrimeSense <Light Coding>

利用連續光（近紅外線）對測量空間進行編碼，經感應器讀取編碼的光線，交由晶片運算進行解碼後，產生成一張具有深度的圖像。○ 以紅外線發出人眼看不見的 class 1雷射光○ 透過鏡頭前的 diffuser（光柵、擴散片）將雷射光均勻分佈投射在測量空間中○ 再透過紅外線攝影機記錄下空間中的每個散斑，擷取原始資料後，再透過晶片計算成具有 3D深度的圖像。

它能在各種室內照明條件下工作（包括一片漆黑和非常明亮的房間） 影片展示

KINECT 技術原理 ( 五 )

Light Coding是以發射紅外線產生散斑，透過感應器紀錄訊號後，交由晶片運算出深度圖像。（圖片來源： PrimeSense）

KINECT 技術原理 ( 六 ) 骨架追蹤

透過 Light Coding技術所獲得的只是基本的影像資料，重點還是要辨識影像，轉換為動作指令同時辨識 6人，包含 2人的動作追蹤每人能追蹤 20個點能讓 Xbox LIVE Avatars虛擬人物與使用者動作同步

KINECT 技術原理 ( 七 ) Human Motion-Capture for Xbox Kinect

KINECT 技術原理 ( 八 )  What the team did next was to train a type of

classifier called a decision forest, i.e. a collection of decision trees.

Each tree was trained on a set of features on depth images that were pre-labeled with the target body parts. That is, the decision trees were modified until they gave the correct classification for a particular body part across the test set of images.

Training just three trees using 1 million test images took about a day using a 1000-core cluster.

KINECT 技術原理 ( 九 ) More information: Pre-print (Pdf) of the paper All about Kinect - an in depth exploration of

its technology and a showcase of its uses Getting Started with PC Kinect Using the Kinect gets much easier http://www.openni.org/ http://www.primesense.com/

KINECT 技術原理 ( 十 ) Passive vision: stereo camera

Active vision: kinect sensor

KINECT 應用展示 Kinect for Windows 創意應用競賽 決賽得獎作品 Kinect Controls Windows 7 Kinect as a Nintendo controller on the PC Avatar Kinect Shadow Puppet Quadrotor Autonomous Flight and Obstacle Avoidance with

Kinect Sensor OpenKinect - Keyboard Anywhere RGBDemo v0.3 experimental scene reconstruction with Kinect Transform yourself to Ultra Seven by Kinect 12 Best Kinect Hacks

KINECT 應用領域Human Computer Interactive, 991 CS.NCCU 2011

HCI Augmented Reality Automatic Navigation Body Control

開發教學 01. Kinect SDK 介紹與開發環境安裝 Kinect for Windows 應用程式開發