wisee: whole-home gesture recognition using wireless signals
TRANSCRIPT
Whole-Home Gesture
Recognition Using Wireless
Signals: WiSee家全体のジェスチャー認識Qifan Pu, Sidhant Gupta, Shyamnath Gollakota, and Shwetak Patel
University of Washington
Namsraijav Byambajav
Asami & Kawahara Lab., B4
1
発表の流れ
2
• イントロ• 既存のジェスチャー認識技術＆改善点
• WiSee
• 基本原理• 課題＆解決
• 実験＆結果
• まとめ
既存のジェスチャー認識技術＆改善点
3
• 見通し外の状況でも動作
• 機器の追加が必要ない
• 余分なセンサー等の着用が不要
[3]
発表の流れ
4
• イントロ• 既存のジェスチャー認識技術＆改善点
• WiSee
• 基本原理• 課題＆解決
• 実験＆結果
• まとめ
WiSee: 基本原理
5
• Wi-Fi等の無線信号を使用• 人間の動きによる微小なドップラーシフトを観察してジェスチャーを認識
[2]
WiSee:課題
6
1. 広帯域幅(20MHz以上)の無線信号から微小なドップラーシフト(10Hz~)抽出例：0.5m/sec-> 17Hzのドップラーシフト
2. ドップラーシフト情報からジェスチャーを認識
課題1: 環境の無線信号からドップラーシフトを抽出
7
• 常に同じOFDM記号が送信されていると仮定する
• M個の連続したOFDM記号にFFTを適応
全サブチャネルのバンド幅はM倍に小さくなる
• しかし、実際は常に同じ記号を送信することがない
Data-equalizing re-encoderを用いると同じ手法を適用できる
[1]
課題2: ドップラーシフト情報からジェスチャーを認識
8
３種類のセグメント：• 正のみ(+1)
• 負のみ(-1)
• 正と負の両方を含んでいる(2)
9つのジェスチャー[1] 周波数・時間プロファイル[1]
ドップラーシフトから得られる数列と、それぞれのジェスチャーに対する既定の数列を比較することでジェスチャー認識ができる
2 2+1
-1
-1 +1
発表の流れ
9
• イントロ• 既存のジェスチャー認識技術＆改善点
• WiSee
• 基本原理• 課題＆解決
• 実験＆結果
• まとめ
実験方法：
• Software: GNURadio
• Hardware: USRP-N210
• チャネル：周波数5GHz、バンド幅10MHz
• 環境:
•オフィス
• 2LDKマンション
10
実験＆結果
実験1:ドップラーSN比の測定
• 人間の受信機＆送信機との距離が増えるとドップラーSN比が減少
• 受信機のアンテナ数を増やすとドップラーSN比が増加、特にドップラーSN比が低い付近に有効
11
Scenario Layout [1] Doppler SN比と受信機までの距離の関係[1]
9つのジェスチャーを以下の10か所で10回ずつ
• 平均認識率:94% (標準偏差4.6%)
12
実験2: 2LDKマンション
Floor plan [1]
発表の流れ
13
• イントロ• 既存のジェスチャー認識技術＆改善点
• WiSee
• 基本原理• 課題＆解決
• 実験＆結果
• まとめ
まとめ
14
本研究の強み• ホームオートメーション、ヘルスケア、ゲーミング等のあらゆる場面で応用できる
• 機器の追加が必要ない• 実験では9種類のジェスチャーを94%精度で認識することに成功
実用化と商品化が十分に可能
[2]
Thank You!
References:
[1] Qifan Pu, Sidhant Gupta, Shyam Gollakota, Shwetak Patel. Whole-Home Gesture Recognition Using Wireless Signals. In Mobicom 2013.
[2] WiSee. http://wisee.cs.washington.edu/
[3] https://www.microsoft-careers.com/content/hardware/hardware-story-kinect/
[4] Fan Liang. The challenges of testing MIMO. rfdesign.com/mag/511RFDF1.pdf15
Appendix 1:
A Basic OFDM system
16
[1]
Appendix 2:
IFFT & FFT
17
[1]
Appendix 3:
A Large FFT over 2 OFDM symbols
18
[1]
Appendix 4:
MIMO
19
[1]
Appendix 5:
Dealing with Residual Frequency offset
20
[1]
Appendix 6:
Classification accuracy versus transmitter
occupancy
21
[1]
Appendix 7: Transferring to narrowband signal
Case 1: Transmitter always sends the same OFDM symbol
WiSee’s receiver performs a large FFT over M consecutive OFDM
symbols. As a consequence, the bandwidth of each OFDM sub-channel
is reduced by a factor of M. (Appx. 1,2,3)
Case 2: Transmitter sends arbitrary OFDM symbols (typical)
By using data-equalization operations we can bring it to Case 1.
22
Appendix 8:
Doppler SNR is the ratio between the average energy in the non-DC
frequencies in the Doppler profile, with and without the gesture.
23
Appendix 9: Confusion Matrix for Gestures in the
Home Scenario
24
[1]
たった2%(900回の内18回)が受信機で検出されなかった
Appendix 10: Multiple Users
25
• 802.11n等に既存のMIMO技術を利用
• プリアンブル：反復ジェスチャー
プリアンブルを検出したらドップラーエネルギーが最大になるMIMOチャネルにセットする
[4]
26
誤検出率(12人-オフィス部屋)[1]
干渉する人の数と認識率の関係[1]
プリアンブルの反復回数を増やすと誤検出率が低
くなる
アンテナを増やすことによってジェスチャー認識率を高くすることができる
Appendix 11:複数の人間がいる環境での評価