Higashino Lab.

多数のセンサーによる

時空間センシングデータの

効率的な集約送信技術

宵 憲治*1, 山口 弘純

*2,廣森 聡仁*2 ,内山 彰

*2 ,東野 輝夫*2

柳谷 尚寿*3 ,中谷 俊和

*3

立花 篤男*4,長谷川 輝之

*4

*1奈良先端科学技術大学院大学 情報科学研究科

*2大阪大学 大学院情報科学研究科

*3 KDDI 株式会社 ソリューション推進本部

*4 株式会社 KDDI 研究所

2014/07/10 1DICOMO2014

.

Higashino Lab.

研究背景

� 多種多様なセンサーによるリアルタイムセンシング

におけるセンサデータ集約

� 大容量のセンサデータ

� 計測時間等のメタデータを持つ（XML等）

� 多数のセンサーから数秒毎に発生

� 多種多様なセンサーが混在

� Gateway性能や回線の制限

� Gatewayのバッファリング容量等

� 回線が限定された地域(3Gしか使えない等)

DICOMO20142014/10/3 2

送信

Gateway

Gatewayへ

GW制限，通信制限に応じたデータ圧縮率制御が可能で

多種多数のセンサー混在環境に対応したデータ集約圧縮方

式

データセンター

-

Higashino Lab.

研究目的

� 多種多様なセンサーが混在する環境で出来るだけ

送信コストを減らせるような集約圧縮方式の実現

� XMLタグ等データの余分なところを切り落とし，更に実

データ部分も削減したい

� 月々の通信量が決められているような制限がある環境等

にも対応できる

� M2Mに容易に組み込める圧縮転送モジュール

� シンプルで柔軟性の高い方式

DICOMO20142014/07/10 3

-

Higashino Lab.

研究概要

� 家庭やオフィス等に設置した多種多様なセンサーか

ら得られるデータの集約・圧縮技術の検討

� 温度・湿度・CO2濃度・電力センサーを使用

� 提案手法

1) 多種デバイス混在状況における小規模パケット集約方式

� 個々のデータが持っているメタデータをデータブロック毎に集約

することによるメタデータ情報量を削減

2) 集約データの時空間圧縮転送方式

� 圧縮センシング定理により，環境に合わせた圧縮率で実データ

の圧縮・復元

2014/07/10 4

これらの方式を利用した

センサデータ収集システムの開発

DICOMO2014

Higashino Lab.

研究グループで開発した

センサデータ収集システム概要

DICOMO20142014/07/10 5

Gate Way

ネットワーク3GLTE

WiMAX

Wi-Fi

Others

店舗/オフィス/家庭等

全データ集約サーバー

：データ圧縮・復元・ブロック転送機能：リンクアグリゲーション（LA）機能(KDDI研究所)

温湿度センサー電⼒センサー等

可視化サーバー等

データセンター

センサデータセンサデータセンサデータセンサデータ

集約圧縮集約圧縮集約圧縮集約圧縮

データ復元データ復元データ復元データ復元

-

Higashino Lab.

(1)多種デバイス混在環境における小規模

パケット集約方式

� センサーIDと，メタデータ要素からなる多次元マトリ

クスに値丸めをしてパッキング

2014/07/10 6

1 1 1 1 2222 3333 4444

計

測

時

刻

8:01:05 8:00:59 8:01:00 8:00:55

8:01:35 8:01:29 8:01:30 8:01:25

8:02:05 8:01:59 8:02:00 8:01:55

8:02:35 8:02:29 8:02:30 8:02:25

8:03:05 8:02:59 8:03:00 8:02:55

センサーID

計測時間 1 2 3 4

8:01:00 250 260 250 265

8:01:30 250 260 252 260

8:02:00 248 257 250 260

8:02:30 250 257 250 260

8:03:00 250 258 248 260

メタデータ要素メタデータ要素メタデータ要素メタデータ要素

(ここでは計測時間ここでは計測時間ここでは計測時間ここでは計測時間)

値丸め整列値丸め整列値丸め整列値丸め整列

センサーセンサーセンサーセンサーID付与付与付与付与

DICOMO2014

センサーデータセンサーデータセンサーデータセンサーデータ(XML)

Higashino Lab.

(1)多種デバイス混在環境における小規模

パケット集約方式

� 多次元マトリクスから空間的，時間的類似性等，環

境に合わせて適応的にデータブロックを決定

� 空間的類似性：同部屋に設置したセンサーの値の類似等

� 時間的類似性：単一センサーの時間的変化の類似

2014/07/10 7DICOMO2014

時間的類似性の高いデータブロック例(温度データ13時-16時）

類似値が多い

-

Higashino Lab.

(1)多種デバイス混在環境における小規模

パケット集約方式

� データブロック内のメタデータが共通する行を纏めて

付与することでメタデータ量を削減，効率化

a. センサID存在bit（行に対する列データの存在）

b. 開始行の計測時刻（行のメタデータ）

c. 計測インターバル（行メタデータの間隔）

d. 計測インターバル継続回数（行数）

2014/07/10 8

センサーID

計測時間 1 2 3 4

8:01:00 250 260 250 265

8:01:30 250 260 252 260

8:02:00 248 257 250 260

8:02:30 250 257 250 260

8:03:00 250 N/A 248 N/A

a. 1111（各列にデータが存在）（各列にデータが存在）（各列にデータが存在）（各列にデータが存在）

c. 30

b. 080100

d. 4

a. 1010（（（（1, 3 にデータが存在）にデータが存在）にデータが存在）にデータが存在）

DICOMO2014

-

Higashino Lab.

(2)集約データの時空間圧縮転送方式

� 圧縮センシングを利用

� データ列のスパース性（零要素が多い性質）を利用し，圧

縮，復元を行う手法

� データブロック内データの最頻値を０とした差分値を取るこ

とによりスパースなデータ列を生成し，環境に合った圧縮

率でデータ数の圧縮・復元を行う．(圧縮率と誤復元率はト

レードオフ)

2014/07/10 9

0,1,0,0,0,1,0,0,-2,0,-2,2,0,0,1,0,0,2,-2,0

スパーススパーススパーススパース原信号原信号原信号原信号ベクトルベクトルベクトルベクトル

センサーID

計測時間 1 2 3 4

8:01:00 250 251 250 250

8:01:30 250 251 250 250

8:02:00 248 250 248 252

8:02:30 250 250 251 250

8:03:00 250 252 248 250

DICOMO2014

-

Higashino Lab.

� データブロックをスパースになるように選ぶことで圧

縮センシングに適したデータ列を得る

� 実証実験では時間的類似に基づいてデータブロック構築

→最頻値を0とすると全データの零要素率60%-70%程度

2014/07/10 10

ID 1111 2222 3333 4444 5555 6666 ・・・・・・・・・・・・ 111198989898 111199999999 222200000000

8:01:00 250 250 251 253 253 253 ・・・ 250 250 251

8:01:30 250 250 251 253 253 254 ・・・ 250 250 251

8:02:00 251 249 251 253 253 254 ・・・ 251 249 251

8:02:30 251 250 250 253 253 255 ・・・ 251 250 251

8:03:00 251 250 250 253 253 253 ・・・ 251 250 251

8:03:30 251 250 250 253 253 255 ・・・ 251 250 251

空間的類似空間的類似空間的類似空間的類似

時間時間時間時間的類似的類似的類似的類似

DICOMO2014

(2)集約データの時空間圧縮転送方式

実証実験（センサー数200）での全多次元マトリクス例

Higashino Lab.

実証実験

� 豊田市の実在する50施設（スマートハウス，公民館，

店舗等）に各センサー（温湿度,CO2,電力)計２００台

とゲートウェイを設置し，システムの実証実験を行っ

た．

（２０１４年３月）

DICOMO20142014/07/10 11

ゲートウェイの設置状況設置拠点例（スマートハウス）

-

Higashino Lab.

実証実験による性能評価

� 実験環境

� 評価パラメータ

� 評価メトリクス

� 小規模パケット集約によるメタデータ削減率メタデータ削減率メタデータ削減率メタデータ削減率

� 圧縮センシングによる計測データ圧縮率計測データ圧縮率計測データ圧縮率計測データ圧縮率

� 圧縮センシングの計測データ完全復元率完全復元率完全復元率完全復元率（原データと復元データの完

全一致割合）

2014/07/10 12

計測インターバル計測インターバル計測インターバル計測インターバル 30秒毎秒毎秒毎秒毎

送信インターバル ５分毎

計測期間 ２日間（XMLデータ約１００MB)

センサ設置数 温湿度CO2センサ計201台

データブロック要素数（データブロック要素数（データブロック要素数（データブロック要素数（N）））） 24 (ID.1××××time.24)

データ個数圧縮率(M/N) 0.9, 0.8, 0.7, 0.6, 0.5, 0.4

DICOMO2014

圧縮率0.8なら

要素数を２４→19に圧縮

-

Higashino Lab.

性能評価（メタデータ削減率）

� 小規模パケット集約方式によるメタデータ量の削減

を行った結果

� 小規模パケット集約方式のメタデータ集約により

約50％(8.3MB→4MB)のデータ量を削減

� 集約後のデータ量は元XMLデータの４％程度

DICOMO20142014/07/10 13

データの状態データの状態データの状態データの状態 データ容量データ容量データ容量データ容量

元XMLデータ １００MB

多次元マトリクス構築後 8.3MB

メタデータ集約後 4MB

-

Higashino Lab.

性能評価（圧縮センシング）

� メタデータ削減後の2MBのデータに対して圧縮セン

シングによる圧縮を行った時の結果

DICOMO20142014/07/10 14

95%以上の復元率

約40%まで圧縮率を変化可能

メタデータ削減と合わせると

最大で約70%程度を削減

79.8%75.6%

71.2%

66.6%

62.0% 61.1%50.0%

60.0%

70.0%

80.0%

90.0%

100.0%

0.9 0.8 0.7 0.6 0.5 0.4

圧縮率に対するデータ削減率圧縮率に対するデータ削減率圧縮率に対するデータ削減率圧縮率に対するデータ削減率

96.7%96.4% 96.0% 95.8%

95.5%

95.5%

93.0%

94.0%

95.0%

96.0%

97.0%

98.0%

99.0%

100.0%

0.9 0.8 0.7 0.6 0.5 0.4

圧縮率に対する完全復元率圧縮率に対する完全復元率圧縮率に対する完全復元率圧縮率に対する完全復元率

-

Higashino Lab.

まとめと今後の課題

� まとめ

� 小規模パケット集約方式と圧縮転送方式によるセンシン

グデータの集約圧縮の開発

� 両方式による集約圧縮で最大約７０％程度のデータ量を削減

� 実在する複数の施設で実証実験を展開し本手法が実用

上十分な結果が得られていることを確認

� 今後の課題

� 回線切断・回復といった状況の発生時における性能評価

� より柔軟性の高い方式への拡張(類似性の高いデータブ

ロックの自動検出等)

2014/07/10 15DICOMO2014

-

Higashino Lab.

機能モジュールと技術

2014/07/10 16

センシングデータセンシングデータセンシングデータセンシングデータ

集約・圧縮モジュール集約・圧縮モジュール集約・圧縮モジュール集約・圧縮モジュール

センシングデータセンシングデータセンシングデータセンシングデータ

復元モジュール復元モジュール復元モジュール復元モジュール

温温温温湿度湿度湿度湿度/CO2可視化サーバ可視化サーバ可視化サーバ可視化サーバ 電力量可視化サーバ電力量可視化サーバ電力量可視化サーバ電力量可視化サーバ

温湿度温湿度温湿度温湿度データデータデータデータ CO2データデータデータデータ 電力量データ電力量データ電力量データ電力量データ

スマートエコワットスマートエコワットスマートエコワットスマートエコワット Ecoアプリアプリアプリアプリ

（（（（Webサービス）サービス）サービス）サービス）

おんどおんどおんどおんどとりとりとりとりwebストレージストレージストレージストレージ

（（（（Webサービス）サービス）サービス）サービス）

(3) データ復元データ復元データ復元データ復元

と可視化と可視化と可視化と可視化

データセンター

(1) 多種デバイス混在環境におけ多種デバイス混在環境におけ多種デバイス混在環境におけ多種デバイス混在環境におけ

るるるる小規模パケット集約方式小規模パケット集約方式小規模パケット集約方式小規模パケット集約方式

(2) 集約データの時空間集約データの時空間集約データの時空間集約データの時空間

圧縮転送方式圧縮転送方式圧縮転送方式圧縮転送方式

阪大開発阪大開発阪大開発阪大開発

可視化可視化可視化可視化ソフトウェアソフトウェアソフトウェアソフトウェア

各拠点

DICOMO2014

-

Higashino Lab.

研究背景：センサデータ集約蓄積

2014/07/10 17

HEMS

BEMS

行動トラッキング行動トラッキング行動トラッキング行動トラッキング

（公共空間，老人施設）（公共空間，老人施設）（公共空間，老人施設）（公共空間，老人施設）

(1) 多種多数のセンサーからの個々の小デー

タがXMLに埋込まれ，時々刻々と送信される

小規模異種センサーデータ

を適応的にリアルタイム集約

圧縮する技術が望まれる

(2) データを拠点ごとにデータ集約する

GateWayはバッファリング容量や処理性能も

限定される（e.g. 通信断時のバッファあふれ）

DICOMO2014

Higashino Lab.

2014/07/10 18

1

5

9

13

17

21

25

29

33

0

50

100

150

200

250

300

32

40

0

32

52

0

32

64

0

32

76

0

32

88

0

33

00

0

33

12

0

33

24

0

33

36

0

33

48

0

33

60

0

33

72

0

33

84

0

33

96

0

34

08

0

34

20

0

34

32

0

34

44

0

34

56

0

34

68

0

34

80

0

34

92

0

35

04

0

35

16

0

35

28

0

35

40

0

35

52

0

35

64

0

35

76

0

35

88

0

1

3

5

7

9

11

13

15

17

19

21

23

25

27

29

31

33

℃℃℃℃××××１０１０１０１０

秒（秒（秒（秒（9:00:00-10:00:00)

拠点センサー拠点センサー拠点センサー拠点センサーID

2014年年年年3月月月月24日日日日

実証実験における

時空間データ（温度）

DICOMO2014

-

Higashino Lab.

評価実験

� 実験環境

� 評価パラメータ

� 評価メトリクス

� 小規模パケット集約によるメタデータ削減率メタデータ削減率メタデータ削減率メタデータ削減率

� 圧縮センシングによる計測データ圧縮率計測データ圧縮率計測データ圧縮率計測データ圧縮率

� 圧縮センシングの計測データ完全復元率完全復元率完全復元率完全復元率（原データと復元データの完

全一致割合）

2014/07/10 19

設置地点設置地点設置地点設置地点 空調が効いた室内空調が効いた室内空調が効いた室内空調が効いた室内

計測インターバル 30秒毎

送信インターバル 1分毎

データ蓄積期間 ３日間（XMLデータ約１０MB)

センサ設置数 温湿度センサー１台

時空間ブロック要素数（時空間ブロック要素数（時空間ブロック要素数（時空間ブロック要素数（N）））） 12,15,20,30

実データ個数圧縮率(M/N) 0.9, 0.8, 0.7, 0.6, 0.5

DICOMO2014

-

Higashino Lab.

圧縮センシングの原理

� 原信号ベクトルx0のデータ数（次元数）をN

� 圧縮後のベクトルのデータ数（次元数）をM（M<N）

� M×Nの圧縮行列をA （圧縮，復元両側で既知）(ランダム行列を用いる)

� 原信号ベクトルの非零要素数をK (K-スパース) （復元時に使用）

圧縮:圧縮行列との積 復元：L1再構成[1]

DICOMO20142014/07/10 20

M×N行列A x0�

復元 M→N

[1]圧縮センシング-疎情報の再構成とそのアルゴリズム- :http://www.kurims.kyoto-u.ac.jp/~kyodo/kokyuroku/contents/pdf/1803-03.pdfa

� MM×N行列A x0N

ゲートウェイ側 データセンター側

転送

圧縮 N→M

-

Higashino Lab.

(3)データ復元-L1再構成-� 原信号要素数 N=3 圧縮後ベクトル要素数 M=2

非零要素数 K=2（零要素の数が１個）

� L1-ノルム(3次元正八面体)

� 既知の2×3圧縮行列Aと圧縮ベクトルyを用いた直線式

→3変数２方程式

DICOMO20142014/07/10 21

零要素数２(頂点)

零要素数１(辺)

L1-ノルム

y = Ax→y1

y2

=

a1

a2

b1

b2

c1

c2

x1

x2

x3

x = x1 + x2 + x3

y = Ax

既知値

未知値

剠ע

Higashino Lab.

(3)データ復元-L1再構成-� L1-ノルム（正八面体）を大きくしていき，直線と接し

た点が推定値

DICOMO20142014/07/10 22

推定値

x = x1 + x2 + x3

y = Ax

-

Higashino Lab.

(3)データ復元-L1再構成-

� 線形制約y=AxのもとでL1ノルムを最小化することに

より原信号x0を推定する手法

� 0要素の個数が分かっているベクトルの推定には正しい結果を得やす

い

� L1ノルム：原信号の各要素絶対値の和

� L1ノルム最小化問題を解くことで復元

� 実装時は補助関数t=(t1,…,tN)Tを導入し

線形計画問題として定式化

2014/07/10 23

x = argminx

x subject.to y = Ax

min tii=1

N

∑ subj.to − t ≤ x ≤ t, y = Ax

DICOMO2014

-

Higashino Lab.

評価結果（メタデータ削減率）

� データマトリクスを構築後のデータに対して時空間ブ

ロックによる集約を行った結果

DICOMO20142014/07/10 24

(KB)

(Nの値)

25

16.3

14.112.4

10.9

0

5

10

15

20

25

0 12 15 20 30

各各各各Nの値に対するメタデータ情報量削減後のデータ容量の値に対するメタデータ情報量削減後のデータ容量の値に対するメタデータ情報量削減後のデータ容量の値に対するメタデータ情報量削減後のデータ容量(KB)

50%

56%65%

44%

-

Higashino Lab.

評価結果（圧縮センシング）

� N=12の時，メタデータ削減後の16.3KBのデータに

対して圧縮センシングによる圧縮を行った時の結果

DICOMO20142014/07/10 25

90-95%程度の復元率

約50%まで圧縮率を変化可能

60.0%

65.0%

70.0%

75.0%

80.0%

85.0%

0.9 0.8 0.7 0.6 0.5

圧縮率圧縮率圧縮率圧縮率

88.0%

90.0%

92.0%

94.0%

96.0%

0.9 0.8 0.7 0.6 0.5

復元率復元率復元率復元率

メタデータ削減と合わせると

最大で約65%程度を削減

(M/N) (M/N)

ᾠ

Higashino Lab.

復元不一致要素の誤差

2014/07/10 26

� 原信号と一致しないデータ（圧縮率50%時に全体の

5%程度）の誤差は極めて限定的（全て１以下）

-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

原信号に対する復元信号の誤差

（温度データ0.1℃区切）

原信号との差

(℃)

DICOMO2014

-

Higashino Lab.

実証実験結果

� 実証実験を行った29拠点201センサー（温度，湿度

CO2濃度）の1時間(3月25日午前9時台）のデータに

対し同様の評価を行った

� 単拠点での評価と計測データ，完全圧縮率，復元時

誤差は概ね一致しており，十分な結果が得られてい

る．

2014/07/10 27

メタデータ削減率（ただメタデータ削減率（ただメタデータ削減率（ただメタデータ削減率（ただ

ししししXML削減率も含む）削減率も含む）削減率も含む）削減率も含む）

計測データ計測データ計測データ計測データ

圧縮率圧縮率圧縮率圧縮率

完全復元率完全復元率完全復元率完全復元率 復元時復元時復元時復元時

誤差誤差誤差誤差

圧縮

効率

0.26MB/1.53MB

（16.9%）

32KB/43KB

（74%）

9616/10212

(94.1%)

0.12

DICOMO2014

走

Higashino Lab.

実証実験結果

� ある１拠点での6日間（3/15～21）の温湿度センサー

データに対し，下記を測定

� 小規模パケット集約によるメタデータ削減率

� 圧縮センシングによる計測データ圧縮率

� 圧縮データの（完全）復元率

� 不完全復元時の誤差

2014/07/10 28

メタデータ削減率（ただメタデータ削減率（ただメタデータ削減率（ただメタデータ削減率（ただ

ししししXML削減率も含む）削減率も含む）削減率も含む）削減率も含む）

計測データ計測データ計測データ計測データ

圧縮率圧縮率圧縮率圧縮率

完全復元率完全復元率完全復元率完全復元率 復元時復元時復元時復元時

誤差誤差誤差誤差

圧縮

効率

0.49MB/11.58MB

（4.2%）

108KB/150KB

（72%）

34940/39639

(88.1%)

0.12

DICOMO2014

갠

Higashino Lab.

参考１：L1再構成の計算量

� 圧縮センシング問題（原信号の推測方法）をL1再構

成に基いて解くと，最適化問題であるので凸線形計

画問題として解くことができる．

� 圧縮時は行列と原信号の積をとるのみなので，計算量は

少ない

� 復元時の計算量は一般的に数式を入力します。O(N3)に

なることが知られている（より少ない計算量で再構成でき

るアルゴリズムも現在研究されている）

http://www.kurims.kyoto-u.ac.jp/~kyodo/kokyuroku/contents/pdf/1803-03.pdf

2014/07/10 DICOMO2014 29

൰�

Higashino Lab.

L1再構成における

可逆圧縮時の圧縮率上限

2014/07/10 30

� 圧縮行列A が，kスパースベクトルx に対してAx = 0 となっ

てしまうとL1再構成が機能しない．しかしkに対し下記の不等

式

が任意のxについて成り立つような最小のδをδkとし，

が成り立つようなKが存在すれば，L1再構成は正しい推定結

果を与えることが知られている（等長性定理）

� つまり，x に対しAx の大きさのずれが一定以下である圧縮

行列Aを選べばL1再構成が成功する

� ここでランダム行列が各要素が平均0，分散1/M の正規分布

に従うとき，高い確率で等長性定理が成り立つことが知られ

ている（CandesとTaoの定理）

DICOMO2014

蓠

Higashino Lab.

L1再構成における

可逆圧縮時の圧縮率上限

� 提案手法ではｘの次元数が一意でないため，最大の

ランダム行列を先述の方針にしたがって定め，その

任意の部分行列もなるべくランダム行列に従うよう

にしておく．xの次元数にあわせてランダム行列から

圧縮行列Aを抽出することでランダム性を担保する

2014/07/10 31DICOMO2014