接触履歴における物体間関連を考慮した行動クラスタの抽

出

立命館大学大学院　理工学研究科データ工学研究室

◎ 藤原　聡子　　島川　博光

’06.09.05 ( 火 )

Tagged World プロジェクトの概要

物体・・・ RFID タグ人間・・・ 指輪型 RFID リーダ、小型計算機

人間の状態の認識

キッチン

ベッド お風呂、トイレクローゼッ

ト

TVパソコン

テーブル

玄関

下駄

箱

RFID リーダ

RFID タグ

研究目標 : 人間の行動の意図を認識し、それに応じたサービスを提供すること

個人が・いつ・何に触ったのか　という履歴が残される

ふるまいの構成・アクト：・アクション：・ふるまい：

RFID システムでセンシング可能な人間の行いの最小単位

意図を達成するうえでの順序をもったアクトの集合特定状況で習慣的に行うアクションの集合体

靴を履くアクション

外出ふるまい

アクション

アクト靴箱に

触る

アクト靴に触る

靴ベラに触る

Tag

靴箱

Tag

靴①

Tag

靴②

Tag

靴ベラ

アクト

Tag

靴③

アクト

ドアノブに触る

アクトロックに触る

アクトチェーン

に触る

Tag

ドアノブ

Tag

ロック

Tag

チェーン

アクトドア

に触る

Tag

ドア①

Tag

ドア②

ドアを開けるアクトの順序対

タグへのアクセスからアクトへの対応付け

アクトの順序対 : 順序関係のある２つのアクト

ふるまいの検出

時間 タグID

： ：2005-06-03 13:29:39 25

2005-06-03 13:29:43 20

2005-06-03 13:29:46 20

2005-06-03 13:29:47 20

2005-06-03 13:29:50 12

2005-06-03 13:29:51 11

2005-06-03 　13:29:52

11

2005-06-03 13:30:44 36

2005-06-03 13:30:44 38

2005-06-03 13:30:46 52

2005-06-03 13:30:50 64

2005-06-03 13:30:58 65

2005-06-03 13:31:06 72

： ：

　：靴箱靴ベラ靴チェーンロックドアノブドア ：

チェーンに触る

アクトロックに触る

アクト

ドアノブに触る

アクト

アクション：ドアを閉める① アクセスされたオブジェクトの組み合わせ　　から、候補となるふるまいを挙げる

② アクセスされたオブジェクトの順序から、　　ふるまいを特定する

ふるまい：外出

アクション：靴を履く

靴に触る

アクト

靴ベラを持つ

アクト

靴箱に触る

アクト

アクション：靴を履く

アクション：ドアを開ける

ドアノブに触る

アクトロックに触る

アクトチェーン

に触る

アクト

アクト

ドアに触る

ふるまい：外出

ふるまい：外出

ドアノブに触る

アクト

ふるまいの検出

時間 タグID

： ：2005-06-03 13:29:39 25

2005-06-03 13:29:43 20

2005-06-03 13:29:46 20

2005-06-03 13:29:47 20

2005-06-03 13:29:50 12

2005-06-03 13:29:51 11

2005-06-03 　13:29:52

11

2005-06-03 13:30:44 36

2005-06-03 13:30:44 38

2005-06-03 13:30:46 52

2005-06-03 13:30:50 64

2005-06-03 13:30:58 65

2005-06-03 13:31:06 72

： ：

　：靴箱靴ベラ靴チェーンロックドアノブドア ：

アクション：靴を履く

靴に触る

アクト

靴ベラを持つ

アクト

靴箱に触る

アクト

アクション：靴を履く

アクション：ドアを開けるアクション：ドアを開ける

チェーンに触る

アクトロックに触る

アクト

アクション：ドアを閉める① アクセスされたオブジェクトの組み合わせ　　から、候補となるふるまいを挙げる

② アクセスされたオブジェクトの順序から、　　ふるまいを特定する

ドアノブに触る

アクトロックに触る

アクトチェーン

に触る

アクト

アクト

ドアに触る

ふるまいを構成するアクションは何かアクションを構成するアクトは何か

という構造を定義しておく必要がある

ふるまい：外出

時間 タグID

2005-06-03 13:29:39 25

2005-06-03 13:29:41 12

2005-06-03 13:29:43 20

2005-06-03 13:29:44 20

2005-06-03 13:29:45 20

2005-06-03 13:29:49 12

2005-06-03 　13:29:50

11

2005-06-03 13:30:54 36

2005-06-03 13:30:14 38

2005-06-03 13:30:16 52

2005-06-03 13:30:18 64

2005-06-03 13:30:31 65

① 　ひとつのケース内で１回でも発生した順序対に、重み１を与える　　　　（ただし、順序対間の時間は、ある一定時間内とする）② 　多数のケースで①の結果を集計する③ 　 ②のケース内で、ある閾値以上の回数で発生した順序対を挙げる④ 　挙げられた順序対をアクションとしてクラスタリングする⑤ 　クラスタリングできたものを、人間にわかるアクション名でラベル付けする

物体靴箱靴靴ベラ靴ベラ靴ベラ靴靴チェーンチェーンロックドアノブドアノブ

順序対間の時間 ： 5 秒以内　　　靴箱　→　靴 21 靴箱　→　靴ベラ 33　　　靴箱　→　チェーン 35　　　靴箱　→　ロック 30　　　靴箱　→　ドアノブ 14 靴　→　靴ベラ 67　　　靴ベラ　→　靴 79　　　靴ベラ　→　チェーン 47　　　靴ベラ　→　ロック 49　　　靴ベラ　→　ドアノブ 39　　　靴　→　チェーン 45　　　靴　→　ロック 55　　　靴　→　ドアノブ 35　　　チェーン　→　ロック 63　　　チェーン　→　ドアノブ 82　　　ロック　→　ドアノブ 85

　　　靴箱　→　靴 1　　　靴箱　→　靴ベラ 1　　　靴箱　→　チェーン 0　　　靴箱　→　ロック 0　　　靴箱　→　ドアノブ 0　　　靴　→　靴ベラ 1　　　靴ベラ　→　靴 1　　　靴ベラ　→　チェーン 1　　　靴ベラ　→　ロック 1　　　靴ベラ　→　ドアノブ 0　　　靴　→　チェーン 1　　　靴　→　ロック 1　　　靴　→　ドアノブ 1　　　チェーン　→　ロック 1　　　チェーン　→　ドアノブ 1　　　ロック　→　ドアノブ 1

①

②外出 100 回分

を集計

アクションの構造定義の抽出

　靴箱　→　靴 　靴箱　→　靴ベラ 　靴箱　→　チェーン 　靴箱　→　ロック 　靴箱　→　ドアノブ 　靴　→　靴ベラ 　靴ベラ　→　靴 　靴ベラ　→　チェーン 　靴ベラ　→　ロック 　靴ベラ　→　ドアノブ 　靴　→　チェーン 　靴　→　ロック 　靴　→　ドアノブ 　チェーン　→　ロック 　チェーン　→　ドアノブ　ロック　→　ドアノブ

アクションの構造定義の抽出

靴箱 靴ベラ

靴 チェーン

ロック ドアノブ

靴箱 靴ベラ

靴 チェーン

ロック ドアノブ

靴を履く

ドアを開ける

閾値： 60 回③

④

⑤

① 　ひとつのケース内で１回でも発生した順序対に、重み１を与える　　　　（ただし、順序対間の時間は、ある一定時間内とする）② 　多数のケースで①の結果を集計する③ 　 ②のケース内で、ある閾値以上の回数で発生した順序対を挙げる④ 　挙げられた順序対をアクションとしてクラスタリングする⑤ 　クラスタリングできたものを、人間にわかるアクション名でラベル付けする

靴箱　→　靴 21靴箱　→　靴ベラ 33靴箱　→　チェーン 35靴箱　→　ロック 30靴箱　→　ドアノブ 14靴　→　靴ベラ 67靴ベラ　→　靴 79靴ベラ　→　チェーン 47靴ベラ　→　ロック 49靴ベラ　→　ドアノブ 39靴　→　チェーン 45靴　→　ロック 55靴　→　ドアノブ 35チェーン　→　ロック 63チェーン　→　ドアノブ 82ロック　→　ドアノブ 85

アンケートによるアクションの抽出

歯磨き？

玄関の戸締り？

歯磨き粉を付ける？２．順序対の出現頻度の閾値を下げながら １ を繰り返す　　思い浮かぶアクション名がなくなれば終了する

歯磨き粉を付ける？

と から

何をしていると思う？

歯磨き粉 歯ブラシ

外出のとき

歯磨き粉

歯ブラシ

１．多数の人間へのアンケート

　①　出現頻度が閾値以上の順序対の集合を　　　構成する物体を提示する

　②　①の物体すべてに関係するアクション名を　　　　直感的に，挙げてもらう

　③ 　多数の人間の中で　　　　出現頻度の高いアクション名を採用する

歯磨き粉 歯ブラシ は 歯磨き粉を付ける

アンケートによるアクションの抽出

歯磨き粉

歯ブラシ

歯磨き？

歯磨き？

洗面 蛇口

から

何をしていると思う？

歯磨き粉

洗面 蛇口

歯ブラシ外出のとき

２．順序対の出現頻度の閾値を下げながら １ を繰り返す　　思い浮かぶアクション名がなくなれば終了する

歯磨き粉 歯ブラシは

洗面 蛇口歯磨き

１．多数の人間へのアンケート

　①　出現頻度が閾値以上の順序対の集合を　　　構成する物体を提示する

　②　①の物体すべてに関係するアクション名を　　　　直感的に，挙げてもらう

　③ 　多数の人間の中で　　　　出現頻度の高いアクション名を採用する

アンケートによるアクションの抽出

から

何をしていると思う？

外出のとき

歯磨き粉

歯ブラシ

洗面 蛇口

コップ

歯磨き粉

洗面 蛇口

歯ブラシ

コップ

コップ

歯磨き？

歯磨き？

２．順序対の出現頻度の閾値を下げながら １ を繰り返す　　思い浮かぶアクション名がなくなれば終了する

歯磨き粉 歯ブラシは

洗面 蛇口 コップ歯磨き

１．多数の人間へのアンケート

　①　出現頻度が閾値以上の順序対の集合を　　　構成する物体を提示する

　②　①の物体すべてに関係するアクション名を　　　　直感的に，挙げてもらう

　③ 　多数の人間の中で　　　　出現頻度の高いアクション名を採用する

アンケートによるアクションの抽出

から

何をしていると思う？

？

外出のとき

歯磨き粉

歯ブラシ

洗面 蛇口

コップ

歯磨き粉

洗面 蛇口 歯ブラシ

コップ

コップ

鞄

鞄

・・・

２．順序対の出現頻度の閾値を下げながら １ を繰り返す　　思い浮かぶアクション名がなくなれば終了する

歯磨き粉 歯ブラシは

洗面 蛇口 コップ歯磨き

１．多数の人間へのアンケート

　①　出現頻度が閾値以上の順序対の集合を　　　構成する物体を提示する

　②　①の物体すべてに関係するアクション名を　　　　直感的に，挙げてもらう

　③ 　多数の人間の中で　　　　出現頻度の高いアクション名を採用する

まとめと今後の計画• 目標：人間の行動の意図に応じたサービス

の提供• 人間の行動をアクト・アクション・ふるま

いという３階層で表現• 人間の主観に依らないアクションの構造定義

を抽出する手法を提案– 多数の人間の行動ログ– 多数の人間に対するアンケート

• 提案手法によって、どのように構造が抽出されるかを実験

確率推論によるふるまいの検出Bayesian Network　　ある事象が発生したときにそれらを構成する要素同士の依存確率を求める手法

方法Ⅰ :ネットワーク構造をアクトを入力層、　　 ふるまいを出力層とする

・・・

ふるまい

アクト

10 個

　 2 の 10乗ケースの計算が必要

方法Ⅱ :ネットワーク構造をアクト・アクション・　　 ふるまいの３階層とする

ふるまい

アクション

3 個

　 {(2 の 3乗 + 2 の 3乗 + 2 の 4乗 )+ 2 の 3乗 }ケースの計算が必要

アクト

例 例

3 個 4 個

確率推論によるふるまいの検出

方法Ⅰ : 代表的な Bayesian Network 構築手法　　 である K2 アルゴリズムを用いてネットワ ーク構築を試みた

Bayesian Network　　ある事象が発生したときにそれらを構成する要素同士の依存確率を求める手法

方法Ⅱ :ネットワーク構造をアクトを入力層、　　 ふるまいを出力層としてネットワーク を構築し、確率計算を試みた

・・・

ふるまいふるまい

アクトアクト

１．ネットワークの構造を決定２．ネットワーク内の要素間の依存確率を計算

確率計算に必要な時間やメモリが大きくなるという計算上の問題

双方向への依存関係が生まれるという、構造上の問題

既存研究との比較

本研究 Efficient Algorithm for Mining Closed Itemsets and Their Lattice Structure

From Run-time Behavior to Usage Scenarios : An Interaction-Pattern Mining Approach

HMM による行動パターンの認識

Mining Models of Human Activities from the Web

マイニングの対象

順序 組み合わせ 順序 順序 組み合わせ

マイニングの対象の数

多い 多い 少ない 少ない 少ない

人間の行動に対する制限の有無

無 - 無 有 有

アクションの階層構造の抽出

歯ブラシ

コップ

歯磨き粉

洗面 蛇口

歯磨き粉を歯ブラシに付け

る

歯ブラシ

を洗う

？

コップに水を注ぐ

歯磨き

歯磨き

歯磨き

歯磨き粉を歯ブラシに

付ける歯ブラシ

を洗う

コップに水を注ぐ

歯磨き粉 歯ブラシ 洗面 蛇口 コップ

？

・　アンケートによって得られたアクション名に対し、　　物体の包含関係から　アクションの木構造　を導出する

歯磨き

アクションの階層構造の抽出

歯ブラシ

コップ

歯磨き粉

洗面 蛇口

歯磨き粉を歯ブラシに付け

る

歯ブラシ

を洗う

？

コップに水を注ぐ

歯磨き

歯磨き粉を歯ブラシに

付ける歯ブラシ

を洗う

コップに水を注ぐ

歯磨き粉 歯ブラシ 洗面 蛇口 コップ

？

・　アンケートによって得られたアクション名に対し、　　物体の包含関係から　アクションの木構造　を導出する

歯磨き

アクションの階層構造の抽出

歯ブラシ

コップ

歯磨き粉

洗面 蛇口

歯磨き粉を歯ブラシに付け

る

歯ブラシ

を洗う

？

コップに水を注ぐ

歯磨き

歯磨き

歯磨き粉を歯ブラシに

付ける歯ブラシ

を洗う

コップに水を注ぐ

歯磨き粉 歯ブラシ 洗面 蛇口 コップ

？

歯磨き

・　アンケートによって得られたアクション名に対し、　　物体の包含関係から　アクションの木構造　を導出する

玄関　ドアロック

玄関　ドアノブ

ドア を 開ける

次へ

01/15

玄関　ドアロック

玄関　ドアノブ

ドア を 開ける

洗面　蛇口

タオル

手 を 洗う

次へ

02/15

玄関　ドアロック

玄関　ドアノブ

ドア を 開ける

洗面　蛇口

タオル

手 を 洗う

トイレ　電気

トイレ　ドアノブ外側

トイレ に 入る

次へ

03/15

玄関　ドアロック

玄関　ドアノブ

ドア を 開ける

洗面　蛇口

タオル

手 を 洗うトイレ　電気

トイレ　ドアノブ外側

トイレ から 出る

トイレ　レバー

トイレ　ドアノブ内側

次へ

04/15

玄関　ドアロック

玄関　ドアノブ

洗面　蛇口 歯ブラシ

トイレ　電気

トイレ ドアノブ外側

トイレから 出る

トイレ　レバー

トイレ　ドアノブ内側

財布

携帯電話

荷物 を 持つ

タオル

鞄

自室　電気

キーケース

歯磨き粉

14/15

トイレ 換気扇洗面所　電気

玄関　電気

ドア を 開ける

キーボード

PC マウス

パソコンを 使う

次へ歯 を 磨く

玄関　ドアロック

玄関　ドアノブ

トイレ　電気

トイレ ドアノブ外側

トイレから 出る

トイレ　レバー

トイレ　ドアノブ内側

財布

携帯電話

荷物 を 持つ

鞄

自室　電気

キーケース

15/15

トイレ 換気扇

玄関　電気

ドア を 開ける

キーボード

PC マウス

パソコンを 使う

洗面　蛇口 歯ブラシ

×

タオル

歯磨き粉

洗面所　電気

洗面 コップ

ハンドソープ

次へ