画像群中の物品発見における計算量削減手法の提案

電子情報工学科近山・田浦研究室60395 　田中五大

ライフログ画像から物品を発見したい サンプル画像とのマッチングを行う方法

背景

⇒ 　計算量を削減する方法があると良い

→ 　現実的には難しい

ライフログ画像もサンプル画像も膨大な枚数になりがち マッチング自体の計算コストも大きい 全部を逐一調べていては計算量が爆発

発表の流れ 背景 研究に利用したマッチング手法について 提案手法 実験 考察 まとめ

発表の流れ 背景 研究に利用したマッチング手法について 提案手法 実験 考察 まとめ

研究に利用したマッチング手法について

特徴点ベースの手法を利用 マッチングの計算コストが少ない 物品が移動してもマッチングできる

利用した手法 Harris オペレータ - 比較的軽い SIFT - 重いが精密

Harris オペレータ

[C. Harris and M. Stephens, ’98] 画像の輝度勾配を用いてコーナーを抽出 二次元変換（平行移動など）に比較的強い テンプレートマッチングで対応付け

SIFT

[David G. Lowe, ’04] 輝度勾配のヒストグラムを用いる 128 次元ベクトルの特徴量

アフィン変換に強い耐性

発表の流れ 背景 研究に利用したマッチング手法について 提案手法 実験 考察 まとめ

提案手法の概要 ライフログ画像とサンプル画像の全組合せを

マッチングするのは膨大な計算量

提案手法の概要 時間的に連続した 2 枚のライフログ画像どうし

を比較し、サンプル画像とのマッチングを行うべきものとそうでないものとに分類 ライフログ画像の変化をマッチングで調べる ライフログ画像の変化

＝ 物品の画面内への出現など、新たにサンプル画像とのマッチングが必要になったとき

普通は変化が少ない

提案手法の概要 変化があった場合のみサンプル画像とのマッチ

ングを行えば、計算量の削減が期待できる

手法 1 特徴点を抽出しマッチング マッチング対応点を削除

マッチングした＝同じ物品上の点

手法 1 領域をいくつかに分割（パラメータ： div ） 各領域内の特徴点の個数の差分を取り、閾値以上の

領域を探す（パラメータ： lmt ） 新しい物品があったとしたら、その部分に特徴点が固まっ

て残る

手法 2 特徴点抽出とマッチング

ここまでは手法 1 と同じ

手法 2 特徴点の削除

同一座標の点 マッチング対応点近傍の特徴点（パラメータ： thd1 ）

対応点のまわりに写っているものも同じ物品だろう

手法 2 残った特徴点を繋げる

一定の距離以内に隣接する点を結んでいく（パラメータ： thd2 ）

狭い範囲の塊だけでなく、直線的に並んだ特徴点群なども検出

閾値以上の個数がつながったものを探す（パラメータ：bind ）

発表の流れ 背景 研究に利用したマッチング手法について 提案手法 実験 考察 まとめ

実験 実験環境

プログラムは C++ で記述、 Linux 上でコンパイル Intel 社の OpenCV （＋ IPL ）を使用 sheep クラスタ（ 65 台、 CPU : Xeon 2.4GHz ）

で実行 ライフログ画像のデータ

2007/11/13 ～ 27 に 4 台の定点カメラで撮影された画像

要件（後述）に合うものを適宜選ぶ

実験 3 つの場面を想定

case 1　微妙な変化があるもの ( 影やカメラの揺れ等 ) case 2　物品の移動や人が横切るなど、見た目変化はして

いるがマッチングするべきではないというもの case 3　確実にマッチングが必要と思われるもの

→ 各場面に合った 10 枚程度の時間連続画像を何セットか取り出し、実験対象に

実験 評価基準

「どの画像がサンプル画像とマッチングすべきものなのか」（正解）は人間が決める

case 1, case 2 はマッチングすべき枚数「 0 枚」が正解 case 3 は画像により異なる

false positive マッチング不要と判断すべきを誤って必要と判断

false negative 要マッチングと判断すべきを誤って不要と判断 こちらのが致命的

⇒ false negative がなるべく少ないのがよい

実験 実験手順

まず手法 1 、 2 とも SIFT を用いて実験 各手法について、どの程度望む結果（ false negative 小）が出

せているかを評価

その後 Harris オペレータについても同じ画像データで実験 Harris オペレータで SIFT の代用が可能かどうかを検討

SIFT を用いた実験：手法 1 パラメータ

div ：分割する領域（ div×div 個に分割）　 div = 5, 8, 10, 16

lmt ：領域内の特徴点の個数の差の閾値　 20 ～ 60 まで 5 刻み

・全体的に値が大きい方が条件が厳しい・計 36 通りのパラメータの組合せで実験

SIFT を用いた実験：手法 1 case 1, case 2

条件を厳しくすれば false positive も減少

case1

case2

SIFT を用いた実験：手法 1 case 3

case 1, case 2 で結果の良かったパラメータでは逆に false negative がほとんどに

全体的に false が大きい

false positive

false negative

SIFT を用いた実験：手法 2 パラメータ

thd1 ：マッチング対応点近傍の特徴点を削除する際の近傍距離　　 5, 10

thd2 ：特徴点を結ぶときの特徴点間距離　　 0.6 ～ 2.0, 0.2 刻み

bind ：繋がった特徴点を取り出すときの特徴点個数の閾値　　 10, 20

・ thd1, thd2 は画像の縦横のサイズの平均に対する割合 (%) の形で実装

・全体的に値が小さい方が条件が厳しい・計 32 通りの組合せで実験

SIFT を用いた実験：手法 2 case1, case2

手法 1 と同様条件が厳しいパラメータは割と良好

case1

case2

SIFT を用いた実験：手法 2 case3

やはり条件の厳しいパラメータでは false negative が大きい

positive ・ negative 共に比較的抑えられたパラメータも

false negative

false positive

Harris オペレータを用いた実験：手法 2 全体的に SIFT と似た傾向の結果 false negative がなかなか下がらない

case3 : false negative

発表の流れ 背景 研究に利用したマッチング手法について 提案手法 実験 考察 まとめ

考察 SIFT の代用としての Harris オペレータ

結果の傾向は似ている 性能的には劣る

⇒ 似た動作はさせられそうだが、代用させるには弱い？

考察 提案手法の正当性

今回の実験ではそこそこの結果（手法２） 用意した画像データは主観的に決めた場面を限定

した画像 もっと一般的なデータで実験したらわからない 正解が違うかもしれない

⇒ 今回の実験だけでは何とも言えない

発表の流れ 背景 研究に利用したマッチング手法について 提案手法 実験 考察 まとめ

まとめ ライフログ画像とサンプル画像とのマッチングが必

要か不必要かに分類する提案手法について、 2 通りのアルゴリズムを使い SIFT を用いて実験・評価を行った

パラメータをうまく決めればそこそこの結果に

同じ提案手法を、より処理の軽い Harris オペレータで SIFT と同様の結果が得られないかを検討した

似た動作は可能だが、性能的に問題

今後の課題 さらなる実験

一般的な画像データに対しても 「サンプル画像とのマッチングを行うべき」画像の判断基

準が客観的（機械的）にできればなおよい アルゴリズムの改良 他のマッチング手法の検討