背景モデリングに関する研究など

背景モデリングに関する研究紹介など

第20回名古屋CV・PRML勉強会2012/10/20

川西康友 ( @yasutomo57jp )

1

12年10月21日日曜日

今日話す内容自分の研究に関して背景画像推定背景モデリング

宣伝：次週関西CVPRML勉強会ICIP2012の参加報告をします


私の研究内容屋外の固定カメラ映像を対象背景画像推定背景差分人物検出・追跡・照合


Foreground / Background画像処理では前景／背景のどちらかを対象この分離は様々な画像処理の前処理

4

背景シーン理解天候推定プライバシ配慮映像

前景人物追跡人物照合


プライバシに配慮した映像の前に

センシングWeb世の中のセンサデータをWebに公開防犯カメラ映像人感センサ気象データetc.

プライバシの問題がある特に防犯カメラ映像

5

World wideSensor Network

Application Servers


映像に対するプライバシ保護人物検出→モザイク人物検出が完璧でないと…

6

観測画像モザイク

観測画像モザイク12年10月21日日曜日


6



違う位置にモザイク



6




人物が丸見え



6




人物が丸見え

失敗

失敗


変身カメラ

7

観測した映像

人物１(x,y): (150, 200 )Width: 30pxHeight: 100px

人物２(x,y): (120, 160 )Width: 30pxHeight: 100px

人物３(x,y): (200, 180 )Width: 30pxHeight: 100px

人物検出

背景画像推定

変身カメラの映像

シーンに適応する頑健な

長時間の観測画像解析に基づく


人物検出位置がずれても

人物検出が全くできなくても

人物検出の失敗時

観測画像モザイク変身カメラ



人物が丸見え

失敗

失敗








位置がずれるだけ

人物が丸見え

失敗

失敗









人物が丸見え何も表示されないだけ

失敗

失敗










失敗安心

失敗安心










人物検出結果が悪くてもプライバシ漏洩は起こりえない

失敗安心

失敗安心


変身カメラ

9

観測した映像

人物１(x,y): (150, 200 )Width: 30pxHeight: 100px

人物２(x,y): (120, 160 )Width: 30pxHeight: 100px

人物３(x,y): (200, 180 )Width: 30pxHeight: 100px

人物検出

背景画像推定

変身カメラの映像

シーンに適応する頑健な

長時間の観測画像解析に基づく


背景画像推定の目的元の観測画像推定した背景画像

プライバシを侵害しない

違和感がない映像


屋外固定カメラの映像映像中には何が存在？変化しないもの地面，床，壁変化するもの見えの変化o日照変化，木や旗の揺れ存在の変化o物体の侵入，消滅



11

背景



11

背景

前景


背景画像の推定背景は変化している1枚の画像から推定するのは無理複数枚の画像から背景モデルを構築背景モデルを用いて背景画像推定

背景画像推定画像の全ての画素の（背景を観測した時の）値を決めること


ちなみに…背景差分法（前景領域の抽出）背景モデルと観測画像の比較背景ではない領域を抽出する全ての画素に対して背景らしさを決定する問題背景らしさに対して閾値処理→背景 or notを決定

13

背景モデル背景らしさに対する閾値処理


背景差分と背景画像推定観測→背景モデル→背景画像背景差分

14

背景モデル

背景差分：結果的に画素ごとに2クラス分類ができればよい

背景画像推定：画素ごとに画素値を与えられればよい


背景モデル背景とはこうだという定義を与えるもの背景差分に使える背景モデル背景画像推定に使える背景モデル

表現方法画素ごと／画像ごと確率分布／固有空間／時系列予測


様々な背景モデル化法画素ごとの統計モデル平均，最頻値正規分布，混合分布

画像の低次元近似に基づくモデルEigenBackground, Local PCA, Robust PCA

時系列の変化を表すモデルKalman Filterによる輝度推定時系列のテクスチャ変化推定


画素ごとの統計モデル

統計量を推定する時間方向の平均値，最頻値確率分布の極大値を推定

弱点：急激な変化，空間的な変化に弱い（背景差分の場合）特徴量の工夫，識別の工夫画素値→LBP，ST-Patchなど　閾値処理→1class SVMなど特徴量，識別方法で様々な組み合わせ 17

time

現在の観測画像

統計量の推定


低次元近似の背景モデリング画像1枚を1つのベクトルと考える非常に高次元（100万画素＝300万次元）実際の変化パターンはそんなに高次元じゃない

画像をいくつかの基底の重み付き和で表現うまく基底を取れば，背景変化を再現可能


EigenBackground・・・

timeN. Oliver, B. Rosario, and A. Pentland, “A Bayesian Computer Vision System for Modeling Human Interactions,” IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999.12年10月21日日曜日


time

背景固有空間PCA

N. Oliver, B. Rosario, and A. Pentland, “A Bayesian Computer Vision System for Modeling Human Interactions,” IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999.12年10月21日日曜日


time

背景固有空間

入力画像

PCA



time

背景固有空間

入力画像

推定した背景画像

PCA


EigenBackgroundの弱点学習時，前景領域などのノイズ（外れ値）に弱い外れ値に強い手法：Robust PCAなどを利用

空間的に徐々に変化する変化を再現できない学習データをうまく限定するLocal PCAなどを利用

局所的な変化を再現できない画像を分割して各領域ごとに処理Segmented PCAなどを利用


前景領域などのノイズへの対応できるだけ前景領域を無視してPCAしたい前景領域を除いた上で背景の誤差を最小化どこを前景領域として除けばよいか？

Robust PCA, GoDecなどのロバストな手法前景領域(ノイズ)は画像中でSparse画素数が少ない（L0ノルムが小さいという条件）組合せ最適化になるので簡単には解けないL1ノルムで近似して繰り返し計算

22

Tianyi Zhou, Dacheng Tao, “GoDec: Randomized Low-rank & Sparse Matrix Decomposition in Noisy Case,” ICML, 2011.12年10月21日日曜日

Subsampleによる高速化・頑健化例えば100万次元の画像を10次元で表現するとき100万次元すべてを使わなくても10次元の部分空間を推定できる画像からランダムに画素を選択し，その画素の情報だけを使って画像を低次元近似

復元Subsampling

基底のうち，Subsamplingした画素に対応する列のみ(　　　　)を利用して画像を復元画素を選択

L. Balzano, A.Szlam, J.He, “Incremental Gradient on the Grassmannian for Online Foreground and Background Separation in Subsampled Video”, CVPR 2012.

30%くらいの画素からでも十分背景を推定できる


空間的に連続した変化への対応

影の移動などは数枚の画像の和では表現できない24

背景固有空間

推定した背景画像入力画像


空間的に連続した変化への対応(Kawanishi2009)

日照の強弱だけの問題になる→再現が容易複数日で看板などの配置が異なるとうまく再現できない→(川西2011ではこの問題に対処) 25

異なる日の同じ時刻⇒ 影の出る位置は同じこの画像集合だけを使って背景固有空間を構築

・・・

日

時刻


局所的な変化への対応画像全体を低次元で近似画像中の細かな変化は失われる

画像をブロックへ分割し，ブロックごとに処理Segmented PCA


Segmented EigenBackground

time



time

各ブロックに対してPCA

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background


ブロックごとの背景画像推定


time


Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background




time


Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

入力画像




time


Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

Eigen Background

入力画像推定した背景画像


ブロックに分割することで局所的な変化をうまく再現可能前景領域の影響を大きく受ける前景領域がブロックの大部分を占めるため

Segmented EigenBackgroundの問題点


ブロックに分割することで局所的な変化をうまく再現可能前景領域の影響を大きく受ける前景領域がブロックの大部分を占めるため

Segmented EigenBackgroundの問題点

→川西2012で対処　（時系列の推定）


時系列の変化を表すモデル

時系列に沿った画像が得られているこれを背景画像推定に使う

従来手法：画素ごとに日照変化に対処カルマンフィルタによって輝度変化を予測前景領域によるオクルージョンにロバスト変化の連続性を仮定

時刻

屋外環境における明るさ可変背景とMSCを用いた移動物体検出, 信学論 vol. J90-D, no. 8, pp. 1987-1997, Aug. 2007.12年10月21日日曜日

時系列の変化を表すモデル

時系列に沿った画像が得られているこれを背景画像推定に使う

従来手法：画素ごとに日照変化に対処カルマンフィルタによって輝度変化を予測前景領域によるオクルージョンにロバスト変化の連続性を仮定

時刻

屋外環境における明るさ可変背景とMSCを用いた移動物体検出, 信学論 vol. J90-D, no. 8, pp. 1987-1997, Aug. 2007.

→川西2012ではこの手法を拡張　（Segmented PCAと統合）


Segmented Eigenbackgroundの時系列推定(川西2012)

前景領域のオクルージョンに弱いSegmentedEigenBackground時系列での推定を入れることで頑健に

31

EigenBackground

時間

背景が変化




31

EigenBackground

時間

背景が変化背景のパラメータがどのように変化するのかを学習




31

EigenBackground

時間

？

背景が変化背景のパラメータがどのように変化するのかを学習

次にどう変化するのかを予測


実験結果入力画像比較手法A：EigenBackground

比較手法B：Segmented EigenBackground 提案手法


まとめ背景画像推定と背景差分背景差分：背景らしさを推定→閾値処理背景画像推定：画素値を推定

背景画像推定手法統計量の計算部分空間の利用時系列推定


背景モデリングに関する研究など

Technology