"spectral graph reduction for efficient image and streaming video segmentation" cvpr2014...
TRANSCRIPT
“Spectral Graph Reduction forEfficient Image and Streaming Video Segmentation”
-CVPR2014-Fabio G., Margret K., Thomas B., Bernt S.
発表者 筑波大学情報数理研究室 修士1年 上田隼也
1
Abstract
3
1
project page: http://fgalasso.github.io/Equivalence.html
1. 計算コストとメモリコストがSpectral Techniquesを制限し、特に動画の領域分割においては深刻な問題がある。
2. ”super pixel”(特徴量が類似した画素領域)を用いてグラフを削減する。以前の関連研究では再構築したグラフに再び重み付けを行った。再構築したグラフは元のグラフの領域分割結果と同一の物が仮説の上では得られる。
3. NCutとSpectral Clusteringによる緩和が同一だということについて言及。提案手法が実行時間とメモリ削減について貢献し、画像とビデオに対して実行した。更にストリーミングビデオにも手法を適用して素晴らしい効果を実証。
Author
4
2
Dr. Fabio Galasso
ドイツのOSRAM(照明の会社)というセンサーシステムの開発のヘッドを務めていて、 ケンブリッジ大学とMPII(ドイツの研究所)と共同研究を行っている2007-2014までCVPR,ICCV,BMVCにCV御三家の国際会議にコンスタントに論文を通してる。 人物の三次元認識が研究領域。 サイトでは当論文のサンプルコード、発表スライドも公開してる。[LINK]
Margret Keuper
image by http://fabiogalasso.org/
image by http://lmb.informatik.uni-freiburg.de/people/keuper/
ドイツのフレイバーグ大学のポスドク。主な研究領域は医療用画像の解析。 所属する研究グループは、画像・動画の領域分割・Convolutional Networks・動画からの三次元復元が研究領域。[LINK]
Author
5
2
Prof. Thomas Brox
フレイバーグ大学教授でCVグループのヘッドを務める。ポスドク時代にJitendra Malik (バークレー大の教授 NCutの提案者)と2年間共同研究をした後にフレイバーグ大学へ移籍。 CVPR,ICCVの常連。NIPISにも論文を通してる。
Prof. Dr. Bernt Schiele
image by http://lmb.informatik.uni-freiburg.de/people/brox/index.en.html
image by https://www.mpi-inf.mpg.de/departments/computer-vision-and-multimodal-computing/people/bernt-schiele/
MPII教授。信号処理の認識が研究領域。CMU→MIT→ETH Zürich(スイスの大学)→TU Darmstadt→現職。
Motivation
1. Spectral Clustering は画像領域分割において、良い結果が得られるが、固有値計算に対するメモリ消費と計算時間が問題点。
2. 画像の表現グラフを”super pixel”で置き換える事による問題点
1. 物体の真の境界が乱れる
2. 画像のオブジェクト対応が変化する(NCutと同じ問題点)
3. 我々はSpectral Graph Reduction を提案する6
3
How to Segment
7
4
segmentedimage
Graph from image
Graph Cut
1. グラフ分割画像からグラフを構築部分グラフを完全に分割する
2. グラフ分割を実現するには? 1. Normarized Cut
(グラフ分割最小化問題を固有値問題に帰着させた手法)
2. Spectral Clustering 分割問題において良い結果が保証されている
Super Pixel の問題点
8
4
superpixel
1. 画像の表現グラフを”super pixel”で置き換える事による問題点
1. 物体の真の境界が乱れる
2. 画像のオブジェクト対応が変化する(NCutと同じ問題点)
Super Pixel の問題点
8
4
superpixel
1. 画像の表現グラフを”super pixel”で置き換える事による問題点
1. 物体の真の境界が乱れる
2. 画像のオブジェクト対応が変化する(NCutと同じ問題点)
Super Pixel の問題点解消
9
4
ReduceFindconjunction
GraphCut
制約条件 ex)特定のノード間は必ず
リンクする
Graph Reduction ノード数は減少したが
性質は元のグラフと同一なグラフ
NCut グラフカットを行う
ここを提案
元のグラフとの等価なGraph Reduction
10
4
Normalized Cut
Spectral Clustering
制約条件(Must Link)から頂点集合を一つの頂点へ結合
グラフ変更後の重み付け
Experiment
12
4
Video segmentation
境界線の認識精度 オブジェクトの認識精度Boundary Precision Recall
適合率・再現率 曲線
評価指標の詳しい説明 : A Unified Video Segmentation Benchmark: Annotation, Metrics and Analysis
Volume Precision Recall
Experiment
13
4
Streaming video segmentation
ストリーミングビデオにおける制約条件 1. 事前に特徴データは取得できない 2. メモリにはストリーミングデータの一部分しか保存できない
Explore & Comments
1. [関連研究]- Multiscale Combinatorial Grouping[CVPR2014] Affinity Matrix に対してダウンサンプリングを行う- Power Iteration Clustering[ICML2012]固有値計算をべき情報を用いることでスケーラビリティを保証。 early stoppingと呼ばれる
14
6
Explore & Comments
1. Spectral Clusteringの結果は他のクラスタリングと比較しても良好な物が得られるが、問題点としてメモリコストと実行時間が挙げられているが、最近の研究では問題点解消のために以下の2つのアプローチが多い傾向がある。
1. グラフ調整:行列サイズの縮小→メモリコスト削減かつ高速化
2. 新たな固有値解法の提案:計算時間の高速化→実行時間短縮
15
6