動画内オブジェクトを容易に操作可能な

2.5次元動画編集ソフト

これからは2.5次元の時代

2.5次元？

２次元（虚構）と３次元（現実）の狭間

フィギュア，コスプレ，声優

違います

2.5次元？

“2.5次元は、物体の3次元的形状を、1つの方向から見える範囲で表したもの。2次元と3次元の中間という意味でこう呼ばれる。” (Wikipediaより)

2.5次元は１方向から見た３次元

2.5次元動画？

•2次元動画(色)に距離情報を加えたもの

色情報 距離情報

＋

2.5次元動画編集でどんな動画が出来るか

実際にご覧ください

♪ Sparkling Daydream / ZAQ

http://www.nicovideo.jp/watch/sm19916098

•今の動画，編集がとても大変

•同じ人が複数いたりとか

•人の周りを人がぐるぐる回るとことか

•カメラが動くとことか

ではない

編集にかかった時間は15分程度

動画内オブジェクトを容易に編集可能な2.5次元動画編集ソフト

機能紹介＆デモ

2.5次元の動画を撮影

ドラッグ&ドロップ操作で動画に映ったオブジェクトを編集

撮影ソフト深度センサ(Kinect, XtionProLive)を用いて撮影

RGB値に加えて深度値を保存

編集ソフト

1.オブジェクトの切り抜き

2.オブジェクトの配置

3.オブジェクトの削除

4.タイムライン

5.カメラ移動

6.レンダリング

編集ソフト

1.オブジェクトの切り抜き

2.オブジェクトの配置

3.オブジェクトの削除

4.タイムライン

5.カメラ移動

6.レンダリング

1.オブジェクトの切り抜き

ユーザがドラッグを開始した瞬間(=クリックした時)に自動的に切り抜き処理を行う

1.オブジェクトの切り抜きクリック地点から上下左右+前後(フレーム)を探索していき，

深度の差が閾値以下ならオブジェクトの一部とする。

ただし、床の部分はオブジェクトに含めないようにする。

深度画像 赤い部分は床平面

床平面抽出・描画

• オブジェクト切り抜きの際に床を一緒に切り抜くことを防ぐため，床を検出

• RANSACでパラメータ推定

• ランダムに点を選んで，平面のパラメータ計算

• 他の点を当てはめて適合度チェック，再び↑へ

• これを繰り返してパラメータ推定

• 推定したパラメータにあわせて床を描画

2.オブジェクトの配置

ドロップした場所にオブジェクトを配置

2.オブジェクトの配置

奥行き方向の移動方法は２通り

・ドラッグ中にホイールを回す

・床にオブジェクトを接地させて奥行き方向に移動

編集ソフト

1.オブジェクトの切り抜き

2.オブジェクトの配置

3.オブジェクトの削除

4.タイムライン

5.カメラ移動

6.レンダリング

3.オブジェクトの削除

削除した後の穴を自動的に補完する

3.オブジェクトの削除

まず，他のフレームで見えている背景を使って補完

3.オブジェクトの削除

足りない部分は同フレームの似てる部分で補完深度で範囲を絞ってから近似最近傍探索

同フレームの似てる部分を使って補完

• 同じフレームから似た部分を引っ張ってきて補完する

• 普通に検索するととても時間がかかるので，近似最近傍探索を使う

http://gfx.cs.princeton.edu/pubs/Barnes_2009_PAR/index.php

PatchMatch: A Randomized Correspondence Algorithm for Structural Image Editing

2.5次元用PatchMatch• 深度による探索範囲絞込み

• 消えたものより後ろから選ぶ

• ただし，パッチ内の元から見えていた範囲の最大より後ろは無視

2.5次元用PatchMatch

• 色と深度を合わせて距離を計算

• PropagationとRandomSearchを繰り返して良い場所に乗り換えていく

編集ソフト

1.オブジェクトの切り抜き

2.オブジェクトの配置

3.オブジェクトの削除

4.タイムライン

5.カメラ移動

6.レンダリング

4.タイムライン

オブジェクト，ビデオ，背景，音を一覧表示

時間調整やトリミング，その他編集がここから可能

音楽と映像を同期再生しながら編集もできる

5.カメラ移動

固定カメラで動画を撮影した後にカメラを擬似的に移動することが可能

5.カメラ移動

カメラのキーポイントをタイムラインに追加していくと，

徐々にカメラが移動していく

キーポイント

編集ソフト

1.オブジェクトの切り抜き

2.オブジェクトの配置

3.オブジェクトの削除

4.タイムライン

5.カメラ移動

6.レンダリング

6.レンダリング (補間)

カメラを移動した場合など，欠落部分が出るのでレンダリング時に誤魔化す

6.レンダリング(補間)① 3次元点群のアップサンプリング

② 一旦2次元画像に落としてから補間処理

処理前 ① ②

7. 3D出力(アナグリフ)

•普通の動画だけでなく3D動画も出力可能

•カメラを左右に動かして視差画像を擬似的に生成

左視差 右視差元画像

http://www.nicovideo.jp/watch/sm19916158

2.5次元の動画を撮影

ドラッグ&ドロップ操作で動画に映ったオブジェクトを編集

応用・公開

何を目的としたソフトにするか

•「オブジェクトが簡単に編集できる！！！！」だけだとインパクトがよわい（よくわからない）

•何か目的・応用対象を設定したい

発表冒頭の動画

「踊ってみた動画」編集

•「踊ってみた動画」は無編集のものが多い

• “普通の部屋” “演出が物足りない”

•簡単な編集加えるだけで何か新しい面白動画が生まれるのでは

•編集対象となるオブジェクト（人）もわかりやすい

「踊ってみた」を編集してみた

ニコ動でいろいろ公開中(現在7件)マイリスト：http://www.nicovideo.jp/mylist/35131131

【ラブライブ！】1人で9人分Snow halation踊ってみた

http://www.nicovideo.jp/watch/sm19881172- 2013/01/21投稿 591再生20コメ10マイリス

1人で分身してSparkling Daydream

http://www.nicovideo.jp/watch/sm19599747- 2012/12/17投稿 1070再生120コメ53マイリス

公開中

※PointCloudLibraryというそこそこ容量あるライブラリが必要なので，既に入ってる希少な方以外は後ほどお試しください。

Ver. 0.01

http://ddm25.blogspot.jp

イメージキャラクター

DDMixer2.5D？

• 簡単に混ぜられるのでMixer

• DDは「Dance」「Depth」「Drag & Drop」の複数の意味

展望

野望

2.5次元を普及させたい

2.5次元は面白い

• 色情報（環境によって変化）に距離情報（不変）が加わるとやれることがいっぱい増える

• このシステムもその一例。2次元では無理。

• しかもKinectとかいう都合のいいデバイスが2000万台以上売れてる

•普及すれば面白い応用がいっぱい生まれるはず

2.5次元が普及した世界の一部

2.5次元動画投稿サイト上の動画を素材として編集

全部簡単に再編集可能に

2.5次元が普及した世界の一部

2次元との融和，3次元との融和

• 3次元CGのステージと現実のオブジェクトを合わせたり

• アニメに深度情報を後付けして現実にキャラクターを配置したり

2次元 3次元2.5次元 近い近い

まとめ

•これからは2.5次元の時代

•2.5次元で動画に映ったオブジェクトをD&Dで簡単に編集するシステムを作った

Welcome to 2.5D

http://www.nicovideo.jp/mylist/35131131

http://ddm25.blogspot.jp