3dコンソーシアム＆urcf合同特別講演会 ステレオ静止画像 ... · 2009-10-16 ·...
TRANSCRIPT
11
２００９年２００９年99月月1717日日３Ｄコンソーシアム＆ＵＲＣＦ合同特別講演会３Ｄコンソーシアム＆ＵＲＣＦ合同特別講演会
ステレオ静止画像フォーマット規格ステレオ静止画像フォーマット規格CIPA DCCIPA DC--006006 についてについて
オリンパスイメージングオリンパスイメージング
吉田吉田 英明英明
（（ CIPACIPAステレオステレオ画像フォーマット分科会画像フォーマット分科会 主査）主査）
2
はじめに
CIPA規格 DC-006 ステレオ静止画像フォーマット“ Stereo still Image Format for digital cameras”
(SIF) 2008年8月8日に制定（発行）webサイトにて公開（無償ダウンロード可能）http://www.cipa.jp/hyoujunka/kikaku/cipa-kikaku_list.htmlオリンパス、シャープ、三洋電機、ソニー４社の共同提案
CIPA（一般社団法人 カメラ映像機器工業会） 標準化委員会の「ステレオ画像フォーマット分科会」にて審議
本日はこの概要を紹介認知度を高め、今後の利用・応用を促進したい
3
背景１
ステレオ写真は、写真技術の開発と同時に誕生
立体鑑賞に対する潜在的欲求は極めて大きい
各種イベントなどにおけるステレオ写真／３D映画の恒常的人気
周期的な（一時的）ステレオ写真ブーム
しかし ・・・
今日まで本格的な普及には至らず
撮影、鑑賞に難しいテクニックや高価な道具（ツール）が必要
民生用として普及した標準フォーマットがない
4
立体画像利用の機運の高まりデジタル技術の発達により、以前に比べてインフラ（ツール環境）は整いつつあるデジカメの普及３Dディスプレイの登場３D放送の登場
↓
撮影～鑑賞のフローを簡単化できれば本格的普及が期待できる撮影機器（カメラ）の３D(ステレオ）対応再生機器（ディスプレイ＊）の３D（ステレオ）対応カメラ → ディスプレイ間を結ぶ標準ファイルフォーマット
＊ ディスプレイには＜プリンター＋ビュアー＞などの系も含む
背景2
5
（利用シーン／ワークフローの図）
入 力 系
2 D カ メ ラ Ｃ Ｇ 作 成ア ダ プ タ
ス テ レ オ 画 像
フ ォ ー マ ッ ト
ス テ レ オ 記 録
モ ー ド 付 カ メ ラア ダ プ タ
・ S t i m タ グ を 付 加 ス テ レ オ 画 像
オ ー サ リ ン グ
ツ ー ル
ス テ レ オ 画 像 フ ォ ー マ ッ ト
に 合 わ せ て デ ー タ を 加 工 ・ S t i m タ グ を 付 加
2 D カ メ ラ X 2 台
出 力 系
・ S t i m タ グ は 解 釈
さ れ な い
・ 代 表 画 像 が 再 生 さ れ る・ S t i m タ グ の 解 釈 ・ 出 力 デ バ イ ス に 応 じ た ス テ レ オ 画 像 出 力
ベ ー ス ラ イ ン 機 器 本 規 格 対 応 機 器
P C プ リ ン タカ メ ラ 携 帯 電 話
画 像 出 力 機 器
メ デ ィ アイ ン タ ー ネ ッ ト
流 通 系
メ デ ィ アイ ン タ ー ネ ッ ト
本 体 画 像 フ ァ イ ル
（ D C F 拡 張 画 像 フ ァ イ ル ）
ス テ レ オ 画 像 + S t i m タ グ
+
( D C F オ ブ ジ ェ ク ト )
代 表 画 像 フ ァ イ ル
（ D C F 基 本 フ ァ イ ル ）
代 表 画 像
+
図 ： ス テ レ オ 画 像 の 利 用 シ ー ン
6
本規格の狙い
1. 記録に用いるカメラ（や再生機）の機種に依存しない、静止画ステレオ画像の標準フォーマットを目指す多くのカメラメーカーが集まるCIPAでの規格化３Dユーザーや研究者が集う団体・学会などを通じて普及活動
2. 様々な3D表示装置における表示品質の確保に向けた仕組みを提供する各種ステレオタグ （メタデータ） を定義再生（表示）時に利用可能な撮影情報を記録画像データはオリジナルのまま（非加工）記録し、再生系に処理を委ねることも可能
3. 本規格非対応の機器の利用に影響を与えないよう配慮既存の２D機器などの利用で混乱や不具合を生じないための工夫広範な普及を目指すが故に、配慮も求められる。
7
規格案の概要~ 適用範囲
「デジタルスチルカメラおよびこれに準ずるシステムにおいて、ステレオ画像を画像ファイルとして記録する場合の、画像、およびステレオ画像に関するメタデータ（Stimタグ）のフォーマットを規定する。なお本規格におけるステレオ画像は2眼式並置視点画像に限定される。」
現時点において、最も普及が容易と思われる範囲に特化サポートの必要な技術が限られるのでツールの負担少
ワークフローが単純になる
＊将来仕様拡張（例えば多眼化など）が必要になった場合は、規定を改訂するとともに、Stimタグを適宜追加定義すれば対応可能
8
規格案の概要~ファイル構成
本体画像ファイル （主ファイル）
左右の視点画像を並置し、ステレオ画像に関するメタデータ（Stimタグ）を記録した、本体の画像ファイル固有拡張子 .ssi （ DCFにおける”拡張画像ファイル” ）
代表画像ファイル本規格非対応機器での再生互換用ファイル（サムネイル的役割）拡張子 .jpg （ DCFにおける”基本ファイル” ＝ 色空間sRGBのExif）左右の視点画像のうちの一方（タグで指定、画像のリサイズ可）
上記２ファイルでDCFオブジェクトを構成拡張子だけが異なる同じ名前のファイルを、一つのフォルダに同時記録デジカメやメモリーカードスロット付きTVなどのDCF対応機器（本規格非対応）では、本体画像の代わりに代表画像が再生される。
（運用上の便宜のために設けた規定）
9
（ファイル構成の図）
参考： DCF ( Design rule for Camera File system)カメラ等の画像機器におけるファイル取り扱いルールを定めたJEITA規格。デジカメはもちろん、テレビを含むフォトリーダー（プレーヤー）等でも採用されている。音声付き写真の記録再生や互換性の無い画像（Rawファイルなど）の記録などにも利用されている。
図： ファイルの構成
10
規格案の概要~本体画像ファイルのデータ構造
JPEG Baseline DCT フォーマット（ “ ISO/ IEC 10918-1“） を採用すなわち、独自拡張子の JPEG ファイル
Stimタグ（ステレオタグ）はAPP3（アプリケーション・マーカ セグメント３）に記録する。
APP3 の内部構成APP3マーカ、Stim識別コード、Stimヘッダ、およびStimタグ
IFD（Image File Directry）構造を使用カウント、フィールドエントリ、次のIFDへのオフセット からなる連鎖を用いたデータの格納形式
11
（本体画像ファイルのデータ構造図）
図： Stimタグを含む本体画像ファイルの構造
APP3マーカ
APP3 length
Stim 識別コード
Stimタグ
SOI
APP3マーカセグメント
JPEGマーカセグメント（APPn等）
圧縮画像データ（並置視点画像）
EOI
JPEGマーカセグメント（DQT、SOF等）
Stimヘッダ
APP3マーカ
APP3 length
Stim 識別コード
Stimタグ
SOI
APP3マーカセグメント
JPEGマーカセグメント（APPn等）
圧縮画像データ（並置視点画像）
EOI
JPEGマーカセグメント（DQT、SOF等）
圧縮画像データ（並置視点画像）
EOI
圧縮画像データ（並置視点画像）
EOI
JPEGマーカセグメント（DQT、SOF等）
Stimヘッダ
（IFD構造）
12
規格案の概要~ステレオ画像の構成
並置視点画像を採用
いわゆる Side by side左右両眼視に対応する2つの視点画像（単眼視画像）を、1つの平面画像上に、左右方向に並列配置配置される各領域～「視点画像領域」 （第1と第2 ）
各視点画像の形状は矩形
13
（ステレオ画像の構成図） 並置視点画像
第一 視点画像領域 第二 視点画像領域
Hh1 h2HH
V
図： ステレオ画像の構成 と 視点画像領域
各視点画像領域の巾
h = H/2
＊ただし、Hが奇数の場合、剰余の1 画素はh1に加える。
14
撮像手段（カメラ）による撮影の配置を想定
＊視点画像領域（ファイルにおける画像の配置）とは異なる
左側視点 ：
0 （L視点画像）右側視点 ：
1 （R視点画像）
規格案の概要 ~視点番号
図： 視点番号の定義
撮影方向
カメラ（撮像手段）
0 1Ｌ視点画像
R視点画像
15
規格案の概要 ~タグの内容と利用例
タグ一覧表： Stimタグの要素の名称
ViewType（見え方のタイプ）
CropOffsetY（切り出し領域の垂直オフセット）
CropOffsetX（切り出し領域の水平オフセット）
CropSizeY（切り出し領域の垂直サイズ）
CropSizeX（切り出し領域の水平サイズ）
ScalingFactor（スケーリングファクタ）
ImageRotation（画像の回転）
ImageArrangement（画像の配置方法）
ApplicationData（アプリケーションデータ）
StimVersion（Stimバージョン）
ViewType（見え方のタイプ）
CropOffsetY（切り出し領域の垂直オフセット）
CropOffsetX（切り出し領域の水平オフセット）
CropSizeY（切り出し領域の垂直サイズ）
CropSizeX（切り出し領域の水平サイズ）
ScalingFactor（スケーリングファクタ）
ImageRotation（画像の回転）
ImageArrangement（画像の配置方法）
ApplicationData（アプリケーションデータ）
StimVersion（Stimバージョン）
ShootingCount（撮影の回数）
CameraArrangementInterval（カメラ配置間隔）
ConvergenceDistance（輻輳点までの距離）
InitialDisplayEffect（初期表示効果）
RepresentativeDisparityFar（代表視差量遠景）
RepresentativeDisparityNear（代表視差量近景）
AssumedViewDistance（想定鑑賞距離）
AssumedDisplaySize（想定ディスプレイサイズ）
ConvergenceBaseImage（輻輳調整基準画像）
RepresentativeImage（代表画像）
ShootingCount（撮影の回数）
CameraArrangementInterval（カメラ配置間隔）
ConvergenceDistance（輻輳点までの距離）
InitialDisplayEffect（初期表示効果）
RepresentativeDisparityFar（代表視差量遠景）
RepresentativeDisparityNear（代表視差量近景）
AssumedViewDistance（想定鑑賞距離）
AssumedDisplaySize（想定ディスプレイサイズ）
ConvergenceBaseImage（輻輳調整基準画像）
RepresentativeImage（代表画像）
16
規格案の概要 ~
タグの内容と利用例 １
ImageArrangement画像の配置方法
並行配置か交差配置かを示す
必須タグ
17
規格案の概要 ~
タグの内容と利用例 １
ImageArrangement の利用例再生機側ではこのタグを読んで、例えば並行配置か交差配置かを印字する
ビュアーのタイプに合わせて印刷する
ディスプレイの仕様に合わせて読み出して利用する
18
規格案の概要 ~
タグの内容と利用例 ２
Crop 切り出し領域CropSizeX（切り出し領域の水平サイズ）CropSizeY（切り出し領域の垂直サイズ）CropOffsetX（切り出し領域の水平オフセット）CropOffsetY（切り出し領域の垂直オフセット）
サイズ（水平、垂直）は、各画像で共通の指定
オフセット（水平、垂直）はそれぞれ、各画像共通、個別のいずれでも指定できる。
オプションタグ
19
規格案の概要~タグの内容と利用例 ２
（Cropタグの定義の説明図）
Ｘ
Ｙ
x1
y1
x0
並置視点画像
切り出し領域
x0：L 視点画像の CropOffsetX（ｵﾌｾｯﾄ値）
x1：R 視点画像の CropOffsetX（ｵﾌｾｯﾄ値）
y0：L 視点画像の CropOffsetY（ｵﾌｾｯﾄ値）
y1：R 視点画像の CropOffsetY（ｵﾌｾｯﾄ値）
Ｘ：CropSizeX
Ｙ：CropSizeY
y0
Ｒ視点画像 Ｌ視点画像
Ｘ
Ｙ
20
規格案の概要 ~
タグの内容と利用例 ２
Cropの応用例基本的な利用方法は画像の切り出し
アスペクト比（縦横画枠）選択カメラを傾けられない（一軸の回転では、基線ごと回転してしまうため）という、ステレオ撮影特有の事情
トリミング（電子ズーム）
各種調整（補正）にも利用できる
光学アダプタによるケラレ回避
上下ずれ補正
視差量調整（奥行き定位位置の補正、輻輳調整）
21
（Cropの利用例１：写真）
22
（Cropの利用例２：規格書の図）
水平ずらし量（画素数換算）をCropOffsetXに加算することで切り出し範囲を水平方向にシフトする
左右画像の一方にでも、双方に振り分けても良い
水平ずらし量
(b) 輻輳調整後の状態 調整の結果、対応点の視差が０ （スクリーン上に表示）
(a) 調整無しの状態 例示の点は、視差を持つ対応点
（飛び出し表示）
Ｒ視点
画像上の点
L視点
画像上の点 対応点（視差が０）
Ｌ視点画像 Ｒ視点画像
LR視点画像が一致
23
規格案の概要 ~
タグの内容と利用例 ３
RepresentativeImage 代表画像2つの視点画像のうち、当該ステレオ画像全体を代表すると見なす視点画像ファイル作成者の意図視点番号で指定必須タグ（代表画像ファイルを記録する関係で）
利用例代表画像ファイルの元視点画像を認識するプリンタで2D印刷する場合に、指定された視点画像を用いる２D表示が必要な場合に、指定された視点画像を用いる２Dディスプレイで再生する場合3Dディスプレイであっても、ユーザが２D表示モードを指定した場合InitialDisplayEffect （初期表示効果：後述）の初期表示
24
規格案の概要 ~
タグの内容と利用例 ４
AssumedDisplaySize 想定ディスプレイサイズAssumedViewDistance 想定鑑賞距離撮影時（ファイル作成時）の被写体距離、倍率などから定まる、最適な再生（鑑賞）条件のうちの重要要素鑑賞時には、等価な条件に近づけることが望ましい。条件の乖離が大きいと、箱庭・書き割り効果などの画質低下を生じたり、融像不能となることもある
サイズと距離の組み合わせでの利用が効果的
利用例表示画像サイズの自動調整注意喚起自動２Dモード表示
25
規格案の概要 ~
タグの内容と利用例 ５
InitialDisplayEffect 初期表示効果一旦2D単眼視表示を行った後に3D表示に切り替えることで、高い表示効果が得られるという意図を表わす動的ディスプレイで再生する場合を想定切り替えの際に生じる飛び出しアクション効果など
Readerがこれを利用するかどうかは任意<注>全てのタグについて利用は任意だが、意図性の高いタグなので特記
利用例（想定される再生制御）再生開始時点で（例えば3秒程度）2D単眼視表示し、その後自動的に3D表示に切り替える一旦2D単眼視表示とした状態で待機し、ユーザの操作により3D表示に切り替える
26
まとめ
１．タグ情報付き画像ファイルとして構成立体画像として鑑賞する際に必要となる（有用な）付随情報をタグ情報として一つのファイルに併せ持つことによって、効果的な（高品位の）再生画像が容易に鑑賞できるようになる
２．画像データの記録方式には、並置方式を採用多視点画像の各単視点画像を並置した２D（平面）画像として記録Jpeg圧縮記録を採用独自拡張子.ssi を採用
３．２画面のみサポート （サイド・バイ・サイド形式）からの導入ステレオ画像で、最も一般的で普及が容易な形式将来の仕様拡張（例えば多眼化など）も、改訂により実現可能動画との共通化が容易
27
補足
独自拡張子採用の理由（何故 .jpgでないのか）既存機器（表示装置）における混乱回避タグデータの消失リスク（メタデータ堅牢性課題）を回避
マルチページ形式について現時点では普及実績のある圧縮フォーマットが無い。JPGの独自拡張については、堅牢性課題＝画像データ消失リスクあり（拡張子.jpgの場合）ツールへの負荷が大きい
動画との互換性（共通化可能性）において不利
マルチファイル形式についてファイル離散による消失リスク（堅牢性）組みファイルの検索が必要となる・・・応答性落ちる
2828
ご清聴有難うございましたご清聴有難うございました
ステレオ静止画像フォーマット規格ステレオ静止画像フォーマット規格
にご期待下さいにご期待下さい