my mpeg life: mpeg-2, mpeg-4, h264/avc and h.265/hevc
DESCRIPTION
(in Japanese), I was invited to a honorable speech hosted by Skyperfect TV. In that speech I'm recalling my life in MPEG. The topics cover mainly MPEG-4 and H.264.TRANSCRIPT
NTTドコモ 執行役員、イノベーション統括部長!
栄藤 稔(えとう みのる)
…MPEG2,MPEG4,H.264/AVCそしてH.265/HEVC….
1
MPEG回想録
Shall を求めて。。。
知財戦争
世界の英知
簡単な自己紹介
2
情報メディアの伝送速度と圧縮後の伝送速度
16kbps
1 5.5
1.4Mbps
100 kbps
10 kbps
100 Mbps
1Gbps
伝送速度
電話 音楽 (CD)
256kbps
ビデオ (VHS品質)
30Mbps
1.5Mbps
現行テレビ (受信品質)
100Mbps
4Mbps
HDTV (ハイビジョン・スタジオ品質)
圧縮率
30Mbps
情報メディア
電話
音楽
ビデオ
現行テレビ
ハイビジョン・テレビ
1 4
1 20
1 25
1 40
圧縮後の 伝送速度
原信号の 伝送速度
♪CD
60kbps
3
放送の多チャネル化
4
放送衛星
BS
(Broadcasting Satellite)
27MHz
(1チャンネル分の 伝送帯域)
従来の1チャンネル
アナログ
情報圧縮後
ディジタル
従来の1チャンネル分で6チャンネル分のテレビ画像が伝送可能
例 30Mbps/チャネル
MPEG2
多チャネル化
例
①5Mbps/チャネル
②5Mbps/チャネル
③5Mbps/チャネル
④5Mbps/チャネル
⑤5Mbps/チャネル
⑥5Mbps/チャネル
[例]
総合チャネル だけ
総合チャネル
ニュース・ チャネル
スポーツ・ チャネル
教育チャネル
映画チャネル
その他
10k 100k 1M 10M
176x144 (テレビ電話)
320x240 (PCストリーミング)
720x480/VGA (通常TV映像)
1920x1080 (HD映像)
3840x2160 (4K UHDTV)
MPE
G-2 (1
994)
H.261
MPEG-1
(199
2)H.
263
MPE
G-4(1
999)
H.264/A
VC (2
003)
100M
ISDNテレビ電話
デジタルSD放送 / DVD (6M~8M)
デジタルHD放送 / HD-DVD (20M~28M)
Blu-ray DVD
ワンセグ
H.265/H
EVC
(2013
)5
ISO/IEC JT1の組織図とMPEGの位置づけ!!!
International Organization for Standardization
!!
International Electrotechnical
Commission
IEC国際標準化機構
ISO国際電気標準会議
!!!
ISO/IEC Joint Technical Committee
ISO/IEC 合同技術委員会 1ISO/IEC JTC1
SC1
SC2
SC29
WG1(JPEG, JBIG)
WG11(MPEG)
WG12(MHEG)
SC :Sub Committee, 専門部会 WG :Working Group, 作業部会 JPEG :Joint Photographic Coding Experts Group MHEG :Multimedia and Hypermedia Information Coding Experts Group MPEG :Moving Picture Experts Group マルチメディア
符号化
6
画像符号化規格の変遷• ISO/IEC 標準規格 と ITU-T 勧告
ISO/IEC
ITU-T
MPEG-1 MPEG-2MPEG-4
Part2
H.261 H.262 H.263 H.26L
Storage Media ~1.5Mbps
Generic ~80Mbps
Generic AV 10k~40Mbps
ISDN TV phone p×64kbps
B-ISDN Comm. ~80Mbps
PSTN TV Phone ~28.8kbps
Common Text
1990 1992 1994 1996 1998 2000 2002 2004
Technically Aligned
MPEG-4 Part10
H.264
2003年3月作業完了
7
トピック
• 動画像符号化標準化の歴史!❖ MPEG1:CD-ROMに動画像!❖ MPEG2:デジタルTV放送の実現!❖ MPEG4:オブジェクト表現への挑戦!❖ H.264/AVC: ITUチームの勝利!❖ H.265/HEVC:実はドコモが仕掛けた標準!
• 標準化裏話
8
すべてはH.261 (1998.11)から始まった
9
2001年 MPEG-4 Video
10
2001年末 i-motion
11
MPEG-4 Simple Profile 画像サイズ:352x288 フレームレート:15fps ビットレート:96 Kbps
12
❏ ❏メディアの性質を利用 ➤ 2値画像: 白黒画素が連続しやすい ランレングス符号化 ➤静止画: 近くの画素は似ている DCT ➤動画像: 現画面は前画面に似ている 動き補償予測
❏ ❏人間の視聴覚特性を利用 ➤画像: 色信号の劣化には鈍感 色はサブサンプル ➤音声: 大音と同時にある小音は聞こえにくい マスキング
❏ ❏符号の発生確率の偏りを利用 ➤符号発生確率に差がある 可変長符号化
まずは画像符号化(圧縮)のおさらい
13
❏ ❏可逆圧縮: 完全に元通りに伸張できる ➤コンピュータデータ等完全保存が必要なもの ➤圧縮率は低い ➤医用画像では重要。
❏ ❏非可逆圧縮: 完全に元通りに伸張できない ➤画像圧縮等多少の劣化を許容できるもの ➤人の眼をごまかせる情報は落とす。 ➤圧縮率は高い
可逆圧縮と非可逆圧縮
14
画像圧縮とは
15
視覚特性を考慮した上で、画像等の持つ 空間的、時間的、統計的冗長性 を除く事によってデータ量を減らすこと
この辺は一様なので冗長度が高く圧縮しやすい
この辺は入り組んでいるので冗長度が 低く圧縮しにくい
画像
❏ ❏空間的冗長性の利用 ➤ DCT/量子化
❏ ❏時間的冗長性の利用 ➤ 動き補償予測
❏ ❏統計的冗長性の利用 ➤ 可変長符号
画像圧縮の原理 -冗長性からの分類-
16
❏ メディアの性質: 自然画では隣り合う画素は似ている ❏ 視覚の性質: 人間は細かな絵柄は見えにくい
❏ 画像を空間周波数成分に分解 ➤ 信号が低周波成分に集中する
❏ 低周波成分のみ伝送 ➤ 少しのデータで伝送可能
空間冗長性の利用
17
空間周波数
フラット
自然画
幾何学模様
x
輝 度
x
輝 度
x
輝 度
空間周波数
18
f(x)
u
スペクトル
u
u
F(u)
スペクトル
スペクトル
DCTの図形的理解(直交射影)
19
1次元DCTの各成分
2次元DCTの各成分
DCT特有の視覚劣化(Artifact)
20
ブロックノイズ
モスキートノイズ
差分のみ伝送
❏ 動画像では前後の画面はよく似ている ➤ 前画面との差分のみを送ればよい
時間的冗長性の利用
21
動画像の情報源モデル→動画像は平行移動するブロックから構成される !
動きの方向/大きさから、次の画面は予測できる
ベクトル ベクトル
動き補償
22
前フレーム 現フレーム
動きベクトル
差分
動き補償された フレーム
差分とベクトル のみを伝送
動き補償フレーム予測
23
転送レート 64Kbps~2Mbps ~1.5Mbps ~15Mbps(現行TV) ~80Mbps(HDTV)
代表的画像サイズ 360×288×30 (ノンインターレース)
360×288×30 (ノンインターレース)
基本アルゴリズム動き補償予測
+DCT動き補償予測
+DCT
フレーム構造フレーム内符号化
+フレーム間符号化フレーム内符号化
+フレーム間符号化 +両方向予測符号化
フレーム内符号化 の周期
不定期 (最低132frame中 1frame)
定期 (GOP単位)
その他
標準化時期 1990年12月 勧告 1992年11月標準化
主な用途 ISDN網用テレビ電話・会議
CD、DAT
H.261 MPEG1 MPEG2
720×480×30(インターレース) HDTV
動き補償予測 +DCT
フレーム内符号化 +フレーム間符号化 +両方向予測符号化
定期 (GOP単位)
・ノンインターレース/インターレース 適応 符号化
・スケーラビリティ拡張
1994年11月 標準化
汎用 (DVD, 放送など)
H.261とMPEG1、MPEG2
24
I B B P B B P
I : Intra (フレーム内符号化) P : Prediction (前方向フレーム予測符号化) B : Bi Prediction (両方向フレーム予測符号化)
MPEG
H.261 I P P P P P P
フレーム予測構造
25
MPEG-4標準化でやったこと❖ 1992年から1996年頃にかけて、超低ビットレート符号化(VLBR
Coding)の研究がブームとなり、多くが挑戦。しかし、モバイルだから超低ビットレート/誤り耐性という特徴を求めたことは失敗。!
❖ 私の標準化チームもオブジェクト符号化を提案した。これは画像を階層的に表現するものでMPEG-4の主特徴となったが商用化は失敗。!
❖ DCT係数予測、動きベクトルの精緻化、算術符号化の導入などをやってMPEG1/2より30%改善程度。
26
スプライト符号化
27
スプライト符号化
28
採用されたオブジェクト符号化技術
29
ISO標準化で思うこと
✴ それまで「大学の研究が一番進んでいて、企業は応用開発を考えるところだ」と思っていた青い考えが木っ端みじんに粉砕。
✴ 標準化=世界の英知を集めた競争/共同開発。 ✴ 交渉、発表は 全て個人ベース。会社の肩書きなんて役立たず。 ✴ 腹芸、論破、ロビー活動、交渉、法的記述で個人能力は成長。 ✴ インナーサークル(内輪) は存在し、入るための場外活動が重要。 ✴ 英語が話せないということは論外。
30
学会レベルとは何かを考えさせられた話
トップレベル DCT+動き補償符号化、枯れた技術を提案
2番手レベル Wavelet, 可変領域動き補償、 フラクタル
論文に良く出ている方式を提案
3番手レベル DCT+動き補償符号化、枯れた技術を提案
MPEG4の主観評価実験の結果は 以下の3グループに分けられる。
トップレベルと2番手レベルの 違いは何か? バックデータの違い。 トップレベルは全ての技術を 追試し、そのアセスメントを 終えている。 それが企業の技術、実力!
31
MPEG−4の標準化を終わって、もうこれ以上の効率改善はないと思った。
32
2001年 ITU-Tグループが地道に先行
FDIS: 最終標準規格案
1997 1998 1999 2000 2001 2002 2003
ITU-T (VCEG)
ISO/IEC (MPEG)
H.26L 提案募集
H.26L 第1草案
MPEG-4 Part 2 Ver. 1 FDIS
MPEG-4 Part 2 Ver. 2 FDIS
新規 提案評価
`98/01 `99/10
`98/10 `99/11 `01/07
`01/12 `03/03
JVT
最終標準規格案
H 2 6 4 / A V C共同作業班発足
33
H.264/AVCの技術的特徴
動き 補償
フレーム メモリ
エントロピー 符号化-
+
動き 検出
ブロック 歪除去 フィルタ
変換 量子化
逆量子化
逆変換
フレーム 内予測
空間方向の冗長度削減
時間方向の冗長度削減
画像の復元
エラー 耐性 ツール
画像を複数の ブロックに分割
MPEG-4から変更した機能
MPEG-4を拡張した機能
MPEG-4になかった機能
34
H.264 Baseline Profile 画像サイズ:352x288 フレームレート:15fps ビットレート:96 Kbps
MPEG-4 Simple Profile 画像サイズ:352x288 フレームレート:15fps ビットレート:96 Kbps
35
Akiyo QCIF 15Hz
Y-P
SN
R [d
B]
282930313233343536373839404142
Bit-rate [kbit/s]
0 7.4 14.9 22.3 29.7 37.1 44.6 52
H.263-BaseMPEG-4 SPH.264/AVC BP
H.264/AVC Baseline Profileの客観的性能
Codec MPEG-4 SP H.263 Baseline
H.264/AVC Baseline 29.37% 40.59%
MPEG-4 SP - 15.69%
By courtesy of Heinrich Hertz Institute Berlin, Germany
36
H.264/AVC と MPEG-4 パート2との比較要素技術 MPEG-4 (Simple) H.264/AVC (Baseline)
フレーム内予測 変換係数の予測 画素値の予測
動き補償の単位 16x16画素のブロックと 8x8画素のブロックの2種類
16x16画素のブロック~4x4 画素のブロックの7種類
動き補償の精度 ½ 画素精度まで ¼画素精度まで
参照画像の枚数 1枚 5枚
動きベクトルの個数 1または4個 1, 2, 4または16個
変換方法 8x8画素単位の離散コサイン 変換(DCT)
4x4画素単位の整数変換
エントロピー符号化 ハフマン符号化 適応ハフマン符号化*
ループフィルタ なし あり
エラー耐性ツール 組込み型 組込み型
冗長度削減 時間方向
冗長度削減 空間方向
* H.264/AVC main プロファイルには算術符号化が含まれる
37
H.264/AVC映像符号化標準規格のHigh Profileへの貢献に対して、米国のエミー賞(Primetime Emmy Engineering Awards)を団体で受賞。ITUとISO/IECのビデオ・エキスパート・グループの共同検討チーム (通称JVT、ドコモを含む全9団体)が受賞。 !Emmy賞とは:米国テレビ芸術科学アカデミー(The Academy of Television Arts & Sciences)の主催で、アメリカのテレビドラマを始めとする番組のほか、テレビに関連する様々な業績に与えられる賞である。過去1996 年に ISO/IEC SC29(代表、安田浩 元東大教授、現東京電機大学)JPEG、 MPEG-1、MPEG-2の国際標準化活動の功績に対して、第50回米国エミー賞(技術開発部門)を受賞 Technology and Engineering
Emmy Award
エミー賞(団体)の受賞(2008)
38
エミー賞技術部門 授賞式出席模様(2008.8.23 18:00-22:00)
受賞会場:Renaissance Hollywood Hotel and Spa,
SONY ThomsonHHI
Microsoft
Motorola
Docomo
Dolby
出席者:技術部門賞の関係者200人ほど
39
受賞後の記念撮影
40
知財について❖ MPEG-2の規格特許は一本数億円の価値だとか? 秘密。!
❖ 多くの私企業ではR&Dの仕事は知財の確保。!
❖ どちらが大事? 1. N社は寄書提出前に書く。2. S社とP社は特許を会合中に書く。!
❖ 会合終了時に標準ドラフトの不備を指摘する。自ら技術提案はしない。待っていれば、自分が書いた特許にぶつかる寄書を誰か出す。自分が提案しなくても特許は増える。
41
H.264でもう仕事はやり遂げたと思った。もう符号化効率向上はもう無いだろう。
42
と思ったら。同僚が。。。
43
H.264の2倍の効率:H.265/HEVC
2003 2013
ドコモ端末にて 提供される動画サービス
(2001)
(2006) (2012)
(2009)
HEVCによる モバイル動画の 高精細・高品質化
10年
3GPP Rel.12 (予定)
2014/61998
H.265 HEVC
44
HEVC標準化とドコモの関わり■ ドコモは「動画トラヒック急増によるモバイル網の逼迫」を見越し、H.264の性能を超える方式の必要性を提起。 ■ 全世界の英知を集め最高性能の方式構築を目指し、ITU-T/ISO共同標準化作業の立ち上げに貢献。 – ドコモ主催の標準化会合で、ITU-Tから正式にISOとの共同作業提案を表明。8か月後に共同作業班JCT-VC*1が設立。 – JCT-VCの下でHEVC標準化が開始し、HEVC要求仕様はドコモ提案(圧縮率/複雑度要求等)に基づく。
■ ドコモが開発した方式に基づく共同提案は、HEVC提案募集に対する最優秀方式の1つ(27提案中)と評価。 ■ 各社提案の技術採否審議の主要メンバーや、HEVC規格参照ソフトウェア(HM)の主査を担う。 ■ 圧縮性能、機能性、演算量低減、プロファイル提案等の幅広いドコモ提案が採用。
*1 Joint Collaborative Team on Video Coding
HEVC標準化活動(JCT-VC)
規格完成
構想・要求条件議論
共同提案
プロファイル決定 (ドコモ案ベース)
技術提案(圧縮性能、機能性、演算量低減 等) ドコモの動画圧縮方式開発
技術採否審議・参照ソフトウェア(HM)主査
次期圧縮方式 必要性提起
20122011 2013201020092006-2008
構想検討
構想/要求 仕様を提案
標準化会合 主催
テスト 動画提供
最優秀方式 の1つと評価
HEVC標準化
プロファイル 提案
モバイル 実時間再生 実証
ドコモの関わり
4K実時間再生(PC)
要求仕様(初版) (ドコモ案ベース)
ITU-TからISO に共同作業提案
検証必須 動画に採用
JCT-VC設立 要求仕様・ 提案募集 発行
46
47
HEVCの主な技術
48
画面間 予測
フレーム メモリ
エントロピー 符号化
-
+
動き 検出
変換 量子化
逆量子化
逆変換
画面内 予測
空間方向の冗長度削減
画像の復元画像を複数の ブロックに分割
フィルタ 処理
時間方向の冗長度削減
010 0 011
①
②
② ③
① 高解像な動画の効率圧縮のため、より大きなブロックサイズの導入 ② 画面内・画面間予測でさらに高精細な予測方法の実現 ③ 復号画像を原画により近づけるフィルタ処理の導入
- 7 -49
HEVCの主な技術:①大きなブロックサイズ
最大ブロックサイズ:16x16 最大ブロックサイズ:64x64
HEVCH.264
50
ドコモにおけるHEVCの商用利用
51
©創通・サンライズ
機動戦士ガンダム
©Magica Quartet/Aniplex ・ Madoka Partners ・ MBS
©ANOHARA PROJECT
魔法少女 まどか☆マギカ
あの日見た花の名前を 僕たちはまだ知らない。
iPhone6/6plus
14冬-15春モデル 9機種
SC-04F SH-04F F-05FSO-04F SO-03F F-06F SH-06F SO-05F
SO-02G SC-01G SC-02GSO-01G F-02G SH-02G F-03GSH-01G SC-03G
dアニメストア HEVC対応作品例
14夏モデル 8機種
dアニメストア HEVCコンテンツ対応端末
iPhone FaceTime(TV電話)でHEVC対応
FaceTime
あきらめないことが大事。 MPEG回想録
52
H.266 !to be continued?