my mpeg life: mpeg-2, mpeg-4, h264/avc and h.265/hevc

53
NTTυίϞɹߦһɺΠϊϕʔγϣϯ౷෦ ӫ౻ɹʢͱɹΈͷΔʣ …MPEG2,MPEG4,H.264/AVCH.265/HEVC…. 1 MPEGճ Shall ΛٻΊɻɻɻ ઓ૪ քͷӳ

Upload: ntt-docomo

Post on 21-Dec-2014

804 views

Category:

Technology


3 download

DESCRIPTION

(in Japanese), I was invited to a honorable speech hosted by Skyperfect TV. In that speech I'm recalling my life in MPEG. The topics cover mainly MPEG-4 and H.264.

TRANSCRIPT

Page 1: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

NTTドコモ 執行役員、イノベーション統括部長!

栄藤 稔(えとう みのる)

…MPEG2,MPEG4,H.264/AVCそしてH.265/HEVC….

1

MPEG回想録

Shall を求めて。。。

知財戦争

世界の英知

Page 2: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

簡単な自己紹介

2

Page 3: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

情報メディアの伝送速度と圧縮後の伝送速度

16kbps

1 5.5

1.4Mbps

100 kbps

10 kbps

100 Mbps

1Gbps

伝送速度

電話 音楽 (CD)

256kbps

ビデオ (VHS品質)

30Mbps

1.5Mbps

現行テレビ (受信品質)

100Mbps

4Mbps

   HDTV (ハイビジョン・スタジオ品質)

圧縮率

30Mbps

情報メディア

電話

音楽

ビデオ

現行テレビ

ハイビジョン・テレビ

1 4

1 20

1 25

1 40

圧縮後の 伝送速度

原信号の 伝送速度

♪CD

60kbps

3

Page 4: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

放送の多チャネル化

4

放送衛星

BS

(Broadcasting Satellite)

27MHz

(1チャンネル分の 伝送帯域)

従来の1チャンネル

アナログ

情報圧縮後

ディジタル

従来の1チャンネル分で6チャンネル分のテレビ画像が伝送可能

例 30Mbps/チャネル

MPEG2

多チャネル化

①5Mbps/チャネル

②5Mbps/チャネル

③5Mbps/チャネル

④5Mbps/チャネル

⑤5Mbps/チャネル

⑥5Mbps/チャネル

[例]

総合チャネル だけ

総合チャネル

ニュース・ チャネル

スポーツ・ チャネル

教育チャネル

映画チャネル

その他

Page 5: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

10k 100k 1M 10M

176x144 (テレビ電話)

320x240 (PCストリーミング)

720x480/VGA (通常TV映像)

1920x1080 (HD映像)

3840x2160 (4K UHDTV)

MPE

G-2 (1

994)

H.261

MPEG-1

(199

2)H.

263

MPE

G-4(1

999)

H.264/A

VC (2

003)

100M

ISDNテレビ電話

デジタルSD放送 / DVD (6M~8M)

デジタルHD放送 / HD-DVD (20M~28M)

Blu-ray DVD

ワンセグ

H.265/H

EVC

(2013

)5

Page 6: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

ISO/IEC JT1の組織図とMPEGの位置づけ!!!

International Organization for Standardization

!!

International Electrotechnical

Commission

IEC国際標準化機構

ISO国際電気標準会議

!!!

ISO/IEC Joint Technical Committee

ISO/IEC 合同技術委員会 1ISO/IEC JTC1

SC1

SC2

SC29

WG1(JPEG, JBIG)

WG11(MPEG)

WG12(MHEG)

SC :Sub Committee, 専門部会 WG :Working Group, 作業部会 JPEG :Joint Photographic Coding Experts Group MHEG :Multimedia and Hypermedia Information Coding Experts Group MPEG :Moving Picture Experts Group マルチメディア

符号化

6

Page 7: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

画像符号化規格の変遷• ISO/IEC 標準規格 と ITU-T 勧告

ISO/IEC

ITU-T

MPEG-1 MPEG-2MPEG-4

Part2

H.261 H.262 H.263 H.26L

Storage Media ~1.5Mbps

Generic ~80Mbps

Generic AV 10k~40Mbps

ISDN TV phone p×64kbps

B-ISDN Comm. ~80Mbps

PSTN TV Phone ~28.8kbps

Common Text

1990 1992 1994 1996 1998 2000 2002 2004

Technically Aligned

MPEG-4 Part10

H.264

2003年3月作業完了

7

Page 8: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

トピック

• 動画像符号化標準化の歴史!❖ MPEG1:CD-ROMに動画像!❖ MPEG2:デジタルTV放送の実現!❖ MPEG4:オブジェクト表現への挑戦!❖ H.264/AVC: ITUチームの勝利!❖ H.265/HEVC:実はドコモが仕掛けた標準!

• 標準化裏話

8

Page 9: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

すべてはH.261 (1998.11)から始まった

9

Page 10: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

2001年 MPEG-4 Video

10

Page 11: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

2001年末 i-motion

11

Page 12: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

MPEG-4 Simple Profile 画像サイズ:352x288 フレームレート:15fps ビットレート:96 Kbps

12

Page 13: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

❏ ❏メディアの性質を利用 ➤ 2値画像: 白黒画素が連続しやすい ランレングス符号化 ➤静止画:   近くの画素は似ている DCT ➤動画像: 現画面は前画面に似ている 動き補償予測

❏ ❏人間の視聴覚特性を利用 ➤画像: 色信号の劣化には鈍感 色はサブサンプル ➤音声: 大音と同時にある小音は聞こえにくい マスキング

❏ ❏符号の発生確率の偏りを利用 ➤符号発生確率に差がある 可変長符号化

まずは画像符号化(圧縮)のおさらい

13

Page 14: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

❏ ❏可逆圧縮: 完全に元通りに伸張できる ➤コンピュータデータ等完全保存が必要なもの ➤圧縮率は低い ➤医用画像では重要。

❏ ❏非可逆圧縮: 完全に元通りに伸張できない ➤画像圧縮等多少の劣化を許容できるもの ➤人の眼をごまかせる情報は落とす。 ➤圧縮率は高い

可逆圧縮と非可逆圧縮

14

Page 15: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

画像圧縮とは

15

視覚特性を考慮した上で、画像等の持つ  空間的、時間的、統計的冗長性 を除く事によってデータ量を減らすこと

この辺は一様なので冗長度が高く圧縮しやすい

この辺は入り組んでいるので冗長度が 低く圧縮しにくい

画像

Page 16: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

❏ ❏空間的冗長性の利用 ➤ DCT/量子化

❏ ❏時間的冗長性の利用 ➤ 動き補償予測

❏ ❏統計的冗長性の利用 ➤ 可変長符号

画像圧縮の原理 -冗長性からの分類-

16

Page 17: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

❏ メディアの性質: 自然画では隣り合う画素は似ている ❏ 視覚の性質: 人間は細かな絵柄は見えにくい

❏ 画像を空間周波数成分に分解 ➤ 信号が低周波成分に集中する

❏ 低周波成分のみ伝送 ➤ 少しのデータで伝送可能

空間冗長性の利用

17

Page 18: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

空間周波数

フラット

自然画

幾何学模様

x

輝 度

x

輝 度

x

輝 度

空間周波数

18

f(x)

u

スペクトル

u

u

F(u)

スペクトル

スペクトル

Page 19: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

DCTの図形的理解(直交射影) 

19

1次元DCTの各成分

2次元DCTの各成分

Page 20: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

DCT特有の視覚劣化(Artifact)

20

ブロックノイズ

モスキートノイズ

Page 21: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

差分のみ伝送

❏ 動画像では前後の画面はよく似ている ➤ 前画面との差分のみを送ればよい

時間的冗長性の利用

21

Page 22: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

動画像の情報源モデル→動画像は平行移動するブロックから構成される !

動きの方向/大きさから、次の画面は予測できる       

ベクトル ベクトル

動き補償

22

Page 23: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

前フレーム 現フレーム

動きベクトル

差分

動き補償された フレーム

差分とベクトル のみを伝送

動き補償フレーム予測

23

Page 24: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

転送レート 64Kbps~2Mbps ~1.5Mbps ~15Mbps(現行TV) ~80Mbps(HDTV)

代表的画像サイズ 360×288×30 (ノンインターレース)

360×288×30 (ノンインターレース)

基本アルゴリズム動き補償予測

+DCT動き補償予測

+DCT

フレーム構造フレーム内符号化

+フレーム間符号化フレーム内符号化

+フレーム間符号化 +両方向予測符号化

フレーム内符号化 の周期

不定期 (最低132frame中 1frame)

定期 (GOP単位)

その他

標準化時期 1990年12月 勧告 1992年11月標準化

主な用途 ISDN網用テレビ電話・会議

CD、DAT

H.261 MPEG1 MPEG2

720×480×30(インターレース) HDTV

動き補償予測 +DCT

フレーム内符号化 +フレーム間符号化 +両方向予測符号化

定期 (GOP単位)

・ノンインターレース/インターレース 適応 符号化

・スケーラビリティ拡張

1994年11月 標準化

汎用 (DVD, 放送など)

H.261とMPEG1、MPEG2

24

Page 25: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

I B B P B B P

I : Intra (フレーム内符号化) P : Prediction (前方向フレーム予測符号化) B : Bi Prediction (両方向フレーム予測符号化)

MPEG

H.261 I P P P P P P

フレーム予測構造

25

Page 26: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

MPEG-4標準化でやったこと❖ 1992年から1996年頃にかけて、超低ビットレート符号化(VLBR

Coding)の研究がブームとなり、多くが挑戦。しかし、モバイルだから超低ビットレート/誤り耐性という特徴を求めたことは失敗。!

❖ 私の標準化チームもオブジェクト符号化を提案した。これは画像を階層的に表現するものでMPEG-4の主特徴となったが商用化は失敗。!

❖ DCT係数予測、動きベクトルの精緻化、算術符号化の導入などをやってMPEG1/2より30%改善程度。

26

Page 27: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

スプライト符号化

27

Page 28: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

スプライト符号化

28

Page 29: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

採用されたオブジェクト符号化技術

29

Page 30: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

ISO標準化で思うこと

✴ それまで「大学の研究が一番進んでいて、企業は応用開発を考えるところだ」と思っていた青い考えが木っ端みじんに粉砕。

✴ 標準化=世界の英知を集めた競争/共同開発。 ✴ 交渉、発表は 全て個人ベース。会社の肩書きなんて役立たず。 ✴ 腹芸、論破、ロビー活動、交渉、法的記述で個人能力は成長。 ✴ インナーサークル(内輪) は存在し、入るための場外活動が重要。 ✴ 英語が話せないということは論外。

30

Page 31: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

学会レベルとは何かを考えさせられた話

トップレベル DCT+動き補償符号化、枯れた技術を提案

2番手レベル Wavelet, 可変領域動き補償、 フラクタル

論文に良く出ている方式を提案

3番手レベル DCT+動き補償符号化、枯れた技術を提案

MPEG4の主観評価実験の結果は 以下の3グループに分けられる。

トップレベルと2番手レベルの 違いは何か? バックデータの違い。 トップレベルは全ての技術を 追試し、そのアセスメントを 終えている。 それが企業の技術、実力!

31

Page 32: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

MPEG−4の標準化を終わって、もうこれ以上の効率改善はないと思った。

32

Page 33: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

2001年 ITU-Tグループが地道に先行

FDIS: 最終標準規格案

1997 1998 1999 2000 2001 2002 2003

ITU-T (VCEG)

ISO/IEC (MPEG)

H.26L 提案募集

H.26L 第1草案

MPEG-4 Part 2 Ver. 1 FDIS

MPEG-4 Part 2 Ver. 2 FDIS

新規 提案評価

`98/01 `99/10

`98/10 `99/11 `01/07

`01/12 `03/03

JVT

最終標準規格案

H 2 6 4 / A V C共同作業班発足

33

Page 34: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

H.264/AVCの技術的特徴

動き 補償

フレーム メモリ

エントロピー 符号化-

動き 検出

ブロック 歪除去 フィルタ

変換 量子化

逆量子化

逆変換

フレーム 内予測

空間方向の冗長度削減

時間方向の冗長度削減

画像の復元

エラー 耐性 ツール

画像を複数の ブロックに分割

MPEG-4から変更した機能

MPEG-4を拡張した機能

MPEG-4になかった機能

34

Page 35: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

H.264 Baseline Profile 画像サイズ:352x288 フレームレート:15fps ビットレート:96 Kbps

MPEG-4 Simple Profile 画像サイズ:352x288 フレームレート:15fps ビットレート:96 Kbps

35

Page 36: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

Akiyo QCIF 15Hz

Y-P

SN

R [d

B]

282930313233343536373839404142

Bit-rate [kbit/s]

0 7.4 14.9 22.3 29.7 37.1 44.6 52

H.263-BaseMPEG-4 SPH.264/AVC BP

H.264/AVC Baseline Profileの客観的性能

Codec MPEG-4 SP H.263 Baseline

H.264/AVC Baseline 29.37% 40.59%

MPEG-4 SP - 15.69%

By courtesy of Heinrich Hertz Institute Berlin, Germany

36

Page 37: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

H.264/AVC と MPEG-4 パート2との比較要素技術 MPEG-4 (Simple) H.264/AVC (Baseline)

フレーム内予測 変換係数の予測 画素値の予測

動き補償の単位 16x16画素のブロックと 8x8画素のブロックの2種類

16x16画素のブロック~4x4 画素のブロックの7種類

動き補償の精度 ½ 画素精度まで ¼画素精度まで

参照画像の枚数 1枚 5枚

動きベクトルの個数 1または4個 1, 2, 4または16個

変換方法 8x8画素単位の離散コサイン 変換(DCT)

4x4画素単位の整数変換

エントロピー符号化 ハフマン符号化 適応ハフマン符号化*

ループフィルタ なし あり

エラー耐性ツール 組込み型 組込み型

冗長度削減 時間方向

冗長度削減 空間方向

* H.264/AVC main プロファイルには算術符号化が含まれる

37

Page 38: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

H.264/AVC映像符号化標準規格のHigh Profileへの貢献に対して、米国のエミー賞(Primetime Emmy Engineering Awards)を団体で受賞。ITUとISO/IECのビデオ・エキスパート・グループの共同検討チーム (通称JVT、ドコモを含む全9団体)が受賞。 !Emmy賞とは:米国テレビ芸術科学アカデミー(The Academy of Television Arts & Sciences)の主催で、アメリカのテレビドラマを始めとする番組のほか、テレビに関連する様々な業績に与えられる賞である。過去1996 年に ISO/IEC SC29(代表、安田浩 元東大教授、現東京電機大学)JPEG、 MPEG-1、MPEG-2の国際標準化活動の功績に対して、第50回米国エミー賞(技術開発部門)を受賞 Technology and Engineering

Emmy Award

エミー賞(団体)の受賞(2008)

38

Page 39: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

エミー賞技術部門 授賞式出席模様(2008.8.23 18:00-22:00)

受賞会場:Renaissance Hollywood Hotel and Spa,

SONY ThomsonHHI

Microsoft

Motorola

Docomo

Dolby

出席者:技術部門賞の関係者200人ほど

39

Page 40: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

受賞後の記念撮影

40

Page 41: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

知財について❖ MPEG-2の規格特許は一本数億円の価値だとか? 秘密。!

❖ 多くの私企業ではR&Dの仕事は知財の確保。!

❖ どちらが大事? 1. N社は寄書提出前に書く。2. S社とP社は特許を会合中に書く。!

❖ 会合終了時に標準ドラフトの不備を指摘する。自ら技術提案はしない。待っていれば、自分が書いた特許にぶつかる寄書を誰か出す。自分が提案しなくても特許は増える。

41

Page 42: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

H.264でもう仕事はやり遂げたと思った。もう符号化効率向上はもう無いだろう。

42

Page 43: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

と思ったら。同僚が。。。

43

Page 44: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

H.264の2倍の効率:H.265/HEVC

2003 2013

ドコモ端末にて 提供される動画サービス

(2001)

(2006) (2012)

(2009)

HEVCによる  モバイル動画の  高精細・高品質化

10年

3GPP  Rel.12  (予定)

2014/61998

H.265 HEVC

44

Page 45: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

HEVC標準化とドコモの関わり■ ドコモは「動画トラヒック急増によるモバイル網の逼迫」を見越し、H.264の性能を超える方式の必要性を提起。  ■ 全世界の英知を集め最高性能の方式構築を目指し、ITU-T/ISO共同標準化作業の立ち上げに貢献。  – ドコモ主催の標準化会合で、ITU-Tから正式にISOとの共同作業提案を表明。8か月後に共同作業班JCT-VC*1が設立。  – JCT-VCの下でHEVC標準化が開始し、HEVC要求仕様はドコモ提案(圧縮率/複雑度要求等)に基づく。  

■ ドコモが開発した方式に基づく共同提案は、HEVC提案募集に対する最優秀方式の1つ(27提案中)と評価。  ■ 各社提案の技術採否審議の主要メンバーや、HEVC規格参照ソフトウェア(HM)の主査を担う。  ■ 圧縮性能、機能性、演算量低減、プロファイル提案等の幅広いドコモ提案が採用。

*1  Joint  Collaborative  Team  on  Video  Coding  

HEVC標準化活動(JCT-VC)

規格完成

構想・要求条件議論

共同提案

プロファイル決定  (ドコモ案ベース)

技術提案(圧縮性能、機能性、演算量低減 等)   ドコモの動画圧縮方式開発

技術採否審議・参照ソフトウェア(HM)主査

次期圧縮方式 必要性提起

20122011 2013201020092006-2008

構想検討

構想/要求 仕様を提案

標準化会合  主催

テスト  動画提供

最優秀方式  の1つと評価

HEVC標準化

プロファイル  提案

モバイル  実時間再生  実証

ドコモの関わり

4K実時間再生(PC)

要求仕様(初版)  (ドコモ案ベース)

ITU-TからISO  に共同作業提案

検証必須  動画に採用

JCT-VC設立  要求仕様・  提案募集  発行

Page 46: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

46

Page 47: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

47

Page 48: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

HEVCの主な技術

48

画面間 予測

フレーム  メモリ

 エントロピー  符号化

動き 検出

変換 量子化

逆量子化

逆変換

画面内 予測

空間方向の冗長度削減

画像の復元画像を複数の  ブロックに分割

フィルタ 処理

時間方向の冗長度削減

010 0 011

② ③

① 高解像な動画の効率圧縮のため、より大きなブロックサイズの導入  ② 画面内・画面間予測でさらに高精細な予測方法の実現  ③ 復号画像を原画により近づけるフィルタ処理の導入

Page 49: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

- 7 -49

Page 50: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

HEVCの主な技術:①大きなブロックサイズ

最大ブロックサイズ:16x16 最大ブロックサイズ:64x64  

HEVCH.264

50

Page 51: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

ドコモにおけるHEVCの商用利用

51

©創通・サンライズ    

機動戦士ガンダム

©Magica  Quartet/Aniplex ・ Madoka    Partners  ・ MBS  

©ANOHARA  PROJECT    

魔法少女  まどか☆マギカ

あの日見た花の名前を  僕たちはまだ知らない。

iPhone6/6plus

14冬-15春モデル 9機種  

SC-04F SH-04F F-05FSO-04F SO-03F F-06F SH-06F SO-05F

SO-02G SC-01G SC-02GSO-01G F-02G SH-02G F-03GSH-01G SC-03G

dアニメストア    HEVC対応作品例

14夏モデル     8機種

dアニメストア    HEVCコンテンツ対応端末

iPhone  FaceTime(TV電話)でHEVC対応

FaceTime

Page 52: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

あきらめないことが大事。 MPEG回想録

52

Page 53: My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC

H.266 !to be continued?