멀티미디어 데이터 압축 & 복원 : 영상 코딩 기법 (2)
DESCRIPTION
멀티미디어 데이터 압축 & 복원 : 영상 코딩 기법 (2). Lecture #8. 강의 내용. 하이브리드 코딩 기법 영상 코딩 기법 개요 이진 영상 코딩 기법 ITU-T G3/G4 JBIG / JBIG2 정지 영상 코딩 기법 JPEG / JPEG-2000 통신용 동영상 코딩 기법 H.261 / H.263 고품질 동영상 코딩 기법 MPEG. H.261 (1). H.261 ITU 가 디지털 비디오에 대한 압축 및 복원 표준으로 재정 - PowerPoint PPT PresentationTRANSCRIPT
1
멀티미디어 데이터멀티미디어 데이터압축 압축 & & 복원복원 ::
영상 코딩 기법영상 코딩 기법 (2)(2)
Lecture #8Lecture #8
2
강의 내용강의 내용
하이브리드 코딩 기법 영상 코딩 기법 개요 이진 영상 코딩 기법
ITU-T G3/G4 JBIG / JBIG2
정지 영상 코딩 기법 JPEG / JPEG-2000
통신용 동영상 코딩 기법 H.261 / H.263
고품질 동영상 코딩 기법 MPEG
3
H.261 (1)H.261 (1)
H.261 ITU 가 디지털 비디오에 대한 압축 및 복원 표준으로 재정 전화망이나 ISDN 상에서 비디오 전화기와 화상회의 시스템
운용을 위한 표준으로 적용 “ p x 64” (p = 1,…, 30) 기법
PSTN 의 기본 대역폭 : 64 Kbps p = 1 or 2 : 대역폭이 낮은 비디오 전화 등에 응용 p >= 6 : 화상 회의 등에서 응용
4
H.261 (2)H.261 (2)
H.261 ( 계속 )
지원하는 영상 포맷 QCIF(Quarter CIF) - required CIF(Common Intermediate Format) - optional TV 방송 표준의 차이점에 따른 문제 해결을 위해 제시 YUV 칼라시스템 , 비월 주사 방식 & 30 fbs(frames per secon
d) 주사선과 픽셀 수 비교 : pp 182, 표 4.6
데스크탑 비디오 회의 응용의 요구 대역폭 & 압축률 QCIF, p =2 인 경우 pp. 182 예
5
H.261 (3)H.261 (3)
H.261 비디오 구조 픽쳐 (Picture) : 비디오의 한 프레임 GOB(Group Of Block)
Picture 는 GOB 로 구성 크기 : CIF/12 or QCIF/3
마이크로 블록 (Microblock) GOB 는 33 개의 마이크로 블록으로 구성 하나의 마이크로 블록은 6 개의 8 x 8 블록으로 4 Y + Cb + Cr
블록 (Block) 8 x 8 픽셀로 구성된 DCT 변환 최소 단위
6
H.261 (4)H.261 (4)
H.261 비디오 구조
7
H.261 (4)H.261 (4)
H.261 압축 과정 프레임내 (Intraframe) 및 프레임간 (Interframe) 압축
기법을 동시에 사용 프레임내 압축
DCT 압축 기법 사용 MPEG 의 I- 프레임 코딩에 해당
프레임간 압축 DPCM 과 움직임 예상의 의한 움직임 보상 (motion comp
ensation) 기법 사용 MPEG 의 P- 프레임 코딩에 해당
8
Intraframe coding & Interframe Coding
9
Intraframe coding
10
Interframe Coding
11
H.261 (5)H.261 (5)
H.261 압축 과정 - 특징 양자화 테이블 대신에 양자화 인수를 사용 양자화 인수는 버퍼에 있는 데이터 양에 의해 결정 개별적인 프레임 내용과 비디오 장면의 내용에 따라 화질이
달라진다 양방향 실시간 전송을 위해서는 압축 지연이 150ms 이내
이어야 한다
12
H.263 (1)H.263 (1)
H.263 압축기법 H.261 압축기법을 확장한 표준 특징
64Kbps 이하의 저 대역폭을 대상 DPCM 과 DCT 변환 기법을 결합하여 사용 PB 프레임 개념을 사용 – P 프레임과 B 프레임이 한 단위로
코딩된 것 산술 코딩 기반의 엔트로피 코딩을 적용 H.261 기법 보다는 2.5:1 정도로 성능이 우수
최근 사양이 보완된 H.263+ 표준 지원
13
H.263 (2)H.263 (2)
H.263 압축기법 지원되는 Video Formats :
Videoformat
LuminanceImage
Resolution
ChrominanceImage
Resolution
H.261support
H.263support
Bit-rate (Mbit/s)(if uncompressed, 30 fps) Max bits allowed
per picture(BPPmax, Kb)
B / W Color
SQCIF 128 x 96 64 x 48 n/a Required 3.0 4.4 64
QCIF 176 x 144 88 x 72 Required Required 6.1 9.1 64
CIF 352 x 288 176 x 144 Optional Optional 24.3 36.5 256
4CIF 704 x 576 352 x 288 n/a Optional 97.3 146.0 512
16CIF 1408 x 1152 704 x 576 n/a Optional 389.3 583.9 1024
14
MPEG (1)MPEG (1)
MPEG 표준 개요 Moving Picture Coding Experts Group
비디오 압축 , 오디오 압축 그리고 비디오와 오디오간의 동기화에 관한 표준
MPEG 표준 구성 : 시스템 코딩 표준 비디오 코딩 표준 오디오 코딩 표준
MPEG 표준의 특징 랜덤 접근 (Random Access) 기능 제공 VCR 기능 지원 : FF, FR 기능 등 Reverse Playback 기능 지원 오디오 / 비디오 동기화 짧은 압축 / 복원 지연 프레임 단위 편집 기능 경제성
15
MPEG (2)MPEG (2) MPEG 표준 개요 ( 계속 )
MPEG-1 : CD-ROM 저장매체에서의 비디오와 오디오에 대한 압축과
복원에 대한 표준 1 ~ 1.5 Mbps 대역폭 지원
MPEG-2 : 디지털 TV(HDTV) 에 대한 표준 2 ~ 80 Mbps 대역폭 지원
MPEG-4 : 멀티미디어 응용에 대한 표준과 시청각 정보를 객체 단위로
부호화 목표 대화형 멀티미디어 시스템 , 화상 회의 , 비디오 전화 등의 저
대역폭을 요구하는 응용에서 비디오와 오디오 압축에 관한 표준 9 ~ 40Kbps
MPEG-7 : 정보검색을 위한 내용 표현을 목표
16
MPEG-1 MPEG-1 압축 알고리즘압축 알고리즘
시간적 중복성 제거 연속된 일련의 프레임 사이의 중복성 제거 움직임 추정 (Motion Estimation) 움직임 보상 (Motion Compensation)
공간적 중복성 제거 부호화 중복성 , 화소간 중복성 : VLC, RLC 인지시각적 중복성 : DCT 및 양자화
17
시간적 중복성 제거 시간적 중복성 제거 (1)(1)
Group of Pictures I (Intra)
임의로 선정된 frame (random access) 낮은 ( 시간적 ) 중복성
P (Predicted) 이전의 I 또는 P frame 을 기준으로 예측된 영상 중간 정도의 압축률
B (Interpolated) 두 개의 I 또는 P frame 으로 부터 양방향 예측된 영상 가장 높은 압축률
크기 비교 : I-frame >= P-frame >= B-frame
18
I, P, B Picture 부호화
19
시간적 중복성 제거 시간적 중복성 제거 (2)(2)
움직임 추정 (Motion Estimation) Macro Block 단위의 움직임 벡터 추정
1616 sub-image 임의의 부영상 ( 예 : 3232 영역 ) 에서의 블록 매칭
Cost Function
20
시간적 중복성 제거 시간적 중복성 제거 (3)(3)
21
시간적 중복성 제거 시간적 중복성 제거 (4)(4)
움직임 보상 (Motion Compensation) - P
22
시간적 중복성 제거 시간적 중복성 제거 (5)(5)
움직임 보상 (Motion Compensation) - B
23
공간적 중복성 제거 공간적 중복성 제거 (1)(1)
적용 대상 모든 I frames B, P frame 의 차분치
압축 단계 블록 (88) 단위로 DCT 변환계수의 양자화 RLE 부호화 (run-length encoding) via Zig-zag scanning
24
공간적 중복성 제거 공간적 중복성 제거 (2)(2)
Zig-Zag Scanning
25
MPEG-1 MPEG-1 비디오 계층 비디오 계층 SyntaxSyntax
MPEG-1 비디오 계층 Syntax pp 198, 그림 4.31, 그림 4.32 Sequence Layer : 하나의 MPEG-1 file ( 여러 개의 GOP la
yers) GOP Layer : a set of I, B, P’s Picture Layer : one of I, B, P frame is a set of Slices Slice Layer : a Slice is a set of MB’s MB Layer : 1 MB = 4 Blocks Block Layer : 88 화소단위 부영상 집합
26
27
28
MPEG-1 MPEG-1 비디오 압축비디오 압축 // 복원복원
압축 / 복원 순서 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, … I, B, B, P, B, B, P, B, B, I, B, B, P, B, …
MPEG-1 Encoder 의 입력 1, 2, 3, 4, 5, 6, 7, 8, 9/ 10, 11, 12, 13, 14
MPEG-1 Encoder 의 출력 1, 4, 2, 3, 7, 5, 6/10, 8, 9, 13, 11, 12, …
MPEG-1 Decoder 의 입력 1, 4, 2, 3, 7, 5, 6/10, 8, 9, 13, 11, 12, …
MPEG-1 Decoder 의 출력 1, 2, 3, 4, 5, 6, 7, 8, 9/ 10, 11, 12, 13, 14, …
29
MPEG-1 CODEC (1)MPEG-1 CODEC (1)
MPEG-1 시스템 코딩 MPEG-1 인코딩 시스템
pp 189, 그림 4.26 비디오와 오디오간의 동기화 목적으로 시스템 클럭을 사용
MPEG-1 디코딩 시스템 pp 196, 그림 4.29
30
MPEG-1 CODEC (2)MPEG-1 CODEC (2)
31
MPEG-2 (1)MPEG-2 (1)
MPEG-2 등장 배경 H.261
ISDN 을 이용한 화상전화 및 화상회의 64 ~ 1920Kbps 전송률 지원
MPEG-1 CD 등 디지털 저장매체에 1.5Mbps 전송률 동영상 및 오디오를 압축하여 다중화하는 표준
MPEG-2 5~10Mbps 정도에서 현행 TV 품질을 구현 현재 HDTV 표준을 위한 MPEG-3 를 흡수 (20Mbps 이상 )
32
MPEG-2 (2)MPEG-2 (2)
33
MPEG-2 (3)MPEG-2 (3)
34
MPEG-2 (4)MPEG-2 (4)
35
MPEG-2 (5)MPEG-2 (5)
36
MPEG-2 EncoderMPEG-2 Encoder
프레임 /필드 구조에 있어서I,P,B 픽처의 매크로블록 타입
양자화특성 지정정보
양자화 변환계수
37
MPEG-2 DecoderMPEG-2 Decoder
프레임 /필드 구조에 있어서I,P,B 픽처의 매크로블록 타입
양자화특성 지정정보
양자화 변환계수
38
MPEG-1 MPEG-1 과의 차이점 과의 차이점 (1)(1)항목 MPEG-1 MPEG-2
영상포맷
색차포맷
순차주사(Progressive Scan) 4:2:0
순차주사(Progressive Scan), 비월주사(Interlaced Scan) 4:2:0, 4:2:2, 4:4:4
영상품질 1.5Mbps
4Mbps : TV 화질 10Mbps : 스튜디오 TV 화질 30Mbps : HDTV 방송품질 70Mbps : HDTV 의 스튜디오 품질
부호화 비트율의 유연성
CBR (Constant Bit Rate), VBR (Variable Bit Rate) 지원
CBR (Constant Bit Rate), VBR (Variable Bit Rate) 지원
부호화 . 복호지연 프레임구조 프레임구조, 필드구조
랜덤 액세스 채널 호핑
GOP 구조 GOP 구조를 잘 활용함으로써 랜덤억세스와 채널호핑에 필요한 시간을 줄일 수 있다
비트열 스케일러빌리티
Spatial Scalability Temporal Scalability SNR Scalability
39
MPEG-1 MPEG-1 과의 차이점 과의 차이점 (2)(2)
Y, Cb, Cr 포맷
○○ ○○
○○ ○○
○○ ○○
○○ ○○
○○ ○○
○○ ○○
○○ ○○
○○ ○○
××
××
××
××
○○ ○○ ○○ ○○
○○ ○○ ○○ ○○
××
××
××
××
○○ ○○ ○○ ○○×× ××
○○ ○○ ○○ ○○×× ××
○○ ○○
○○ ○○
××
××
××
××
○○ ○○×× ××
○○ ○○×× ××
○○
○○
××
××
○○××
○○××
○○
○○
××
××
○○××
○○××
(a) 4 : 2 : 0 format (b) 4 : 2 : 2 format ( c) 4 : 4 : 4 format(a) 4 : 2 : 0 format (b) 4 : 2 : 2 format ( c) 4 : 4 : 4 format
○ ○ : Luminance (Y): Luminance (Y)× : Chrominance (Cb, Cr)× : Chrominance (Cb, Cr)
40
MPEG-1 MPEG-1 과의 차이점 과의 차이점 (3)(3)
양자화 계수들의 스캔 방식
Zig-Zag Scan and Alternate ScanZig-Zag Scan and Alternate Scan