MPEG-2 Video Codingmmlab.uos.ac.kr/MultimediaEng/archive/MPEG-2 Video Coding... · 2005. 4. 23. ·...
Transcript of MPEG-2 Video Codingmmlab.uos.ac.kr/MultimediaEng/archive/MPEG-2 Video Coding... · 2005. 4. 23. ·...
2005-04-24 1
Visual Communications Lab.
MPEG-2 Video Coding
Jung Kyu Chul
VisualCommunication Lab.
Department of Electrical &
Computer Engineering.
University of Seoul
2005-04-24 2
Contents
• What is MPEG.– What is MPEG.
– MPEG standard.
– MPEG-1 & MPEG-2.
• Background Information.– Progressive & Interlaced.
– Scanning.
– Frame & Field.
– Chrominance format.
• Image Compression.– Why we should compress image?
– Image Compression.
2005-04-24 3
What is MPEG.
2005-04-24 4
What is MPEG. (1)
• MPEG은 "Moving Pictures Experts Group"의 약어로국제 표준화 원회(ISO)와 국제 전기 학회(IEC)가 공동으로 추진한 비디오 및 오디오에 관한 국제 표준의압축 부호화 규격입니다. MPEG-1은 영화를 CD-ROM에 기록하는 것을 주목적으로 개발되었으며352*240 화소 (NTSC의 경우)의 화상을 1.5Mbps 이하의 비트 레이트로 압축하며, 1.5Mbps 중 비디오가1.152Mbps, 오디오가 나머지 부분(128~334kbps)을점유합니다. 비디오 CD로 상품화되었지만 압축률이너무 높아 재생화질이 VHS 수준에 못미치고 재생 시간도 짧아서 VTR을 대체하지는 못하고 게임이나 PC용 영상 재생기 등의 용도로 사용되고 있습니다. 이러한 단점을 극복하고자 탄생한 것이 바로 MPEG-2입니다.
2005-04-24 5
What is MPEG. (2)
• MPEG-2는 MPEG-1과는 다르게 통신, 방송, 그리고정보 축적 등 다양한 분야에서 응용이 가능하도록 연구되었습니다. 아울러 표준 TV 뿐만이 아니라 HDTV에서도 대응할 수 있도록 표준화가 진행되었으며 초기에는 720*480 화소의 영상 신호를 15Mbps 이하로압축하여 방송 통신에 활용하는 것이 당면 과제였지만 넓은 범위로 응용성을 확대하는 쪽으로 연구 목적이 변경되면서 당초 HDTV 수준으로의 디지털 압축을검토하던 MPEG-3 분야를 흡수하게 되었습니다.따라서 MPEG-2는 넓은 적용 영역과 고품질의 영상을 제공한다는 점 때문에 방송, 통신, 컴퓨터, 가전 등많은 분야에서 응용되고 있습니다.
2005-04-24 6
What is MPEG. (3)
2005-04-24 7
MPEG standard (1)
2005-04-24 8
MPEG standard (2)
• MPEG-시스템부(MPEG-Systems)
– 부호화된 소리와 동영상을 함께 묶어서 부호화하는 표준안을 개발한다.
• MPEG-비디오부(MPEG-Video)
– 동영상의 부호화 기술에 대한 표준안을 개발한다.
• MPEG-오디오부(MPEG-Audio)
– 소리 정보를 표현하기 위한 부호화 표준 방법들을 개발한다.
2005-04-24 9
MPEG-1 & MPEG-2
항목 MPEG-1 MPEG-2
영상포맷
색차포맷
순차주사(Progressive Scan) 4:2:0
순차주사(Progressive Scan), 비월주사(Interlaced Scan) 4:2:0, 4:2:2, 4:4:4
영상품질
1.5Mbps 4Mbps : TV 화질 10Mbps : 스튜디오 TV화질 30Mbps : HDTV 방송품질 70Mbps : HDTV의 스튜디오 품질
부호화 비트율의 유연성
CBR (Constant Bit Rate), VBR (Variable Bit Rate) 지원
CBR (Constant Bit Rate), VBR (Variable Bit Rate) 지원
부호화 . 복호지연 프레임구조 프레임구조, 필드구조
랜덤 액세스 채널 호핑
GOP구조 GOP 구조를 잘 활용함으로써 랜덤억세스와 채널호핑에 필요한 시간을 줄일 수 있다
비트열 스케일러빌리티
Spatial Scalability Temporal Scalability SNR Scalability
2005-04-24 10
Background Information.
2005-04-24 11
Progressive & Interlaced
• Progressive Scan : 순차적으로 주사.
• Interlaced Scan : 한 line씩 건너서 주사.
2005-04-24 12
Scanning
• 한장의 화면은 수많은 점들로 이루어져 있으며 이러한 하나의 점을 화소(Picture Element)또는 픽셀(Pixel)이라고 한다.
• 모든 화소들을 전기 신호로 변환, 케이블을 통해서 전송해야 하며 이때 그림의 화소들을 순차적으로 훑어 나가면서 전기적인 영상신호를만들어 내는 일련의 작업을 주사(Scanning)라고 한다.
2005-04-24 13
Frame & Field (1)
• A frame contains lines of spatial information of a video signal. For progressive video, these lines contain samples starting from one time instant and continuing through successive lines to the bottom of the frame. For interlaced video, a frame consists of two fields, a top field and a bottom field. One of these fields will commence one field period later than the other.
• MPEG-2에서는 원 영상이 interlaced scan일 경우에는 프레임을 부호화의 단위로 하는 프레임 구조와 필드를 부호화의 단위로 하는 필드 구조 두가지를 지원한다.
2005-04-24 14
Frame & Field (2)
2005-04-24 15
Chrominance format
• MPEG에서 사용하는 Y : Cb : Cr계의 일반적인 모양은 화소를 휘도 Y, 색차 Cb, Cr이라는세개의 8비트 정보로 표현하는 것이다.
2005-04-24 16
Image Compression.
2005-04-24 17
Why we should compress images?
• The data rate of digital images is too high to transmit them through communication channels or to store them in digital storage media.EX)
SDTV scene
one frame : 720 x 480 x 8 bits x 3 colors = 8.29 Mbits
sequence : 8.29 Mbits x 30 frames/sec = 248.83Mbps
HDTV scene
one frame : 1920 x 1080 x 8 bits x 3 colors = 49.77 Mbits
sequence : 49.97 Mbits x 60 frames/sec = 2.99Gbps
2005-04-24 18
Image Compression
• The objective of Image compression is that represent an image with as few bits as possible while preserving the level of quality required for the given application.
• Image compression remove redundancies that present at the image content.
2005-04-24 19
Contents
• MPEG compression of video.– MPEG compression of video.
– Temporal redundancy.
– I, P, B Picture.
– I, P, B Order.
– Motion estimation & compensation.
– Motion estimation.
– Motion compensation – P picture.
– Motion compensation – B picture.
– Spatial redundancy.
– DCT(Discrete Cosine Transform).
– Quantization.
– VLC(Variable length coding).
– Quantized coefficient scan.
2005-04-24 20
MPEG compression of video.
2005-04-24 21
MPEG compression of video
2005-04-24 22
Temporal redundancy (1)
2005-04-24 23
Temporal redundancy (2)
2005-04-24 24
I, P ,B Picture (1)
• I picture(Intra)
– 그 화면 자신의 정보만을 이용하여 부호화.
• P picture(prediction)
– 과거의 I picture 또는 P picture 로부터 예측을 수행하여 생기는 화면.
• B picture(bidirection)
– 과거와 미래의 I picture 또는 P picture 로부터 쌍방향 예측에 의해 생기는 화면.
2005-04-24 25
I, P ,B Picture (2)
2005-04-24 26
I, P, B Order
• At the encoder input.
– 1 2 3 4 5 6 7 8 9 10 11 12 13
– I B B P B B P B B I B B P
• At the encoder output, in the coded bitstream, and at the decoder input.
– 1 4 2 3 7 5 6 10 8 9 13 11 12
– I P B B P B B I B B P B B
• At the decoder output.
– 1 2 3 4 5 6 7 8 9 10 11 12 13
– I B B P B B P B B I B B P
2005-04-24 27
Motion estimation & compensation
• Motion estimation
– The process of estimating motion vectors during the encoding process.
• Motion compensation
– The use of motion vectors to improve the efficiency of the prediction.
• Motion vector
– A two-dimensional vector used for motion compensation that provides an offset from the coordinate position in the current picture or field to the coordinates in a reference frame or reference field.
2005-04-24 28
Motion estimation
2005-04-24 29
Motion compensation – P picture
2005-04-24 30
Motion compensation – B picture
2005-04-24 31
Spatial redundancy
DCT Quantization VLC
• 블록(8 X 8)단위로 DCT.
• 변환계수의 양자화.
• variable length coding via zig-zagscanning.
2005-04-24 32
DCT( Discrete Cosine Transform )
• From spatial domain to frequency domain.
2005-04-24 33
DCT( Discrete Cosine Transform )
• 영상 데이터는 변화가 적으므로 낮은 주파수, 특히 0 주파수(DC)성분이 큰 값을 가지게 되고 높은 주파수성분(AC)은 상대적으로 낮은 값을 갖게 되므로, 대부분의 정보가 낮은 주파수 쪽으로 몰리게 되므로 양자화 과정을 적절히 거치면 높은 압축비율로 우수한 화질을 얻을 수 있다.
2005-04-24 34
Quantization
• DCT로 구해진 계수들을 어떤 값으로 나누어서 작은 값의 수로 표현함으로써 부호량을 줄이는 방법이다.
• 영상 데이터의 손실이 있더라도 사람의 눈에서 이를 시각적으로 감지하기 힘들게 된다면어느 정도의 데이터에 손실을 가하여 압축율을 높이게 되는 것이다.
2005-04-24 35
VLC( Variable length coding )
• 예를 들어 일반 영상의 휘도 신호를 보면 커다란 편중을 볼 수는 없으나, DCT 변환후의 계수에는 그 발생 확률에 눈에 띄는 편중이 발생한다.
• 발생확률이 높은 값에 길이가 짧은 부호를 할당하고 발생확률이 낮은 값에 길이가 긴 부호를 할당하도록 부호기와 복호기 사이에 새로운 부호체계(가변장 부호화, VLC)를 적용하면평균부호길이를 줄일 수 있다.
2005-04-24 36
Quantized coefficient scan
2005-04-24 37
Content
• Scalability.– Spatial Scalability.
– SNR Scalability.
– Temporal Scalability.
• Profile & Level.
2005-04-24 38
Scalability.
2005-04-24 39
Scalability
• 어떤 bitstream이 scalable하다는 것은 인코딩된 결과가 여러 개의 layer로 되어 있고 그중 몇 개의 layer를 이용해서 디코딩하느냐에따라서 화상의 화질을 다르게 할 수 있는 방법이다.
• 일반적으로 연속된 두개의 layer가 있을 때 아래쪽의 layer를 lower layer, 위쪽의 layer를enhancement layer라 한다. 또한 가장 아래쪽에 있는 layer를 base layer라 한다.
2005-04-24 40
Spatial Scalability (1)
• 기본계층(Base Layer)
– 공간해상도가 낮은 계층.
• 고위계층(Enhancement Layer)
– 공간해상도가 높은 계층.
– 기본계층의 영상을 업샘플링해서 고위계층과 같은 크기의 영상을 만들어 예측에 사용.
• 통상의 TV방송과 HDTV방송을 동시에 보내어수신단말(디코더)의 성능에 따라 영상을 선택할 수 있다.
2005-04-24 41
Spatial Scalability (2)
예측기본계층간의 예측기본계층간의
예측고위계층간의 예측고위계층간의
예측 예측 예측
업샘플 업샘플 업샘플
고위계층정보
기본계층의확대영상정보
기본계층정보
2005-04-24 42
SNR Scalability
• 고정밀도 영상에 대해 양자화를 행할 때 양자화값의 정밀도에 따라 화소값에 노이즈가 발생한다. 이때 원신호/노이즈를 SNR이라고 한다. 따라서 SNR이 큰 값일수록 고화질이되어, SNR이 작고 화질이 낮은 계층을 기본 계층, SNR이 크고 화질이 높은 계층을 고위 계층이라고 한다.
• 4:2:0의 영상과 4:2:2의 영상을 동시방송(Simulcast)으로 보낼 수 있다.
2005-04-24 43
Temporal Scalability (1)
• 기본계층
– 시간해상도가 낮은 계층
• 고위계층
– 시간해상도가 높은 계층
– 고위 계층중의 I, P, B픽처를 사용할 뿐 아니라 기본계층의 영상을 써서 예측.
• 30Hz 순차주사영상과 60Hz 순차주사영상을동시에 보낼 수 있다.
2005-04-24 44
Temporal Scalability (2)
고위계층
시간해상도가 높다예:1/60초 주기
시간의 흐름
기본계층
시간해상도가 낮다예:1/30초 주기
예측정보고위계층간
예측정보고위계층에의
예측정보고위계층간
2005-04-24 45
Profile & Level.
2005-04-24 46
Profile & Level (1)
• MPEG-2는 대단히 광범위한 응용에 대응할수 있지만 하드웨어의 관점에서 바라본다면지원해야 할 사항이 너무 많아 모든 것을 실현하기는 대단히 어렵다.
• 예를 들어 A사의 부호기가 4:2:2를 부호화 할수 있다 해도 B사의 복호기가 4:2:0만을 복호할 수 있다면 A사의 부호기에 의해 생성된 영상 데이터의 실용성은 낮아지게 된다.
• 이와 같은 일을 피하기 위해, MPEG-2에서는프로파일과 레벨이라고 하는 개념을 도입하여MPEG-2 복호기의 특성을 나누고 있다.
2005-04-24 47
Profile & Level (2)
• Profile
– 기능의 분류(신택스의 차이)를 규정.
– 5 Profiles
• Level
– 최대 영상의 크기와 최대 bit-rate 등의 제한치를 규정.
– 4 Levels
2005-04-24 48
Profile & Level (3)
2005-04-24 49