1. H.264 / AVC 기초지식
1. H.264 와 AVC
1) H.264란 ?
- 국제표준화 기구인 국제전기통신연합-전기통신표준(ITU-T)에서는 각 기술마다 정해진 A~Z까지 한 개의 알파벳 문자와 마침표 뒤에 따라오는 1~4자리의 숫자를 조합하여 사용하는데 그 중 H는 오디오 비주얼 멀티미디어 시스템 분야를 가리킨다. 그리고 200번 대는 시스템을 구성하는 요소 260번 대는 그 가운데 동영상 부호화를 가리킨다.
- H.26X 발전 과정
|
ITU-T 권고명 |
제정된 연도 |
제목 |
특징 및 기능 |
압축률 |
|
H.261 |
1990년 |
ISDN에 대응한 멀티미디어 통신용 동영상 압축부호화 국제표준 (오디오 비주얼 통신) |
순행주사방식을 채택 |
1/20 ~ |
|
H.262 |
1995년 |
MPEG-2비디오와 다르지만 실제로는 같은 범용 (저장, 통신, 방송 미디어용) |
순행주사방식에 격행주사방식도 수용 |
1/12 ~ 1/50 |
|
H.263 |
1996년 |
공중 아날로그 전화망 등에서의 저속도 영상전화/영상회의를 위한 동영상 압축부호화 표준 |
H.261 개량본으로 약2배 압축효율을 실현 |
1/12 ~ 1/100 |
|
H.264 |
2003년 |
MPEG-4와 명칭은 다르나 실제로는 같은 기술사양의 범용 고능률 동영상 압축부호화 표준 |
최신의 부호화 기술을 집대성 H.263보다 2배 압축효율을 실현 |
1/20 ~ 1/100 |
2) AVC란?
- AVC의 정식명칭은 MPEG-4 Part10(MPEG-4 VM10)
- 동영상 부호화 전문가그룹(MPEG)
- MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC 가 있다.
|
ISO/IEC JTC1 의 표준명 |
제정된 연도 |
제목 |
특징 및 기능 |
압축률 |
|
MPEG-1 |
1993년 |
저장 미디어용 동영상 압축 부호화 |
저장 미디어인 비디오 CD등에 적용 |
1/25 비디오 경우 |
|
MPEG-2 |
1995년 |
범용 동영상 압축부호화 (저장, 통신, 방송 미디어용) |
표준TV 화질을 실현 순행주사방식에 추가해서 격행주사 방식도 수용 |
1/12 ~ 1/50 |
|
MPEG-4 |
1998년 |
멀티미디어 방송의 범용 동영상 압축부호화 (오디오, 비주얼) |
낮은 전송속도에서 객체단위의 동영상 압축부호화를 실현 격행주사와 휴대전화 멀티미디어 압축에 적용 |
1/20 ~ 1/200 |
|
MPEG-4 AVC |
2003년 |
범용 고능률 동영상 압축부호화 |
최신 부호화 기술을 집대성 H.263에 비해 2배 압축 효율 |
1/20 ~ 1/100 |
2. 압축 기술의 필요성
1) 전화 음성의 경우
- 전화 음성을 디지털로 표현하면 64Kbps의 정보를 가지는데 ADSL과 같은 광대역 통신회선의 등장에 따라 64Kbps 보다 빠른 최대 45Mbps 최소 1Mbps까지 가능하기 때문에 음성을 압축할 필요성이 없다.
- 휴대전화 경우에는 ADSL에 비해 한계가 있는 무선을 사용하기 때문에 음성을 압축하여 송수신 하는 경우가 필수적이다.
- 음성을 1/5 ~1/15 정도로 압축하는 기술을 사용하고 있음
2) 동영상의 경우
- 표준화질 TV는 124Mbps HDTV는 746Mbps 정보속도를 갖는다.
- 네트워크가 광대역화 되었다고 해도 광섬유를 사용하고 있는 인터넷 통신회선 속도가 100Mbps 이기 때문에 HDTV에서의 압축은 아직도 필요하다.
3) 저장매체의 경우
- DVD-R 4.7G 바이트의 경우 비 압축 상태에서는 표준화질 5분 고선명TV는 50초 정도 기록
3. 아날로그 신호를 디지털 신호로 변화하는 구조
1) 샘플링
- 아날로그 정보로부터 일정한 시간간격으로 샘플을 추출
2) 양자화
- 샘플링된 정보를 정해진 정수 레벨로 표현
3) 부호화
- 양자화된 신호를 디지털값으로 변환
4. 손실 압축과 비 손실 압축
1) 비 손실 압축 (가역 압축)
- 압축된 정보로 압축하기 전의 정보를 완전히 복원할 수 있는 처리
2) 손실 압축 (비 가역 압축)
- 거의 복원할 수 있지만 어느 정도의 오차를 포함하는 처리
- 인간의 귀나 눈에 보이지 않을 정도의 오차를 허용하면서 정보를 큰 폭으로 압축함
5. 디지털 과 아날로그 특징
1) 빛의 세가지 성분(R,G,B)
- 일반적으로 자연영상은 아날로그 영상이고 디지털 카메라로 찍으면 카메라 내부에서 디지털
처리되어 출력은 디지털 신호가 되는 것이다.
- 모든 색은 빛의 3원소로 만들어진다. 따라서 아날로그 신호는 빛의 3원색 성분으로 구성된다.
- 흑백TV경우 밝기를 표현하는 하나의 신호(휘도) 성분으로 구성된다.
2) RGB -> YCbCr 변환
- RGB 신호를 YCbCr 신호로 변환하기 위해서는 다음과 같은 식을 사용한다.
|
Y (휘도신호) = 0.299R + 0.587G + 0.114B Cb(색차신호) = B – Y = -0.169R – 0.331G + 0.500B Cr(색차신호) = R –Y = 0.500R – 0.419G – 0.081B |
- 여기서 휘도신호(Y)는 밝기만 나타내는 성분이다. 인간의 눈은 휘도에 의해 민감하고 해상도가 높아 모든 화소 값이 사용된다.
- 색차신호는 (Cb, Cr)에 대해서는 둔감하고 해상도가 낮기 때문에 색차신호를 휘도신호 Y에 비해절반 정도로 화소수로 낮추어도 그 차이를 인지하지 못한다.
3) 12MHz -> 6MHz
- 주파수 영역에서 보면 휘도신호 Y 는 4MHz 가 필요하며 Cb와 Cr은 1MHz가 필요하다
- 즉 RGB 총 12 MHz 에서 6 MHz 로 줄어드는 것이다.
6. MPEG 시리즈와 H시리즈는 어떻게 다른가
1) 방송분야
- 방송에 관한 국제 표준은 ITU-R 에서 정한다
- TV방송의 디지털화에 관한 표준화 작업은 ITU-R BT.601초판을 1982년 제정
2) 통신분야
- 영상전화와 영상회의를 위해서는 많은 압축부호화가 필요하다
- 그래서 표준화 된 것이 H시리즈
3) 저장분야
- 저장분야에서는 CD-Rom과 압축부호화를 위해 1988년 MPEG이 구성 후 시리즈 출판(1, 2, 4)
4) 범용적인 압축표준
- 처음에는 H 와 MPEG 시리즈등의 압축부호화 표준이 진행되었다.
- 1990년대 특정분야에 관계없이 범용 압축부호화 표준을 지향하고 있다.
- 그 예가 ITU-T와 MPEG이 공동 작업한 [H.262 | MPEG-2] 와 [H.264 | MPEG-4 AVC]이다.
7. H.264 / AVC 는 동영상만 위한 압축인가?
- H.264 /AVC는 영상만을 위한 압축기술이다. 멀티미디어 시스템에서는 동영상뿐만 아니라 음성과 텍스트의 복수적인 정보가 사용된다. 네트워크와 저장매체는 이것들을 다중화해서 하나의 바이트열 단위로 다룬다.
- 멀티미디어 시스템이 올바르게 동작하려면 표준이 필요하다.
- 동영상 압축부호화는 ITU-T H.262 / ISO/IEC 13818-2 (MPEG-2 비디오)
- 음성 압축부호화는 ISO/IEC 13818-7 (AAC : Advanced Audio Coding)
- 다중화는 ITU-T H.222.0 | ISO/IEC 13818-1 (MPEG-2 시스템)
8. 압축기술의 기본적인 요소
1) 예측
- 과거의 화면으로부터 다음에 어떤장면이 올까 하는 것을 가능한 정확하게 예측하는 기술
- 인간의 눈 착시현상을 이용하여 연속적인 장면으로 구성
- A다음 B가 온다면 A화면과 B 화면의 오차만 을 보냄으로 압축을 실행
2) 움직임 보상 프레임간 예측
- 예측을 진행하면서 큰 움직임이 있다면 프레임간의 예측은 맞지 않는다.
- 형태가 변하지 않는 물체가 움직일 때 움직임 방향과 움직임 크기를 알 수 있다면 그 물체의 정보를 이미 알고 있기 때문에 정확한 예측화면을 만들수 있다. 이것이 움직임보상 프레임간 예측이다.
- H.264/AVC에서는 전 프레임만으로 예측할 쁜만 아니라 과거 여러장의 프레임정보를 활용하는 즉 B프레임 움직임보상 프레임간 예측에도 사용한다.
3) 양방향 움직임 보상 프레임간 예측
- 과거와 미래의 양방향에서 현재를 예측하는 기술이다.
- 예를 들면 1 2 3 연속적인 프레임이 있다면 1 3 2 로 설정하면 화면2를 예측할 때 1과 3의양쪽 정보를 사용하여 압축에 기여 할 수 있으나 2를 부호화 한다면 3이 입력되는 것을 기다려야 한다.
- 이는 MPEG-1에서 최초로 사용되었으며 그 후 압축부호화 표준에 추가되었다.
- H.264에서는 쌍예측 과 같은 개념이 있는데 양방향과 다른 것을 주의해야한다.
4) DCT 이산변환
- 정보를 압축하기에 편리하도록 그 의미 내용을 잃지 않으면서 정보의 표현방법을 바꾸는기술이다.
- 하나의 프레임 내에 있는 화소값은 주변 화소값과 비슷하는 성질을 가지기 때문에 이를 이용하여 압축하기 쉽게 하기 위해 DCT를 사용한다.
(1) 영상의 주파수
- 영상에서 공간 주파수 성분이 낮은 그림은 상관관계가 매우 높다. 예를 들면 새하얀 화면인 경우에는 화면 내에 인접한 화소들이 백색이다. 주파수 관점에서 표현하면 화면 변화가 거의 없기 때문에 주파수 성분이 낮다고 한다.
- 반대로 공간 주파수 성분이 높은 그림은 상관관계가 매우 낮다. 예를 들면 바둑판 화면인 경우에는 화면에서 흰색과 검은색이 빈번하게 나타나기 때문에 주파수 관점에서 표현하면 화면 변화가 심하기 때문에 주파수 성분이 높다고 한다.
(2) DCT를 왜 사용하는가
- 일반적으로 인간의 눈의 시각특성은 저주파 성분에 민감하고 고주파 성분에는 둔감하다
- 예를 들어 설명하면 하얀 화면에서는 물체가 나타나면 쉽게 인지하고 바둑판에서는 변화를쉽게 인지 못한다.
- 이는 DCT의 사용이 압축에 용이하다는 것을 알 수 있다.
- DCT 변환으로 얻은 주파수 성분의 값을 거꾸로 변환하면 원영상을 얻을 수 있다.
(3) DC성분과 AC 성분
- DC 성분은 값이 변화하지 않는 성분 즉 주파수가 가장 낮은 상태의 계수이다.
- 이 성분 이외 모든 주파수의 변화가 있는 AC 성분이다.
- 가령 AC 계수 중 고주파 성분을 포함하여 AC계수를 제거하여 정보를 압축 할 수 있다.
- 고주파 성분을 제거해도 화질에는 영향을 많이 미치지 않는다. 따라서 고주파성분을 제거하여 압축을 할 수 있다.
- DCT라는 변환기술은 어디까지나 영상을 압축하기 쉽게 하기 위한 변환기술이고 압축기술 그 자체가 아님을 주의
(4) DCT 원리 예시
- 조기 축구 팀을 생각해보면 스물 11명 이상의 선수들로 구성되고 선수 각각의 이름으로 표현된다. 또한 선수 배번으로도 표현된다. 대부분 조기 축구에서는 선수의 수가 많아도 ACE 선수는 낮은 숫자 배번을 달고 있기 때문에 등 번호가 낮은 선수를 모으면 거의 그 팀의 선발을 나타낼 수 있다. 이처럼 선수의 이름을 등 번호로 변화함으로써 간결하게 팀을 이룬다.
5) 가변길이 부호화 방식의 특징
- 예측과 변환처리한 결과는 몇 개의 값을 나타내는 숫자로 표현된다.
- 이들 가운데 자주 나타나는 데이터가 있는가 하면 드물게 나타나는 값도 있다. 이때 출현 빈도가 높은 값에 짧은 부호를 할당 하고 출현빈도가 낮은 값에 높은 빈도를 나타내어 수행하면 평균적인 부호길이보다 짧게 나타내어 압축효과를 가진다.
- 주변의 예로 모스부호가 있다. E문자가 가장 많이 나오기 때문에 E에는 단음 1개로 표현하고 자주 안 나오는 Z는 장음2개 단음 2개 로 표현한다.
9. H.264 /AVC 장점
- 압축률이 높다 MPEG-2나 MPEG-4에 비해 압축률이 2배 향상되었다.
- 반대로 생각하면 H.264 / AVC의 표준화 작업의 목표는 기존 압축부호화 기술에 매우 우수한 압축률을 달성하는 것이다.
- 단점은 연산이 간단하지 않는다는 것이다. 그러나 시간이 지나면서 CPU 와 DSP 디지털 신호처리 전용으로 개발된 프로세서의 처리능력이 무어의 법칙(LSI의 직접도는 18개월에 2배가 된다.) 에 따라 향상되기 때문에 문제는 머지 않은 장래에 해소될 것이다.
- 이뿐만 아니라 발전하면서 추가된 기능이 있다.
- MPEG-1 와 MPEG-2 에서는 순행주사 뿐만 아니라 격행주사 영상을 다룰 수 있도록 하는 것이 가장 큰 변화였다.
- MPEG-2 와 MPEG-4 에서는 한장의 화면전체를 각각 압축부호화 하지 않고 화면을 구성하는 개개의 자동차 사람 같이 객체단위로 압축 부호화 할 수 있는 기능을 지원하는 것이 큰 변화
10. 주변 디지털 기기의 압축기술
|
용도 |
| |
|
방송 |
H.262 | MPEG-2, H.264/AVC | |
|
통신(인터넷) |
오디오 비주얼 통신 |
H.262 | MPEG-2, H.264/AVC |
|
스트리밍 |
MPEG-1, H.262 | MPEG-2, H.263, MPEG-4 | |
|
컴퓨터 |
JPEG, MPEG-1, H.262 | MPEG-2 , MPEG-4 | |
|
CD-ROM, DVD |
MPEG-1, MPEG-2, H.264/AVC | |
|
디지털 카메라 |
JPEG, MPEG-1, MPEG-4 | |
|
휴대전화 |
JPEG, H.263, MPEG-4, H.264/AVC | |
11. H.264 / AVC 규격의 원서와 이미지
- ITU-T 권고
http://www.itu.int/rec/recommendation.asp?type=series&lang=e&parent=TREC
- ISO/IEC 국제 표준
http://www.iso.org/ios/en/CatalogueListPage.CatalogueList
- ITU 에서는 한사람이 1년에 3건까지 무료 내려받기 할 수 있는 편의를 제공하고 있다. 사용 방법은
http://www.itu.int/publications/bookshop/how-to-buy.html