H.264 | MPEG-4 AVC 画質評価報告書（案）

平成１８年５月２９日

社団法人電波産業会 デジタル放送システム開発部会 ＣＳデジタル放送高度化作業班

参考資料４

目 次

1. 画質評価の目的・・・・・・・・・・・・・・・・・・・・・・・・・・1 2. 放送品質としての要求条件・・・・・・・・・・・・・・・・・・・・・1 3. HDTV 画質評価実験・・・・・・・・・・・・・・・・・・・・・・・・2

3.1 HDTV 符号化条件・・・・・・・・・・・・・・・・・・・・・・・ 2 3.2 HDTV 画質評価条件・・・・・・・・・・・・・・・・・・・・・・ 2 3.3 HDTV 評価結果・・・・・・・・・・・・・・・・・・・・・・・・ 4

4. HDTV 評価結果のまとめ・・・・・・・・・・・・・・・・・・・・・・4 参考 1. 評定者のスクリーニング・・・・・・・・・・・・・・・・・・・・7 参考 2. SDTV 画質評価・・・・・・・・・・・・・・・・・・・・・・・・9 参考 2.1 SDTV 符号化条件・・・・・・・・・・・・・・・・・・・・・ 9 参考 2.2 SDTV 画質評価条件・・・・・・・・・・・・・・・・・・・・ 9 参考 2.3 SDTV 評価結果・・・・・・・・・・・・・・・・・・・・・・10 参考 2.4 SDTV 評価結果のまとめ・・・・・・・・・・・・・・・・・・11

参考文献・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 12

1

1. 画質評価の目的

ARIB デジタル放送開発部会 CS デジタル放送高度化作業班では、狭帯域 CS デジタル放

送において、現在使用している MPEG-2 映像符号化方式に比べて、より低ビットレートで

MPEG-2 と同等の画質が確保できると期待される H.264 | MPEG-4 AVC 符号化方式の導

入を検討するため、本符号化方式のビットレートと画質の関係や所要ビットレートを調査

することを目的として画質評価実験を実施した。

H.264 | MPEG-4 AVC 符号化方式の使用は、実時間処理の放送利用を前提としているこ

とから、画質評価実験で使用する映像符号化・復号化装置としては、リアルタイム CODECを使用することが望ましい。しかしながら、リアルタイム CODEC は商品が市場に出始め

たばかりの段階で、未だ画質改善の途上にあり、H.264 | MPEG-4 AVC 符号化方式の性能

を十分に発揮できるに至っていないことが確認されている。その為、本画質評価において

は、方式としての画質を確認できるように、現状においては非リアルタイム CODEC なが

ら将来のリアルタイム化を前提とした機能を用いたソフトウエア CODEC を用いることと

した。表 1.1 に評価項目を示す。

表 1.1 評価項目 テレビ信号 符号化方式 ビットレート 評価基準画像

HDTV ITU-T H.264 HP @L4

7, 9, 13, 17Mbps ITU-R BT.1210

2. 放送品質としての要求条件 情報通信審議会情報通信技術分科会 CS デジタル放送高度化委員会は、「要求条件」にお

いて画質に関する要求条件を次のように規定している。 (1) デジタル HDTV については、HDTV という特性を考慮し、特に高画質であること。 (2) デジタル SDTV においても、できるだけ高画質を保つこと。 (3) 情報源符号化による画質劣化の時間率ができるだけ小さいこと。

一方、ITU-R は放送の要求画質を Rec. ITU-R BT.1122-1[1]の中で、表 2.1 のように規定し

ている。

表 2.1 放送(emission)のユーザ要求条件（抜粋） Rec. ITU-R BT.710, BT.802, BT.1128, BT.1210 から選んだ少なくとも４つのシーケンス

のうち、75%の画像にて DSCQS1)スケールで品質差 12%以内であること。残りのシーケ

ンスについても 30%以内の品質差であること。 1) Double-Stimulus Continuous Quality-Scale（二重刺激連続品質尺度）

Rec. ITU-R BT.500-11[3]で定める主観評価法。 デジタル符号化の画像品質は、シーケンスに大きく依存することが指摘されている。こ

のため、ITU-R はテスト画像の選択について、Rec. ITU-R BT.500-11 で表 2.2 のように規

定している。

2

表 2.2 テスト画像の選択 2)

平均的な画像による 総合的な性能

一般的に「クリティカルであるが必要以上にクリティカル

ではないもの」

2) 通常の放送番組に現われる画像から選ぶ。例えば、使用するシーケンスの半分は明ら

かにクリティカルな（圧縮の難しい）画像、残り半分は適度にクリティカルな画像と

する。 今回の画質評価実験においても、BS デジタル放送の技術的条件策定時と同様に、前記の

ITU-R が定める放送画質への要求条件を適用することとした。

3 HDTV 画質評価実験 3.1 HDTV 符号化条件 符号化実験の条件を表 3.1 に示す。本画質評価では、H.264 | MPEG-4 AVC に準拠した

映像符号化装置・復号装置として、ソフトウエア CODEC を使用した。

HDTV 評価画像の生成は、図 3.1 に示す系統で行った。テスト画像の再生、収録、編集

には HD-D5 VTR を使用した。

表 3.1 HDTV 符号化実験条件 映像素材 HDTV コンポーネント信号

（Rec. ITU-R BT.709-5 1920×1080 / 59.94i） 映像コーデック 株式会社 KDDI 研究所 非リアルタイムソフトウエア CODEC

符号化方式 H.264 | MPEG-4 AVC HP@L4 GOP 長：15 フレーム（アダプティブ） ピクチャ構造：IBP 可変、Frame ピクチャ プリフィルタ使用せず

ビットレート 7, 9, 13, 17Mbps

図 3.1 HDTV 評価画像生成の手順

3.2 HDTV 画質評価条件

画質評価実験の条件を表 3.2 に示す。画質評価法には二重刺激連続品質尺度(DSCQS)法を用い、ITU-R 勧告に沿って基準画像と符号化画像を一対として、それぞれ 2 回ずつ提示

する。Rec. ITU-R BT.500-11 では、評価テストは非専門家（日常業務として TV 映像の画

質に関わる業務に従事しておらず、評価実験の経験の無い者）15 名以上で行うことと規定

非圧縮 HDD レコーダ 符号化サーバ 非圧縮

HDD レコーダ復号化サーバ

非圧縮 HDD レコーダ

VCR(D5) 録画

デジタル(HD-SDI) データ接続(Ethernet)

3

している。視距離は Rec. ITU-R BT.710-4[1]で 3H（H:画面高）と規定されている。使用し

たテスト画像を表 3.3 に示す。テスト画像の選定にあたっては、予備実験として事前に複数

の候補画像を符号化して観視し、表 2.2 の選択基準や BS デジタル放送の技術的条件策定時

の画質評価実験との共通性を考慮した。

表 3.2 HDTV 画質評価実験条件 評価法 二重刺激連続品質尺度（DSCQS）法（Rec. ITU-R BT.500-11） 観視条件 Rec. ITU-R BT.500-11, BT.710-4

ディスプレイ スタジオ用 32 型 CRT（SONY BVM-D32E1） 視距離 3H（H: 画面高）Rec. ITU-R BT.710-4[1]

テスト画像 10 種（各 10 秒） 評価項目 ビットレート 4 種類(7Mbps, 9Mbps, 13Mbps, 17Mbps)、原画像

評価セッション 2 セッション（1 セッション当たり 30 回） 各セッションの冒頭 5 回は、他と重複するダミー

基準画像の フォーマット

HDTV コンポーネント信号 （Rec. ITU-R BT.709-5 1920×1080 / 59.94i）

評定者 非専門家 24 名 3)

実施場所 NHK 放送技術研究所 実施月日 2006 年 3 月 9 日

3) 不適当な評定者のスクリーニングを実施。（参考１参照）

表 3.3 HDTV テスト画像

No. Sequence Name Source 1 European Market ITU-R BT.1210-3[5] (1125/60 No.7) 2 Harbor Scene ITU-R BT.1210-3[5] (1125/60 No.12) 3 Whale Show※ ITU-R BT.1210-3[5] (1125/60 No.16) 4 Opening Ceremony※ ITU-R BT.1210-3[5] (1125/60 No.19) 5 Soccer Action※ ITU-R BT.1210-3[5] (1125/60 No.20) 6 Green Leaves※ ITU-R BT.1210-3[5] (1125/60 No.23) 7 Japanese room※ ITU-R BT.1210-3[5] (1125/60 No.25) 8 Crowded Crosswalk ITU-R BT.1210-3[5] (1125/60 No.30) 9 Bronze with credits※ ITU-R BT.1210-3[5] (1125/60 No.43)

10 Chromakey(Sprinkling)※ ITU-R BT.1210-3[5] (1125/60 No.46) ※ BS デジタル放送の技術的条件策定時の画質評価で使用された素材

4

3.3 HDTV 評価結果

得られた DSCQS 値を図 3.1 に示す。

-5

0

5

10

15

20

25

30

Japa

nese

Crossw

alk

Market

Harbor

Socce

r

Openin

gW

hale

Leav

es

Bronze

Sprink

ling

DM

OS

(DSC

QS

%)

Original17Mbps13Mbps9Mbps7Mbps

図 3.1 HDTV 評価結果

4 HDTV 評価結果のまとめ

ITU-R の要求条件への適合性を判断すると、表 4.1 の通りとなる。13Mbps にて概ね

ITU-R 要求条件に適合する画質が得られることが確認された。尚、今後、例えば次の事項

の最適化等により画質改善が図られる可能性はある。 ・ 時間・空間的な符号量配分の最適化（ブロック間、フレーム間） ・ 符号化制御における、客観的なレート歪特性と主観画質のバランス 従って、13Mbps 未満のビットレートについても、将来 ITU-R の要求条件に適合する可

能性はあると考えられる。

表 4.1 ITU-R の要求条件への適合性

ビットレート 評価画像の 3/4 以上で原画から

DSCQS 12%以内の劣化 全ての画像で原画からDSCQS

30%以内の劣化 7Mbps － ◎ 9Mbps － ◎

13Mbps ○ ◎ 17Mbps ◎ ◎

◎ 要求条件に対し余裕をもって適合する ○ 要求条件に対し概ね適合する ― 現状では要求条件に適合しない

5

-5

0

5

10

15

20

25

30Original 17Mbps 13Mbps 9Mbps 7Mbps

DM

OS

(DSC

QS

%)

JapaneseCrosswalkMarketHarborSoccerOpeningWhaleLeavesBronzeSprinkling

付録図１ HDTV 評価結果（ビットレート毎に棒グラフ表示）

-5

0

5

10

15

20

25

30

Japa

nese

Crossw

alk

Market

Harbor

Socce

r

Openin

gW

hale

Leav

es

Bronze

Sprink

ling

DM

OS

(DS

CQ

S %

)

Original17Mbps13Mbps9Mbps7Mbps

付録図２ HDTV 評価結果（素材毎に棒グラフ表示）

6

付録表１ HDTV 評価結果値（付録図２の各数値）

画像名 ビットレート 平均値 標準偏差 95%信頼区間 Japanese Room Original 0.6 2.01 1.44

7Mbps 1.2 4.18 2.99 9Mbps -0.5 0.53 0.38 13Mbps 0.9 4.91 3.51 17Mbps 0.8 6.01 4.30

Crowded Crosswalk Original -1.0 2.36 1.69 7Mbps -1.6 3.24 2.32 9Mbps 5.6 9.98 7.14 13Mbps 1.9 6.40 4.58 17Mbps -1.8 4.98 3.57

European Market Original -1.9 5.95 4.26 7Mbps 7.7 12.68 9.07 9Mbps 10.1 13.92 9.96 13Mbps 4.0 12.36 8.85 17Mbps 5.3 11.28 8.07

Harbor Scene Original -0.8 4.87 3.48 7Mbps 8.9 13.23 9.46 9Mbps 9.4 11.94 8.54 13Mbps 6.4 8.96 6.41 17Mbps 5.2 7.87 5.63

Soccer Action Original -3.1 10.65 7.62 7Mbps 17.1 18.24 13.05 9Mbps 10.2 21.13 15.11 13Mbps 7.1 11.17 7.99 17Mbps 6.1 9.01 6.45

Opening Ceremony Original 0.9 1.91 1.37 7Mbps 12.6 21.04 15.05 9Mbps 7.1 10.46 7.48 13Mbps 13.9 18.72 13.39 17Mbps 7.9 17.93 12.83

Whale Show Original 4.2 6.05 4.33 7Mbps 14.5 14.18 10.14 9Mbps 15.1 19.07 13.64 13Mbps 12.1 18.97 13.57 17Mbps 8.1 13.40 9.59

Green Leaves Original 1.1 4.56 3.26 7Mbps 16.1 18.11 12.96 9Mbps 17.1 18.54 13.26 13Mbps 12.4 10.13 7.25 17Mbps 6.9 9.70 6.94

Bronze with Credits Original 0.0 0.67 0.48 7Mbps 26.8 27.37 19.58 9Mbps 13.8 20.47 14.64 13Mbps 7.6 16.72 11.96 17Mbps 4.3 7.44 5.32

Chromakey (Sprinkling) Original -0.4 2.41 1.73 7Mbps 16.7 21.72 15.54 9Mbps 23.3 26.34 18.85 13Mbps 13.6 17.73 12.69 17Mbps 15.4 27.73 19.83

7

参考1. 評定者のスクリーニング 主観評価では、基準画像（原画像）と評価画像がペアで提示され、評定者がそれぞれを

評価する手順となるが（順不同）、基準画像よりも評価画像の方を良く評価しているケース

（参考図 1.1 において DOS(Differential Opinion Score)が負値）など、評価が安定してい

ないイレギュラーな評定も含まれる。このような事例が生じる理由は、全体的に画質差が

比較的小さかったこと、評定者が何に着目すべきか判断できず当て推量の評価に陥ること

などが理由と考えられる。

そこで、以下の手順でスクリーニングを実施した。

-20

0

20

40

60

80

100

DO

S (D

SC

QS

%)

Original 7Mbps 9Mbps 13Mbps 17Mbps

参考図 1.1 評定者毎の評価結果（各折線が評定者に対応、横軸：テスト画像）

（負値：基準画像よりも良い、正値：基準画像よりも悪い） (1)誤った評価がなされたと考えられる評定者の排除

それぞれの評定者の評価結果（全 50 回）において、 a) 基準画像に比べて評価画像の評点が 10%以上良かった評価回数 Na b) 評価画像が原画像の場合に、10%以上の差を付けた評価回数 Nb

とし、Na+Nb > 10（20%超）の評定者を排除する。これにより、24 名中 6 名が排除さ

れた。（排除された評定者の評価結果の一例を参考図 1.2 に示す）

-30

-20

-10

0

10

20

30

40

DM

OS(D

SC

QS %

)

Original 7Mbps 9Mbps 13Mbps 17Mbps

参考図 1.2 排除された評定者の評価結果の一例

8

(2)評定者全体の傾向から乖離する評定者の排除

前記(1)のスクリーニングを通過した 18 名の評価結果について評価画像毎の平均値を

求め、各評定者の評価結果と平均値との相関を求め、相関が 0.3 未満の評定者を排除す

る。これにより 18 名中 8 名が排除された。（スクリーニング前後の相関を参考図 1.3 参

考図 1.4 にそれぞれ示す）。尚、通常は 0.7 を超える相関が示される。）

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

Subjects

Cor

rela

tion

参考図 1.3 評定者毎の評価結果と全体平均との相関（スクリーニング前）

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

1 2 3 4 5 6 7 8 9 10

Subjects

Cor

rela

tion

参考図 1.4 評定者毎の評価結果と全体平均との相関（スクリーニング後）

9

参考2. SDTV 画質評価 情報通信審議会情報通信技術分科会 CS デジタル放送高度化委員会は、SDTV の画質に関

する要求条件を、「デジタル SDTV においても、できるだけ高画質を保つこと」と設定して

いる。そこで、H.264 | MPEG-4 AVC 符号化方式による SDTV の符号化について、ビット

レートと画質の関係を調査することを目的として、次の通り画質評価実験を実施した。 参考2.1 SDTV 符号化条件

符号化条件を参考表 2.1 に示す。

参考表 2.1 SDTV 符号化実験条件 映像素材 SDTV コンポーネント信号

（Rec. ITU-R BT.601 720×480 / 59.94i, 4:3） 一部は HDTV からのダウンコンバート画像

映像コーデック 株式会社 KDDI 研究所 非リアルタイムソフトウエア CODEC 符号化方式 ITU-T H.264 HP @L3

GOP 長：15 フレーム ピクチャ構造：IBP 可変、Frame ピクチャ プリフィルタ使用せず

ビットレート 2, 3, 4, 6Mbps SDTV 評価画像の生成は、参考図 2.1 に示す系統で行った。テスト画像の再生、収録、

編集には D5 VTR を使用した。

参考図 2.1 SDTV 評価画像生成の手順

参考2.2 SDTV 画質評価条件 使用したテスト画像を参考表 2.2 に示す。テスト画像の選定にあたっては、HDTV 画質

評価と同様、予備実験として事前に複数の候補画像を符号化して観視し、表 2.2 の選択基準

や BS デジタル放送の技術的条件策定時の画質評価実験との共通性を考慮した。

参考表 2.2 テスト画像 No. Sequence Name Source 1 Flower Garden※ ITU-R BT.1210[5] (SDTV No.15) 2 Mobile & Calendar※ ITU-R BT.1210[5] (SDTV No.30) 3 Football※ ITU-R BT.1210[5] (SDTV No.38)

非圧縮 HDD レコーダ 符号化サーバ 非圧縮

HDD レコーダ復号化サーバ

非圧縮 HDD レコーダ

VCR(D5) 録画

デジタル(HD-SDI) データ接続(Ethernet)

10

4 Cheerleaders※ ITU-R BT.1210[5] (SDTV No.39) 5 European Market ITU-R BT.1210[5] (1125/60 No.7) 6 Crowded Crosswalk ITU-R BT.1210[5] (1125/60 No.30) 7 Bronze with credits※ ITU-R BT.1210[5] (1125/60 No.43) 8 Chromakey(Sprinkling)※ ITU-R BT.1210[5] (1125/60 No.46)

※ BS デジタル放送の技術的条件策定時の画質評価で使用された素材 主観評価実験の条件を参考表 2.3 に示す。画質評価実験は、二重刺激劣化尺度法を簡略化

して専門家により行った。テスト画像の提示は、基準画像と評価画像を一対として提示す

るのではなく、参考表 2.2 の 8 つの映像をビットレート毎にまとめて提示した。

参考表 2.3 SDTV 主観評価実験条件 評価法 二重刺激劣化尺度法(DSIS)、5 段階劣化尺度

観視条件 Rec. ITU-R BT.500-11, BT.1129-2 ディスプレイ スタジオ用 24 型 CRT(SONY BVM-D24E1WJ)

16:9 スクリーンに 4:3 映像を表示 (サイドパネル付加、19 型相当)

視距離 6H（H: 画面高）Rec. ITU-R BT.1129-2 [4]

テスト画像 8 種（各 10 秒、参考表 2.2 参照） 基準画像のフォーマット SDTV コンポーネント信号

（Rec. ITU-R BT.601 720×480 / 59.94i, 4:3） 評定者 専門家 4) 18 名

実施場所 JSAT 株式会社 横浜衛星管制センター テレポート 実施月日 2006 年 5 月 17 日

4) 電波産業会 CS デジタル放送高度化作業班委員

参考表 2.4 5 段階劣化尺度 評点 評価語

5 劣化がわからない 4 劣化がわかるが気にならない 3 劣化が気になるが邪魔にならない 2 劣化が邪魔になる 1 劣化が非常に邪魔になる

参考2.3 SDTV 評価結果 評価結果を参考図 2.2 および参考表 2.5 に示す。

11

1.0

2.0

3.0

4.0

5.0

Crowd

ed C

ross

walk

Mob

ile & C

alend

ar

Flow

er G

arde

n

Footba

ll

Euro

pean

Mar

ket

Bron

ze w

ith credit

s

Cheerlea

ders

Chrom

akey

(Sprinkling

)

評点

6Mbps

4Mbps

3Mbps

2Mbps

3.5

参考図 2.2 SDTV 主観評価結果

参考表 2.5 SDTV 主観評価結果（画像の順序を変更する）

Sequence Name 2Mbps 3Mbps 4Mbps 6Mbps Crowded Crosswalk 3.8 4.4 4.7 4.8 Mobile & Calendar 3.8 4.2 4.6 4.9 Flower Garden 3.5 4.0 4.6 4.9 Football 3.2 4.1 4.5 4.8 European Market 3.2 3.7 4.2 4.6 Bronze with credits 2.9 3.7 4.1 4.6 Cheerleaders 2.6 3.5 4.0 4.5 Chromakey(Sprinkling) 1.8 3.1 3.5 4.2

参考 2.4 SDTV 評価結果のまとめ 要求条件に掲げられている「できるだけ高画質を保つ」を「画質劣化の許容限（5 段階評

価の評点 3.5）以上の画質が得られること」とみなすと、参考 2.3 の結果から、概ね 4Mbps以上が必要とされることが確認された。尚、一般的に、専門家による評価は非専門家によ

る評価に比べてやや厳しい結果が得られることから、非専門家による評価では、本結果よ

りも所要ビットレートが低くなる可能性がある。また、HDTV と同様に今後の画質改善が

図られる可能性もある。

12

参考文献 [1] Rec. ITU-R BT.1122-1: “User requirements for emission and secondary distribution

systems for SDTV, HDTV and hierarchical coding schemes” (1995). [2] Rec. ITU-R BT.710-4: “Subjective assessment methods for image quality in

high-definition television” (1998) [3] Rec. ITU-R BT.500-11: “Methodology for the subjective assessment of the quality of

television pictures” (2002). [4] Rec. ITU-R BT.1129-2: “Subjective assessment of standard definition digital

television (SDTV) systems” (1998). [5] Rec. ITU-R BT.1210-3: “Test material to be used in subjective assessment” (2004).