H.264イントラ予測符号化を考慮した電子透かしの方法

長谷 勇輝 † ， 伊藤 浩 †

† 日本大学大学院生産工学研究科 〒 275-8575 千葉県習志野市泉町 1-2-1　E-mail: † ciyu09013@g.nihon-u.ac.jp,　 † ito.hiroshi@nihon-u.ac.jp　

あらまし 本研究は、Ｈ．２６４のＩフレームを対象とする電子透かしの新しい埋め込み方法の提案である。イントラ予測符号化が電子透かしに作用して埋め込んだ画素ブロック以外に歪みが伝搬することを確認する。この伝搬はディジタルコンテンツの符号量の増加と画質の劣化に繋がる。提案方式は、イントラ予測符号化時に使用される符号化参照ブロックに重み付けをしていき重みが０のブロックに優先的に情報を埋め込む。実験により、伝搬による符号量の増加と画質の劣化が抑えられることを確認する。キーワード H.264/AVC、電子透かし、イントラ予測モード、歪みの伝搬

Watermarking method consideringintra prediction mode in H264/AVC

Yuki HASE† Hiroshi ITO

†† Graduate school of Engineering, Nihon University, 1-2-1 Izumityo, Narashino-shi, chiba, 275-8575 Japan　

E-mail: † ciyu09013@g.nihon-u.ac.jp,　 † ito.hiroshi@nihon-u.ac.jp　

Abstract In this paper, we propose a new watermarking method for intra-frames of H.264/AVC coded video. Intra-prediction coding makes distortion by watermarking spread into next and following blocks. The spread produces pre-diction error variance increase and image degradation of watermarked digital contents. In the proposed method, codingreference blocks are given 1-point of weight when the block is used. Then, a watermark is preferentially embedded in0-point blocks. By experiments, we show that this method prevents the prediction error variance increase and imagedegradation by the spread from being produced.

Keyword H.264/AVC, Watermarking, Intra prediction mode, Spread of distortion

1 はじめに近年、ディジタルコンテンツがインターネット上で不正にアップロードされることが問題になっている。本研究では、動画像の伝送や蓄積において欠かすことができなくなっている動画圧縮規格H.264/AVC[1]を対象とした電子透かし [2]に着目し、符号量の増加や画質の劣化を軽減する埋め込み方法を提案する。この方法を用いることにより、動画像コンテンツにほとんど影響を与えることなく著作権の保護主張ができるようになるだろう。

2 問題提起2.1 H.264の画面内符号化の手順

H.264/AVCには画面間と画面内の符号化があり、今回は 4× 4画素画面内符号化されたフレームに電子透かしを埋め込む。画面内の符号化方法は、ブロック間

pred DCT q IDCT q1−

pred1−

A’A

emb

det

Fig. 1 Flow of H.264/AVC and Watermarking

の画素相関を利用するイントラ予測符号化、周波数に変換する DCT変換、量子化幅を変えることでビットレートに合わせられる量子化から成り、復号はその逆で構成されている (Fig.1)。

2.2 電子透かしの埋め込み手順と原理

電子透かしは量子化された DCT 係数に埋め込む(Fig.1)。画像の周波数成分に埋め込めば人間の視覚に気付かれ難くなる。埋め込み原理は、電子透かしデータのビット値が 1ならば奇数に、0ならば偶数にDCT係数の量子化値を変更するものである。実験の設定として、埋め込み方法は 4× 4画素ブロック単位で区切り、既に埋め込まれた画素があるブロック内には 2回以上埋め込まないようにし、埋め込むブロックは秘密鍵でランダムに選ぶようにした。

2.3 H.264/AVCへの電子透かしの影響

H.264の電子透かしの影響を示す。イントラ予測符号化は、符号化対象画素と符号化参照画素の差分値つまり予測誤差だけを送る方法である。Fig.2において、1020× 816画素の自然画像 Iの予測誤差信号を画像化してコントラストを調整したのが画像 II である。ブ

画像電子学会研究会予稿 10-05-03

-13-

ロックの予測誤差電力を式 (1)に示す。

σ2 =116

16∑

i=1

d2i (1)

iはブロック内の画素番号、diはイントラ予測符号化によって出力される予測誤差である。この予測誤差電力を評価基準として、Fig.2の自然画像 Iに電子透かしを埋め込んだ影響を計算した。ただし、電子透かしは量子化された DCT係数を必ず+1となるようにした。埋め込み数に対する予測誤差電力を Fig.3に示す。埋め込み数を増やしていくと予測誤差電力の値が増加傾向にあることがわかる。次に、埋め込み時に予測誤差電力の増加が必要以上に増えるパターンを示す。40× 40画素のムラのある白い画像を実験画像として電子透かしを埋め込んだ箇所に焦点を当てた図を Fig.4に示す。上図と下図ともに電子透かしが埋め込まれた別々の箇所をトリミングしたものである。左側と右側の画像は同じ箇所で、左側は電子透かしを埋め込んでいないデコード画像、右側は電子透かしを 1行 1列のブロックに 1bit埋め込んだ画像である。また、画像は電子透かしの影響がわかりやすいようコントラストを調整してある。上図では、左右の画像を比較すると埋め込みブロック以外のブロックで変化が見られない。下図では、左右の画像を比較すると明らかに埋め込みブロック以外のブロックでも変化が見られる。つまり、電子透かしの埋め込みの影響には、埋め込みブロック以外に作用しない場合と作用する場合の 2パターンがあることがわかる。予測誤差電力が必要以上に増加するのは後者のパターンである。

2.4 予測誤差電力と符号量の関係性

予測誤差電力と符号量の関係を式 (2)に示す [3]。

D(R) = 2−2Rσ2 (2)

D(R) は量子化の歪みで R は符号量を表す変数である。ただし、この式は信号がガウス分布して量子化が細かいときの場合である。一般に、量子化幅を一定として D が変わらない場合、予測誤差電力が大きければ符号量が大きく予測誤差電力が小さければ符号量が小さい。

3 提案する埋め込み方法電子透かしが埋め込みブロックの外に作用する原因を示し、この悪影響が発生せず、予測誤差電力の増加を軽減できる埋め込み方法を提案する。

3.1 予測方向と透かしによる歪みの伝搬

H.264/AVCのイントラ予測符号化には Fig.5に示すように 9 通りの予測モードがあり、その中からブ

) prediction error )natural image

Fig. 2 Test image used in experiments and its pre-diction error image

Fig. 3 Prediction error variance for changed DCTcoefficients by embedding

)Case with no spread

)Case where spread occurs

Fig. 4 Distortion spread by digital watermarking

ロック毎に予測誤差電力の値が最も小さくなる最適なモードを選ぶことができる。この 9通りの予測方法の予測方向に注目する。符号化参照ブロック内にある画素の値を変化させた場合、ブロック内は DCT逆変換されるため、参照ブロック全体の値が変わる。2章で説明したように、イントラ予測符号化は符号化対象ブロックと符号化参照ブロックの予測誤差を送る方法である。このため、値が変わった符号化参照ブロックを使ってイントラ予測符号化すると符号化対象ブロック全体の値も変化し、歪みの伝搬が発生する。つまり、符号化参照ブロックに電子透かしを埋め込むとその歪みが伝搬し、符号化対象ブロックにも作用することに

画像電子学会研究会予稿 10-05-03

-14-

なる。この歪みの伝搬が、Fig.4の下図に示した埋め込み箇所以外のブロックに悪影響を及ぼす原因である。

mode0 mode1 mode2 mode3

mode4 mode5 mode6

mode7 mode8

coding pixel(block)

reference pixel(block)

average

Fig. 5 Predictive directions of intra-prediction cod-ing[1]

3.2 伝搬が発生しない埋め込み

伝搬が発生しない埋め込み方法を探るために、各予測モードそれぞれが符号化で使用される符号化参照ブロックが違うところに注目した (Fig.5参照)。たとえば、モード 1 では符号化対象ブロックの左の参照ブロックが符号化する際に使われている。モード 4では符号化対象ブロックの上ブロック、左ブロック、左上ブロックの 3つのブロックが符号化される際に使われている。そこで、このH.264/AVC特有の予測方法に対して、符号化参照ブロックに符号化対象ブロックへ影響を与えるブロック分をポイントとして重みづけをする。モード 1であれば、この左の参照ブロックに 1ポイント (1ブロック 1ポイントとして計算)を与える。モード 4ならば、上、左、左上参照ブロックにそれぞれ 1ポイントずつ計 3ポイント重みをつける。このように各ブロックで使用される予測モードに応じて参照ブロックに重みづけをしていき、そのポイントの累計を求める。

2pt or more

1pt 0ptpredictive direction

(proposed method)

Fig. 6 Weightsand directions

Fig.6は 2.3節でも用いたムラのある白い画像を使って重みポイントを色分けしたものである。矢印は予測方向を表し、矢印の始点の数だけ重みポイントを加算するため、矢印の始点がない白ブロックが 0ポイントとなる。この重みづけをすることによって、重み 0ポイントのブロックす

なわち符号化で使用されないブロックが明らかになる。符号化で使用されないブロックとは符号化時に符号化対象ブロックに影響を与えないブロックのことである。つまり、この符号化で使用されないブロックに電子透かしを埋め込んでも符号化で参照されることがないため他のブロックに作用しないことになる。この重みポイント 0のブロックに優先的に埋め込めば、予測誤差電力の増加と画像の劣化を軽減できると期待できる。

4 実験結果

Fig. 7 Prediction error variance of normal wa-termarking and proposed method(0pt) for changedDCT coefficients by embedding

Fig. 8 PSNR[dB] of normal watermarking and pro-posed method(0pt) for changed DCT coefficients byembedding

emb

)no emb )normal emb )proposed emb

Fig. 9 Effect of digital watermarking

4.1 提案方法の結果

2.3節と同様に、Fig.2の画像 Iを実験画像として、重みポイントを考慮しない方法（以下、従来の方法という）と 3.2節で提案した重みポイントを考慮した埋め込み方法とを比較し、提案した方法の優位性を示

画像電子学会研究会予稿 10-05-03

-15-

す。この実験画像の場合、重み 0ポイントのブロックが 52020ブロック中 1958ブロック（約４％）であった。埋め込み数に対する予測誤差電力を Fig.7に示す。埋め込み数を増やしていくと従来の方法は予測誤差電力の値が増加傾向を示すのに対し、提案した方法は増加も減少もせず予測誤差電力の値が一定になった。この結果は、提案した埋め込みが伝搬を発生しないことを示している。従来の方法と提案した方法を画質の点から数値的に比較する。評価の指標として PSNRを用いる。

PSNR = 10 log10

2552

σ21

[dB] (3)

σ21 は原画とデコード後の画像の平均二乗誤差である。

30dBは画質の実用レベル、40dBはほとんどオリジナル（高画質）レベルと言われている。実験では電子透かしの影響をはっきりさせるために、PSNRが 30dB～40dBとなるように量子化幅を決める量子化パラメータ qPを固定した。埋め込み数に対する PSNR を Fig.8 に示す。埋め

込み数を増やしていくと従来の方法も提案した方法もPSNRの値は減少傾向を示す。従来の方法はバラつきのある下がり方であり、最大で約 0.2dB 近く PSNRの値が減少しているのに対して、提案した方法は安定した下がり方で PSNRの値も約 0.1dB向上した。次に、歪みの伝搬を防ぐことができたことを示す。

2.3節と同様にムラのある白い画像を実験画像、埋め込み数を 8bitとして、電子透かしを埋め込んでいないデコード画像 I、従来の方法で埋め込んだデコード画像 II、提案した方法で埋め込んだデコード画像 IIIをFig.9に示す。画像は電子透かしの影響がわかりやすいようにコントラストを調整してある。埋め込んだブロックの周辺ブロックに注目して、画像 II、IIIを画像Iとそれぞれ比較すると、画像 IIは透かしを埋め込んだブロック以外にも画質に影響を与えていて伝搬が確認できるのに対し、画像 IIIは埋め込んだブロック以外は画質に変化がなく視覚的に伝搬が発生していないことがわかる。

4.2 次点の選ぶべき埋め込みブロック

提案した埋め込みは、埋め込み数が重み 0ポイントのブロックより多いときに不具合が生じる。元々重み0ポイントのブロックは全体のブロックに対して少ない。Fig.2の自然画像 Iの場合では、0ポイントのブロックは全体の 4％程しかない。この解決策として、0ポイントが足りなくなったときに次点である 1ポイントに埋め込む方法を提案する。以下、累計した重みポイントを比較して 1ポイントが次点の選ぶべきポイントであることを示す。

埋め込み数に対する予測誤差電力を Fig.10に示す。1ポイントは 0ポイントを除く他のポイントよりも予測誤差電力が小さいことがわかる。埋め込み数に対する PSNRを Fig.11に示す。1ポイントは 0ポイントを除く他のポイントよりも PSNRの値が高いことがわかる。以上より、0ポイントが足りない場合は 1ポイントに埋め込むことが望ましい。また、他の解決策として、1つのブロックに埋め込める電子透かしを増やす方法もある。

Fig. 10 Prediction error variance for each weightpoint and changed DCT coefficients by embedding

Fig. 11 PSNR[dB] for each weight point andchanged DCT coefficients by embedding

5 おわりに本研究では、数値的にも視覚的にも電子透かし情報

の歪みの伝搬が発生せず予測誤差電力の増加と画質の劣化を軽減できる埋め込み方法を提案した。埋め込み場所によっては予測誤差電力が減少する傾

向が見られる場合があった。今後は、このことを利用することにより、コンテンツに与える悪影響がより少なくなる埋め込み方法を目指す。

参考文献1) 角野眞也他, 改訂版 H.264/AVC教科書, インプレスＲ＆Ｄ, 2006.

2) 小野束, 電子透かしとコンテンツ保護, オーム社,2001.

3) N. S. JAYANT and PETER NOLL, DIGI-TAL CODING OF WAVEFORMS, PRENTICE-HALL, 1984.

画像電子学会研究会予稿 10-05-03

-16-