誤り訂正符号の多面体緩和と近似最尤推定

名古屋工業大学

和田山 正

自己紹介• 符号理論(誤り訂正符号)を中心に情報理論, 通信工学, 機械学習などに興味を持っています。

• 最近(ここ５年ぐらい)、興味のある分野– LDPC符号(誤り訂正符号の一種)– 確率的グラフィカルモデル(ベイジアンネットワーク, マルコフランダム場)

– 連続最適化(凸計画法の確率推論への応用)

誤り訂正符号工学的重要性: 通信・伝送の信頼性向上のため(例)LDPC符号: DVB-S2, 10G-base-T,WiMax, HDD, ...

研究者としての面白さ: 広がり・学際性代数 (線形代数, 群・環・体), 確率(情報理論, 確率推論), 最適化(組み合わせ最適化, 連続最適化),統計力学(スピングラス, MCMC), ランダマイズドアルゴリズム

研究のモチベーション• MAP推定を現実的な計算量で実現したい→厳密には無理(NP困難問題)

• 近似アルゴリズムを考える必要性がある

• 現代のデファクトスタンダード：LDPC符号+ビリーフプロパゲーション

目標：「LDPC符号+ビリーフプロパゲーションの性能を超える符号化・復号法を見出す」

本日の講演内容• 基礎的事項

• 復号問題の線形計画問題としての定式化

• 2元符号に関わる多面体について

• 基本多面体の緩和について

• 復号に関する整数計画問題について

2元線形符号

• F2: 2元有限体• H ∈ Fm×n

2 (m < n, full rank)

C(H)4= {x ∈ Fn

2 : Hx = 0}

• Hはパリティ検査行列と呼ばれる。• C(H)は線形写像Hの核空間となり、次元k = n − mの部分線形空間となる。• x ∈ C(H)を符号語と呼ぶ。符号C(H)は、2k個の符号語を含む。

例: ハミング符号長さ7の完全符号(符号語を中心とする半径1の互いに排反なハミング球で空間が完全に被覆される)。次元はk = 4.

H4=

0 0 0 1 1 1 10 1 1 0 0 1 11 0 1 0 1 0 1

通信路モデル

送信者 受信者符号化器 復号器通信路

メッセージM 符号語X 受信語 Y 推定メッセージ M̂

信頼性の高い通信系の設計問題

• 誤り率Prob[M 6= M̂ ]を可能な限り小さく• 符号化・復号処理は多項式時間アルゴリズム

2元符号=符号化写像の像符号化写像 E : {0, 1}k → {0, 1}n

{0,1}n

{0,1}k X=E(M)

代表的な2元線形符号

• ハミング符号 (符号長7の完全符号)• ゴーレイ符号(符号長23の完全符号)• リードマラー符号• BCH符号(多項式環に基づく巡回符号)• 部分体部分符号• LDPC符号• ポーラー符号

確率モデルとしての通信路モデル符号化器 復号器X Y

PX(x) PY |X(y|x)

事前確率

PX(x) ={

1/2k, x ∈ C(H)0, x /∈ C(H)

ここで、x ∈ {0, 1}n

通信路の確率モデル

PY |X(y|x)

ここで、y ∈ Rn, x ∈ {0, 1}n

事後確率(観測値y∗に基づく)

PX|Y (x|y∗) =PY |X(y∗|x)PX(x)

PY (y∗)

(ベイズ則)

AWGN通信路モデル• X = (X1, . . . , Xn): 送信系列を表す確率変数• Y = (Y1, . . . , Yn): 受信系列を表す確率変数• AWGN通信路モデル:

Yi = b(Xi) + Zi, i = 1, 2, . . . , n,

ここで、Ziは平均0, 分散σ2のガウス分布

PZi(zi) =1√

2πσ2exp

(− z2

i

2σ2

)

に従う確率変数であり、関数b(x)は

b(x) ={

+1, x = 0−1, x = 1

と定義される。• まとめるとAWGN通信路モデルとは、次の条件付密度関数のこと

PY |X(y|x) =n∏

i=1

1√2πσ2

exp(− (yi − b(xi))2

2σ2

)

2元対称通信路(BSC)モデル• X = (X1, . . . , Xn): 2値(0,1)確率変数• Y = (Y1, . . . , Yn): 2値(0,1)確率変数

PY |X(y|x) =n∏

i=1

PYi|Xi(yi|xi)

ここで、

PYi|Xi(y|x) =

{1 − p, y = xp, y 6= x

復号=送信語の推定 (最大事後確率推定)

y∗ ∈ Rnを受信ベクトル(観測ベクトル)とする。最大事後確率推定(MAP推定)値 x̂は

x̂ = arg maxx∈{0,1}n

PX|Y (x|y∗)

と与えられる。

x̂ = arg maxx∈{0,1}n

PX|Y (x|y∗)

= arg maxx∈{0,1}n

PY |X(y∗|x)PX(x)PY (y∗)

= arg maxx∈C(H)

PY |X(y∗|x)

= arg minx∈C(H)

(− logPY |X(y∗|x)

)= arg min

x∈C(H)||y − b(x)||22

AWGN通信路におけるMAP推定則y∗ ∈ Rnを受信ベクトル(観測ベクトル)とする。AWGN通信路におけるMAP推定則は

x̂ = arg minx∈C(H)

||y − b(x)||22

と与えられる。

計算量の壁• ナイーブな評価法では、MAP推定は計算量的に困難

• 2元符号のMAP推定はNP困難問題

• 近似的MAP推定の利用

– BCH符号(巡回符号)+代数的復号法– 畳込み符号+ビタビ復号法– LDPC符号+ ビリーフプロパゲーション

通信路の確率モデル

PY |X(y|x) =n∏

i=1

PYi|Xi(yi|xi)

ここで、y ∈ Rn, x ∈ {0, 1}n

ふたたびMAP則を考える

x̂ = arg maxx∈C(H)

PY |X(y∗|x)

= arg minx∈C(H)

(− logPY |X(y∗|x)

)

= arg minx∈C(H)

n∑i=1

(− logPYi|Xi

(y∗i |xi))

定数∑n

i=1 logPYi|Xi(y∗i |0)を右辺に加えると

x̂ = arg minx∈C(H)

n∑i=1

(− logPYi|Xi

(y∗i |xi))

= arg minx∈C(H)

n∑i=1

(log

PYi|Xi(y∗i |0)

PYi|Xi(y∗i |xi)

)

= arg minx∈C(H)

n∑i=1

(xi log

PYi|Xi(y∗i |0)

PYi|Xi(y∗i |1)

)となる。ここで、対数尤度比γi(i ∈ {1, . . . , n})を

γi = logPYi|Xi

(y∗i |0)PYi|Xi

(y∗i |1)

と定義すると次のMAP則が得られる。

線形計画問題としてのMAP則Feldman et al. :

x̂ = arg minx∈Conv(C(H))

n∑i=1

γixi

Conv(C(H))は符号C(H)の凸包を意味する。

AWGN通信路の場合、γi = 2yi/σ2となる。

線形計画問題としてのMAP則: 補足事項• 制約条件である凸包は線形不等式による表現できる。目的関数は線形の関数→線形計画法

• MAP推定問題(組み合わせ最適化問題)→実数空間Rn上の最適化問題(線形計画問題)

• 線形計画問題に対しては、単体法・内点法などの効率のよい数値解法が知られている

グラフィカルモデル ギブス分布対応関係MAPアサインメント問題最小エネルギー(基底エネルギー解)を見つけたいエネルギー関数 (ハミルトニアン)

符号語の凸包

符号C(H)の符号語を実数空間上の点とみなす。符号語の凸包Conv(C(H))は、それらの点の凸結合となる：

Conv(C(H)) = {s ∈ Rn : s =∑

x∈C(H)

txx,

∑x∈C(H)

tx = 1}

例: 偶重み符号(n = 3)の場合n = 3の偶重み符号: C = {000, 011, 110, 101}

例: 偶重み符号(n = 3)の場合: H表現n = 3の偶重み符号

C = {000, 011, 110, 101}

の凸包は次の線形不等式系で表現される

x+ (1 − y) + (1 − z) ≤ 2y + (1 − x) + (1 − z) ≤ 2z + (1 − x) + (1 − y) ≤ 2

x+ y + z ≤ 2

ハミング符号の凸包n = 7, k = 4のハミング符号(符号語数16個)の凸包はR7の部分集合であり、70本の線形不等式により表現される(面の数 = 70)。

付記：

• 凸包のV表現とH表現は、点数が少ない場合にはcdd, lrs (凸包プログラム)により計算可能。

• 点数が多い場合には、両者の変換は計算量的に自明な問題ではない。

問題点と対策符号長nが大きくなってきたとき実行可能領域Conv(C(H))を表現するための線形不等式の数がnに対して指数的に増加する。

対策：緩和多面体P を凸包の代わりに使う

• Conv(C(H)) ⊂ P• V (Conv(C(H))) ⊂ V (P)

V : 頂点を取り出す集合値関数

基本多面体の制約(1): パリティ制約条件• H = {hij}, x ∈ Rn

• Ai4= {j ∈ [1, n] : hij = 1}, i ∈ {1, . . . ,m}

• Ti(i ∈ [1,m])をAiに含まれるすべての奇数サイズの部分集合

∀i ∈ [1,m],∀S ∈ Ti

1 +∑t∈S

(xt − 1) −∑

t∈Ai\S

xt ≤ 0,

基本多面体の制約(2): ボックス制約条件

∀j ∈ [1, n], 0 ≤ xj ≤ 1

基本多面体Koetter & Vontoble, Feldman et al.

P(H)4= {x ∈ Rn : x satisfies both constraints}

• Conv(C(H)) ⊂ P(H)• V (Conv(C(H))) ⊂ V (P(H))

基本多面体の考え方

LP復号法Feldman et al.

x̂ = arg minx∈P(H)

n∑i=1

γixi

• 不等式数: 2wr−1m+ n (wr: Hの行の重み)• P(H)の整数頂点の集合= C(H)

例：ハミング符号の場合ハミング符号の基本多面体は、96個の頂点を持つ(うち、16個(符号語)のみが整数点)

5.000000000E-01 5.000000000E-01 5.000000000E-01 1 0 1 1

0 3.333333333E-01 6.666666667E-01 6.666666667E-01 0 1 1

5.000000000E-01 1 1 5.000000000E-01 0 1 5.000000000E-01

0 6.666666667E-01 3.333333333E-01 3.333333333E-01 0 1 0

0 5.000000000E-01 0 5.000000000E-01 5.000000000E-01 1 0

6.666666667E-01 1 3.333333333E-01 6.666666667E-01 1 1 0

0 1 5.000000000E-01 5.000000000E-01 0 5.000000000E-01 0

3.333333333E-01 1 6.666666667E-01 3.333333333E-01 0 1 0

1 1 0 1 0 1 0

5.000000000E-01 1 0 5.000000000E-01 1 1 5.000000000E-01

3.333333333E-01 1 3.333333333E-01 3.333333333E-01 1 1 1

6.666666667E-01 1 6.666666667E-01 6.666666667E-01 0 1 1

0 1 0 0 0 1 1

............................

現代の問題意識• もとのLP復号法のもう一歩上回る復号性能を目指す

• 整数計画問題

minimizen∑

i=1

γixi

subject to x ∈ P(H), x ∈ {0, 1}n

の解に近づける工夫

2つの方向性• 緩和を工夫する

Conv(C(H)) ⊂ · · · ⊂ P2 ⊂ P1 ⊂ P(H)

• 最適化手法を工夫する– プライマル・デュアル法(組み合わせ最適化)– 半正定値計画問題– ペナルティ関数法(非線形最適化)– ローカルサーチ– difference map アルゴリズム(交互射影法)

緩和の緊密化

Conv(C(H)) ⊂ · · · ⊂ P2 ⊂ P1 ⊂ P(H)

• 自明でないファセット不等式は？• ファセット数がnの多項式で押さえられる緩和多面体Piは存在するか？

• 多項式時間で答えを返す分離オラクルが存在する緩和多面体Piは存在するか？

緩和の緊密化: 冗長行による緊密化

H =

hT

1

hT2...hT

m

, H∗ =

h∗T

1

h∗T2...

h∗Tr

h∗j =

m∑i=1

α(j)i hi

緩和の緊密化: 冗長行による緊密化任意のx ∈ C(H)について

H∗x = 0

が成り立つ。

冗長行に基づく緊密化

P = P(H) ∩ P(H∗)

ハミング符号の例

H4=

0 0 0 1 1 1 10 1 1 0 0 1 11 0 1 0 1 0 1

H∗ 4

=(

0 1 1 1 1 0 0)

Pの頂点数56個(P(H)の頂点数96)

緩和の緊密化: 自己同型群の利用• Aut(C(H)): C(H)の自己同型群• ∀x ∈ C(H),∀π ∈ Aut(C(H)), π(x) ∈ C(H)

自己同型群に基づく緊密化

P∗ 4=

∩π∈Aut(C(H))

P(π(H))

例: 巡回符号→巡回置換が自己同型群

緩和緊密化に関する研究• 2005: Feldman et al.: アドホック探索

(IEEE IT)

• 2006: Taghavi and Siegel : ループ長に基づく探索 (IEEE ISIT)

• 2009: 三輪, 和田山, 内匠: Fractional distanceに基づく冗長行構成 (IEEE JSAC)

ゴーレイ符号の場合

10-4

10-3

10-2

10-1

100

10-3

10-2

10-1

Blo

ck E

rro

r P

rob

ab

ility

Crossover Probability on BSC

+100rows+40rows

original

Fig. 2. Comparison on block error probabilities of parity check matrices of Golay code (original 24×12 matrix, redundant 24×52 matrix,

redundant 24× 112 matrix )

Cited from Miwa et al. IEEE JSAC, 2009

LP復号法に関する最適化: 関連研究• LP decoding (LPD)

– Fleldman et al (2005, IT)• Fast LPD algorithms

– Adaptive LP: Taghavi et al. (2008, IT)– Low-complexity LPD: Vontobel and

Koetter (2006, Turbo sym.)– Linear time LPD: Burshtein (2008, ISIT)

• Interior point algorithms for decodingproblems

– LPD based on interior point method:Vontobel (2008, ITA)

– Linear vector channels: Wadayama (2008,ISIT)

– LPD based on primal dual interior pointmethod : Taghavi (2008, Allerton)

– LPD based on primal interior pointmethod : Wadayama (2009, ISIT)

整数計画問題へのアプローチ: 混合整数計画法Yedidia et al. 2008, ISIT:

minimizen∑

i=1

γixi

subject to x ∈ P(H)

を解き、得られた解x∗の要素(有理数成分)のいくつかを整数制約をつける(分枝限定法)。

整数計画問題へのアプローチ: 内点法 +

2次ペナルティ関数• 内点法：線形計画問題・凸計画問題に適した効率の良い数値最適化手法– 探索点は、実行可能領域の内点– ニュートン法を内部で利用– 凸問題以外の非線形計画問題にも適用可能

• 内点法 + 2次ペナルティ関数: 2010 和田山

目的関数とバリア関数

f(x)4=

n∑i=1

λixi

B(x)4= −

X

i∈[1,m]

X

S∈Ti

ln

2

6

4

−

0

B

@

1 +X

u∈S

(xu − 1) −X

u∈Ai\S

xu

1

C

A

3

7

5

−X

j∈[1,n]ln

h

−(−xj)i

−X

j∈[1,n]ln

h

−(xj − 1)i

.

主パス追跡内点法の基本処理

メリット関数: ψ(t)(x)4= f(x) + tB(x)

x := arg minx′∈P∗(H)

ψ(t)(x′)

t := µt

x0 Central path

整数解を選好するペナルティ項の導入

Fundamental

Polytope

Codeword vertex

Non-codeword vertex

Desirable

Undesirable

Concave penalty term

局所解の回避

「ペナルティ関数の効き」パラメータθを調整

探索過程における2乗誤差

0

20

40

60

80

100

120

140

0 50 100 150 200 250 300 350 400

Number of iterations

Squared errortheta

誤り率の比較 0.2dB gainBERFERconcave sum-prod.

最適化ベースの推論技法(1)アルゴリズム 関連の論文Loopy BP Yedidia et al. IT 2005凸自由エネルギー系 Wainwright TRW energy, IT,2005,Heskes, sufficient condition, 2006, Globerson & Jaakkola,UAI 2007,Hazan & Shashua, UAI2008LP系 Feldman et al, IT 2002Weiss, et al., UAI 2007本プロジェクト Wadayama

最適化ベースの推論技法(2)アルゴリズム 最適化の方法 最適化の特徴Loopy BP ラグランジアン定式化＋KKT条件を反復法で解く メッセージパッシング／局所収束性／局所解凸自由エネルギー系 ラグランジアン定式化＋KKT条件を反復法で解く／双対問題を解く メッセージパッシング／局所収束性／大域的最適解LP系 シンプレックス法 非整数解本プロジェクト 内点法/ペナルティ関数法 局所解

まとめと今後の課題• 誤り訂正符号の多面体的性質(符号語の凸包ならびにその緩和多面体の性質)– 基本多面体の幾何的性質– 符号語の凸包への緩和多面体列– 多面体的符号理論

• 連続最適化手法の復号（推論）問題への適用– 内点法に基づく非線形最適化・凸最適化– 組み合わせ最適化手法の応用(局所探索, プライマルデュアル法, タブーサーチなど)