Statistical-independence-based efficient initialization for nonnegative matrix factorization

総合研究大学院大学 博士課程 2 年国立情報学研究所 / 総合研究大学院大学

○ 北村大地小野順貴

独立性基準を用いた非負値行列因子分解の効果的な初期値決定法

2

• 非負値行列因子分解 (nonnegative matrix factorization: NMF) [Lee, 1999]

– 非負の制約条件付き次元圧縮– 有意な特徴量を抽出する教師無し学習– 非負性に起因するスパース分解

背景

Amplitude

Amplitu

de入力データ行列

( スペクトログラム )基底行列

( 頻出スペクトルパターン )

係数行列( 時間的な強度変化 )

Time

Time

Freq

uency

Freq

uency

: 行 数 （ 周波 数ビ ン数）: 列数（時間フレーム数）: 基底数

3

• NMF における最適化問題– 非負制約下で観測とモデルの距離（ data fidelity ）を最小

化

– 変数 及び の解析的な解は求まらず– 効率的な反復更新式による最適化が確立されている

• 補助関数法に基づく乗法更新式 [Lee, 2001]

– 勾配法等と同じ反復更新なので全変数に初期値が必要

背景

距離関数が 2 乗ユークリッド距離の場合の乗法更新式

4

• 問題点 : NMF を用いた全ての手法の結果は NMF の変数（ と ）の初期値に依存して決まる– 例 : 全教師あり NMF による音源分離

• 動機 : 常に最良の結果をもたらす一意な初期値決定法が望まれる– 入力データ行列 にのみ依存し，擬似乱数を用いない

問題点と動機

12

10

8

6

4

2

0SD

R im

prov

emen

t [dB

]

Ran

d10

Ran

d1

Ran

d2

Ran

d3

Ran

d4

Ran

d5

Ran

d6

Ran

d7

Ran

d8

Ran

d9

値域 [0,1] の一様な擬似乱数をメルセンヌツイスタ法で生成

Rand1~Rand10 は擬似乱数のシードのが異なる

初期値によって精度が変わる・・・

5

• 乱数に基づく初期値決定法– 擬似乱数そのもの（一様擬似乱数など）– 遺伝的アルゴリズムによる良い初期値探索 [Stadlthanner, 2006], [Janecek,

2011]

– クラスタリングを用いた初期値 [Zheng, 2007], [Xue, 2008], [Rezaei, 2011]

• 入力データ行列 を 個のクラスタにまとめ，各クラスタのセントロイドベクトルを NMF の初期基底ベクトルとする

• 入力データ行列のみに基づく初期値決定法– 減算クラスタリングを用いた初期値 [Casalino, 2014]

• 擬似乱数は用いないが， 2 個のハイパーパラメータを調整する必要あり

– 主成分分析（ PCA ）を用いた初期値 [Zhao, 2014]

• 入力データ行列 に PCA を適用して得られる直交基底及び係数の絶対値を，基底行列及び係数行列の初期値とする

– 特異値分解（ SVD ）を用いた初期値 [Boutsidis, 2008]

• 非負二重 SVD （ NNDSVD ）を入力データ行列 に適用して得られる非負の左及び右特異ベクトルを基底行列及び係数行列の初期値とする

従来の NMF の初期化法

6

• 直交基底は NMF にとって良い基底か否か？– PCA も SVD も入力データ行列の直交基底を推定– NMF の幾何学的な解釈によると [Donoho, 2003]

• “NMF における最良な基底は正の象限に点在する観測データ点を全て含む凸多面錘のエッジに沿うベクトルである”

– 直交性に基づく初期値決定法は NMF に適さない可能性あり

NMF に適する基底とは

凸錐（ convex cone ）

観測データ点

エッジ

最良な基底 直交する基底 より tight な基底データの表現に必要十分で係数はスパースになる

過剰な基底で不要な領域を表現してしまう

観測データ点の表現には不十分

7

• 入力データ行列のみから何ができるか？– 独立成分分析（ ICA ）に着目– ICA は成分間の独立性を最大化する基底（直交とは限らな

い）を推定可能– ICA は優ガウスな生成モデルを仮定することでスパースな

独立成分を推定可能• NMF も暗にスパースな分解行列を推定（非負性に由来）

• NMF の初期値決定法として ICA を用いる– 入力データ行列にのみ依存– 擬似乱数もパラメータチューニングも不要

提案する初期値決定法

ICA

8

• 入力データ行列は独立成分の混合信号と仮定– 行列 中の 個のソースが混合行列 を経て として観

測

– ICA は分離行列 とソース を推定• これらを NMF の基底行列及び係数行列の初期値に用いる• 「各基底に対する係数（時間的な強度変化）が独立」

– NMF は（ 1 ）非負制約条件付き（ 2 ）次元圧縮なので• （ 1 ） 2種類の非負性を考慮した ICA を適用• （ 2 ） PCA による次元圧縮を適用※

ICA の信号モデルと NMF

入力データ行列 混合行列（正方） ソース行列

※PCA で次元圧縮した後に ICA を用いるので，従来の PCA による直交基底の推定とは異なる

…… 各基底の係数が互いに独立と仮

定

9

• Nonnegative ICA （ NICA ）を用いる [Plumbley, 2003]

– 全てのソースが非負となるような分離行列を推定– 中心化せずに白色化（無相関化）された信号 に対する回転行列 を求める

– 最急降下法による最適化（ Fast NICA というのもある）

非負 ICA を用いる提案手法（提案手法 1 ）

観測信号 白色化信号

白色化変換行列（但し中心化はしな

い）

10

• 入力データの時間差分信号と通常の ICA を用いる– 非負なソースの時間差分信号が混合されていると仮定

• ソースを零平均信号とするため

– 時間差分混合信号 にラプラス分布仮定 ICA を適用• ラプラス分布 ICA のコスト関数は凸なので の解は一意• 補助関数法に基づく高速な ICA の解法が提案されている [Ono, 2010]

差分信号と ICA を用いる提案手法（提案手法2 ）

時間差分行列

11

• PCA で入力データ行列の次元を圧縮

– ソース は混合行列 を経て として観測• 提案手法 1: NICA を用いる場合

– データは ，ソースは ，分離信号は – 近似的に とすると

PCA による次元圧縮処理（提案手法 1 ）

行が の固有ベクトル は top- 固有値に対応する固有ベクトル

固有

値

大

小

NICA を用いた NMF の初期値

: 任意の行列

: 混合行列 : 零行列

: ソース行列

NICA の変数

白色化行列

12

• PCA で入力データ行列の次元を圧縮

– ソース は混合行列 を経て として観測• 提案手法 2: 時間差分信号と通常の ICA を用いる場

合– データは ，ソースは ，分離信号は – 近似的に とすると

PCA による次元圧縮処理（提案手法 2 ）

行が の固有ベクトル は top- 固有値に対応する固有ベクトル

固有

値

大

小

差分信号と ICA を用いた NMF の初期値

: 任意の行列

: 混合行列 : 零行列

: ソース行列

この手法では反復の度にという非負化処理を行う

NICA の変数

13

• いずれの提案手法においてもソース や混合行列 の推定結果が完全に非負となる保証はない

• 両変数に 3種類の非負化処理のいずれかを施す– 非負化処理 1: – 非負化処理 2: – 非負化処理 3:

• 但し， と はスケールを合わせる為のスカラー– 初期値決定法の後に用いる NMF の距離関数に応じて下記のように決まる

3種類の非負化処理

14

• ピアノの上昇音階のパワースペクトログラム– 24 音（ 2オクターブ） , サンプリング周波数は 44.1 kHz– 行列としてのサイズは 2049x1037

実験

Low-rank

累積特異値のグラフ

15

• 提案初期化法の NICA と ICA のコスト関数– 基底数は とした例

実験

0.01

2

4

68

0.1

2

4

681

Cos

t fun

ctio

n of

NIC

A

2000150010005000Iteration

100

2

3

4

5

6789

1000

Cos

t fun

ctio

n of

ICA

3020100Iteration

提案手法 1 （ NICA ） 提案手法 2 （差分信号＋ICA ）

16

• 初期値を与えた後の EU-NMF– 基底数は とした例

実験

Rand1~10 は値域 [0, 1] の一様擬似乱数（シードが異なる）

初期値決定にかかる処理時間例 NICA: 4.28 s ICA: 10.77 s PCA: 0.95 s SVD: 1.31 s

NMF 反復にかかる処理時間例 EU-NMF: 18.39 s (1000回反復時 )

5

6

7

8

9108

2

Cos

t fun

ctio

n of

EU

-NM

F

10008006004002000Iteration

NICA1 NICA2 NICA3 ICA1 ICA2 ICA3 PCA SVD Rand1~10

17

• 初期値を与えた後の KL-NMF– 基底数は とした例

実験

Rand1~10 は値域 [0, 1] の一様擬似乱数（シードが異なる）

初期値決定にかかる処理時間例 NICA: 4.28 s ICA: 10.77 s PCA: 0.95 s SVD: 1.31 s

NMF 反復にかかる処理時間例 KL-NMF: 62.19 s (1000回反復時 )

7

8

9

105

2

Cos

t fun

ctio

n of

KL-

NM

F

10008006004002000Iteration

NICA1 NICA2 NICA3 ICA1 ICA2 ICA3 PCA SVD Rand1~10

18

• 初期値を与えた後の IS-NMF– 基底数は とした例

実験

Rand1~10 は値域 [0, 1] の一様擬似乱数（シードが異なる）

初期値決定にかかる処理時間例 NICA: 4.28 s ICA: 10.77 s PCA: 0.95 s SVD: 1.31 s

NMF 反復にかかる処理時間例 IS-NMF: 202.96 s (1000回反復時 )

2.0

1.8

1.6

1.4

1.2

1.0

Cos

t fun

ctio

n of

IS-N

MF

10008006004002000Iteration

NICA1 NICA2 NICA3 ICA1 ICA2 ICA3 PCA SVD Rand1~10

19

• 全教師あり NMF による 2 音源分離タスク– SiSEC2015 MUS dataset の vocals と other の混合– 各音源の教師基底学習時に初期値決定法を用いる

• 分離時の係数行列は観測行列との相関を用いるため，学習時の初期値のみによって分離性能が決まる

– 15曲の平均 SDR改善量（総合分離性能）

音源分離実験

Ran

d10

NIC

A1

NIC

A2

NIC

A3

ICA

1IC

A2

ICA

3P

CA

SV

DR

and1

Ran

d2R

and3

Ran

d4R

and5

Ran

d6R

and7

Ran

d8R

and9

12

10

8

6

4

2

0

SD

R im

prov

emen

t [dB

]

5

4

3

2

1

0

SD

R im

prov

emen

t [dB

]

Ran

d10

NIC

A1

NIC

A2

NIC

A3

ICA

1IC

A2

ICA

3P

CA

SV

DR

and1

Ran

d2R

and3

Ran

d4R

and5

Ran

d6R

and7

Ran

d8R

and9

Separation performance of vocals Separation performance of other

提案手法 提案手法 最大で 0.8 dB の差

最大で 1.6 dB の差

PCA SVD PCA SVD

20

まとめ• NMF の効果的な初期値決定法• 独立性基準を用いた基底（直交とは限らない）と独

立成分をそれぞれ基底行列と係数行列の初期値とする

• 非負性を考慮した 2種類の ICA– Nonnegative ICA– 時間差分信号＋ラプラス分布 ICA

• NMF のコスト関数は高速により低い値まで減少– NMF にとって良い初期値といえる

• 全教師あり音源分離タスクにおいても良好な結果をもたらした