スパース性に基づく機械学習4.2 節

機械学習プロフェッショナルシリーズ

@St_Hakky

自己紹介と告知• Twitter : @St_Hakky• ブログ： http://st-hakky.hatenablog.com/• 関西で機械学習勉強会を実施中 !!

• 団体のモットー：• 圧倒的スピード感で大量の書物と論文をぶった切る• 「えっ、まだ読んでないの？」と煽り奉り、輪講会を乱立させる

• 過去のイベント例• PRML 輪講会、 PRML 上巻 / 下巻一気読み• データ解析のための統計モデリング入門の輪講会• わかりやすいパターン認識 ( 続 ) の輪講会

• 参加したい方は、 Facebook のグループにまずは参加を。• URL :https

://www.facebook.com/groups/1767916400127792/

スパース性に基づく機械学習の4.2 節をやります

コンテンツ

• 4.2 : 幾何学的考察

今回の最小化問題

• (4.2) の最小化問題を考える

• この問題の幾何学的考察を行うために、まずは図の説明を行う。

幾何学的考察を行うための図の説明

: 真のベクトル

𝑤∗=(1 ,0)𝑇 𝑤∗=(1 ,0)𝑇 𝑤∗=(0.5 ,0.5)𝑇スパース！ スパース！ スパースじゃない！

幾何学的考察を行うための図の説明

ピンク色の直線は、最小化問題 (4.2) の等式制約を満たすの集合、

を示す。

幾何学的考察を行うための図の説明

水色の領域は真のベクトルを中心として、ノルムが減少する方向からなる錐

を表す。ただし、 cl( ・ ) は集合の閉包を表す。

錐・凸錐

ここで、をノルムの点における降下錐と呼ぶ

d=2 の場合の幾何学的考察

どちらもが真のスパースベクトル。

(a) と (b) の比較

(a) ：ピンク色の直線が水色の領域と唯一で交わる(b) ：内部で交わる

d=2 の場合の幾何学的考察

水色の領域の内部はノルムが真のスパースベクトルよりも減少する方向なので、共通部分があるということはがノルム最小化問題の解ではないことを意味する。

がノルム最小化問題の解 がノルム最小化問題の解ではない

一般のノルム最小化問題

一般に真のスパースベクトルがノルム最小化問題 (4.2) の唯一の解である必要十分条件は、

である (Chandrasekaran[15]) 。

この条件を満たすためには、直感的には部分空間及び降下錐は小さければ小さいほどいいということがわかる。

一般のノルム最小化問題

部分空間この次元はなので、 はサンプル数が増えるほど小さくなる。

一般のノルム最小化問題

降下錐真のスパースベクトルがスパースであればあるほど小さくなる

例えば図 (c) のようにがスパースでない場合は半平面となり、 とはでない限り必ず以外の共通部分を持つ

参考文献• [15] Chandrasekaran, Venkat, et al. "The convex

geometry of linear inverse problems." Foundations of Computational mathematics 12.6 (2012): 805-849. • http://link.springer.com/article/10.1007/s10208-012-9135-7

おしまい