劣モジュラ最適化と機械学習 3章
-
Upload
hakky-st -
Category
Data & Analytics
-
view
109 -
download
2
Transcript of 劣モジュラ最適化と機械学習 3章
![Page 1: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/1.jpg)
劣モジュラ最適化と機械学習3 章
機械学習プロフェッショナルシリーズ
@St_Hakky
![Page 2: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/2.jpg)
自己紹介と告知• Twitter : @St_Hakky• ブログ: http://st-hakky.hatenablog.com/• 関西で機械学習勉強会を実施中 !!
• 団体のモットー:• 圧倒的スピード感で大量の書物と論文をぶった切る• 「えっ、まだ読んでないの?」と煽り奉り、輪講会を乱立させる
• 過去のイベント例• PRML 輪講会、 PRML 上巻 / 下巻一気読み• データ解析のための統計モデリング入門の輪講会• わかりやすいパターン認識 ( 続 ) の輪講会
• 参加したい方は、 Facebook のグループにまずは参加を。• URL :https
://www.facebook.com/groups/1767916400127792/
![Page 3: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/3.jpg)
劣モジュラ最適化と機械学習の3 章をやります
![Page 4: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/4.jpg)
今日やらないこと
• 証明は必要最小限しかやりません。• 本を読んでください ( 投げやり )
![Page 5: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/5.jpg)
今日やること
• 応用例を見ます。
• 応用例が、最終的に単調列もジュラ最大化問題と同じ形で表現されることをひたすらにみます。
• 飽きたら、寝てください。
![Page 6: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/6.jpg)
コンテンツ• 3.1 劣モジュラ最大化と貪欲法
• 3.1.1 劣モジュラ最大化と近似アルゴリズム• 3.1.2 劣モジュラ最大化のための貪欲法• 3.1.3 貪欲法の近似率
• 3.2 適用例 1 : 文書要約への適用• 3.2.1 文書要約の劣モジュラ最大化としての定式化• 3.2.2 文書要約のその他の規準
• 3.3 適用例 2: センサ配掴問題• 3.3.1 ガウス過程回帰による分布の推定• 3.3.2 センサ配置の規準と劣モジュラ性
• 3.4 適用例 3: 能動学習• 3.4.1 一括型能動学習と劣モジュラ性
• 3.5 その他の適用例• 3.6 補足:センサ配置可能箇所の設定について
![Page 7: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/7.jpg)
この章で考える問題
は、単調な劣モジュラ関数
目的: 𝑓 (𝑆)→最大制約 (3.1)
劣モジュラ関数を最大化する問題について考える
制約条件は、選択する部分集合の要素数が最大で k (> 0) 個である
![Page 8: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/8.jpg)
前章までで見てきたこと
• 劣モジュラ性の有用性• 劣モジュラ性は集合関数における凸性にあたる構
造を持つ• これにより ( 連続の ) 凸関数と同様に、最小化が効率的
に• 劣モジュラ関数は凹関数のような性質ももってい
る最大化においても複数の有用な性質を持つ
![Page 9: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/9.jpg)
この章で見る問題
• まず、代表的な例として、最大化への貪欲法の適用を取り上げる。→ 3.1 節
• その後、機械学習などにおける様々な問題への適用例として、以下を見る。• 文書要約 → 3.2 節• センサ配置問題→ 3.3 節• 能動学習→ 3.4 節
![Page 10: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/10.jpg)
コンテンツ• 3.1 劣モジュラ最大化と貪欲法
• 3.1.1 劣モジュラ最大化と近似アルゴリズム• 3.1.2 劣モジュラ最大化のための貪欲法• 3.1.3 貪欲法の近似率
• 3.2 適用例 1 : 文書要約への適用• 3.2.1 文書要約の劣モジュラ最大化としての定式化• 3.2.2 文書要約のその他の規準
• 3.3 適用例 2: センサ配掴問題• 3.3.1 ガウス過程回帰による分布の推定• 3.3.2 センサ配置の規準と劣モジュラ性
• 3.4 適用例 3: 能動学習• 3.4.1 一括型能動学習と劣モジュラ性
• 3.5 その他の適用例• 3.6 補足:センサ配置可能箇所の設定について
![Page 11: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/11.jpg)
劣モジュラ最大化と貪欲法
単調な劣モジュラ関数の最大化問題目的: 𝑓 (𝑆)→最大
制約 (3.1)
NP 困難な最適化問題厳密な最適解を多項式時間で求めることは困難
![Page 12: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/12.jpg)
• 劣モジュラ関数の最大化について、最大化すべき単調な劣モジュラ関数としてカバー関数を用いて、具体例を見る
𝑃1 𝑃2 𝑃3 𝑃4
劣モジュラ最大化と近似アルゴリズム
![Page 13: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/13.jpg)
劣モジュラ最大化と近似アルゴリズム
点集合
個の部分集合 すべての点の重みは 1 𝑓 𝑐𝑜𝑣 :2{1,2,3,4 }→ℝ
𝑃1 𝑃2 𝑃3 𝑃4
𝑉={𝑙 ,2,3,4 }
![Page 14: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/14.jpg)
カバー関数最大化問題
目的関数をカバー関数とし、これを最大化する要素数の上限を
点集合
𝑃1 𝑃2 𝑃3 𝑃4
![Page 15: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/15.jpg)
k=1 の場合のカバー関数の値
点集合
𝑃1 𝑃2 𝑃3 𝑃4
𝑓 𝑐𝑜𝑣 ( {1 } )=3𝑓 𝑐𝑜𝑣 ( {2 } )=5
𝑓 𝑐𝑜𝑣 ( {3 } )=7𝑓 𝑐𝑜𝑣 ( {4 } )=6
← 一番大きい
![Page 16: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/16.jpg)
k=2 の場合のカバー関数の値
点集合
𝑃1 𝑃2 𝑃3 𝑃4
𝑓 𝑐𝑜𝑣 ( {1,2 } )=6
![Page 17: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/17.jpg)
k=2 の場合のカバー関数の値
点集合
𝑃1 𝑃2 𝑃3 𝑃4
𝑓 𝑐𝑜𝑣 ( {2,4 } )=11すべての組み合わせについて考えると、 {2,4} が最大となる
![Page 18: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/18.jpg)
組み合わせ爆発の問題
台集合の要素数や要素数の上限が大きくなる
解の候補は爆発的に大きくなるすべてを調べることは現実的には困難。
![Page 19: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/19.jpg)
組み合わせ爆発の問題
実際劣モジュラ関数最大化問題は NP 困難な最適化問題であり、カバー関数も同様
![Page 20: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/20.jpg)
・最適値とアルゴリズムによって得られる近似解の目的関数値の比が、どのような場合も一定値よりよくなることが理論的に保証される
近似アルゴリズム・アルゴリズムによって近似解が多項式時間で得られる。
近似アルゴリズムとは
![Page 21: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/21.jpg)
近似アルゴリズムとは
• 単調な劣モジュラ関数の最大化問題に対しては, 3.1.2 で紹介する貪欲法が、性能のよい近似アルゴリズムになることが理論的に保証できる
![Page 22: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/22.jpg)
近似率
:問題の近似解を求める多項式時間アルゴリズムとする。この時、問題が最大化問題であるため、明らかに次の不等式が成り立つ
が出力する解の目的関数値問題 ( )𝑃 の最適値
![Page 23: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/23.jpg)
近似率
を を満たす定数として. 問題の任意の入力について、以下が成り立つ。 * 問題 ( )𝑃 の最適値 が出力する解の目的関数値
:の近似率あるいは近似保証という。
またこのとき、を問題の - 近似アルゴリズムと呼ぶ
![Page 24: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/24.jpg)
近似率
一般論ですが、多くの場合で、 - 近似アルゴリズムによって得られる近似解の目的関数値と最適値の比は、近似率よりずっとよくなる。
![Page 25: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/25.jpg)
3.1.2 劣モジュラ最大化のための貪欲法
貪欲法
貪欲法はからスタートして、の要素数がになるまで「貪欲」に要素を増やしていく単純な方法
![Page 26: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/26.jpg)
貪欲法をカバー関数最大化問題に適用
点集合
個の部分集合 すべての点の重みは 1 𝑓 𝑐𝑜𝑣 :2{1,2,3,4 }→ℝ
𝑃1 𝑃2 𝑃3 𝑃4
𝑉={𝑙 ,2,3,4 }ここでは、要素数の上限をとする
![Page 27: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/27.jpg)
貪欲法をカバー関数最大化問題に適用
初期化ステップ 0 なので、とする。
点集合
𝑃1 𝑃2 𝑃3 𝑃4
![Page 28: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/28.jpg)
貪欲法をカバー関数最大化問題に適用
反復 1
ステップ 1 では、 より停止しない。ステップ 2 では、 がもっとも大きくするのでこれを選ぶ。
![Page 29: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/29.jpg)
貪欲法をカバー関数最大化問題に適用
点集合
𝑃1 𝑃2 𝑃3 𝑃4
𝑓 𝑐𝑜𝑣 ( {1 } )=3𝑓 𝑐𝑜𝑣 ( {2 } )=5
𝑓 𝑐𝑜𝑣 ( {3 } )=7𝑓 𝑐𝑜𝑣 ( {4 } )=6
← 一番大きい
![Page 30: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/30.jpg)
貪欲法をカバー関数最大化問題に適用
反復 2
ステップ 1 では、 より停止しない。ステップ 2 では、 がもっとも大きくするのでこれを選ぶ。
![Page 31: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/31.jpg)
貪欲法をカバー関数最大化問題に適用
点集合
𝑃1 𝑃2 𝑃3 𝑃4
𝑓 𝑐𝑜𝑣 ( {1 ,3 } )=10 ← 一番大きい
![Page 32: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/32.jpg)
貪欲法をカバー関数最大化問題に適用
反復 3
ステップ 1 で、 より停止
結果として、が選ばれ、アルゴリズムが停止する。
![Page 33: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/33.jpg)
貪欲法と最適解を比較
貪欲法 ( 近似解 ) : 最適解:
近似解は、最適解の 10/11≈0.91 倍程度の目的関数値を取るので、いい解が得れたと考えられる。
![Page 34: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/34.jpg)
貪欲法の近似率について
要素数の上限がであるような一般の場合の単調な劣モジュラ関数の最大化問題について、必ず次の不等式が成り立つ。
最適解:貪欲法が出力する近似解:
(1−(1− 1𝑘 )𝑘) 𝑓 (𝑆𝑂𝑃𝑇 )≤ 𝑓 (𝑆𝐺𝐴)
![Page 35: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/35.jpg)
貪欲法の近似率について
は、自然数に関して単調減少
は、のとき、となり、貪欲法は、 0.63- 近似アルゴリズムであることがわかる。この証明は、次で与える。
![Page 36: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/36.jpg)
貪欲法の近似率の証明
• 本をご参照あれ。
![Page 37: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/37.jpg)
コンテンツ• 3.1 劣モジュラ最大化と貪欲法
• 3.1.1 劣モジュラ最大化と近似アルゴリズム• 3.1.2 劣モジュラ最大化のための貪欲法• 3.1.3 貪欲法の近似率
• 3.2 適用例 1 : 文書要約への適用• 3.2.1 文書要約の劣モジュラ最大化としての定式化• 3.2.2 文書要約のその他の規準
• 3.3 適用例 2: センサ配掴問題• 3.3.1 ガウス過程回帰による分布の推定• 3.3.2 センサ配置の規準と劣モジュラ性
• 3.4 適用例 3: 能動学習• 3.4.1 一括型能動学習と劣モジュラ性
• 3.5 その他の適用例• 3.6 補足:センサ配置可能箇所の設定について
![Page 38: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/38.jpg)
適用例 1 : 文書要約への適用
• 問題設定:• ある文章が与えられたときに、その文章を構成す
る文の中から、できるだけもとの文章を表現できるような、その一部の文を選択する
•直感的なイメージ:• 文を 1 つずつ足していくと徐々にもとの文章の意味を表す表現力は高まる。• 逆に、その効果はすでに採用した文が多ければ小
さくなっていく。
![Page 39: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/39.jpg)
適用例 1 : 文書要約への適用
文書要約は、劣モジュラ最大化問題の代表的な例の 1 つ。実際、文書要約でよく用いられる規準がこのような効果をもっていることが多い。
![Page 40: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/40.jpg)
文書要約の劣モジュラ最大化としての定式化
• ある文章が与えられたとき、その文章を構成する文を要素とする有限集合を考える
![Page 41: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/41.jpg)
文書要約の劣モジュラ最大化としての定式化
• 一般に、文書要約において選択される文の集合がもつべき重要な規準として、以下が挙げられる。• :文章全体に対して関連の高い文の集合を選択す
ること• :選択する文間の冗長性を少なくするように文の
集合を選択すること
![Page 42: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/42.jpg)
文書要約の劣モジュラ最大化としての定式化
:文章全体に対して関連の高い文の集合を選択すること
𝑅( )𝑆 :選択する文間の冗長性を少なくするように文の集合を選択すること
トレードオフの関係
![Page 43: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/43.jpg)
文書要約の劣モジュラ最大化としての定式化
:文章全体に対して関連の高い文の集合を選択すること
𝑅( )𝑆 :選択する文間の冗長性を少なくするように文の集合を選択すること
トレードオフの関係
選択する文章を増やすことを評価
選択する文章をできるだけ増やさないことを評価
![Page 44: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/44.jpg)
文書要約の劣モジュラ最大化としての定式化
𝑓 𝑑𝑜𝑐 (𝑆 )=ℒ (𝑆 )+λ𝑅 (𝑆 )
一般に相反するこれらのトレードオフは各応用場面によるので, トレードオフを調整するパラメータを用いて次式のように規準を表す
:文章全体に対して関連の高い文の集合を選択すること𝑅( )𝑆 :選択する文間の冗長性を少なくするように文の集合を選択すること
![Page 45: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/45.jpg)
文書要約の劣モジュラ最大化としての定式化
𝑓 𝑑𝑜𝑐 (𝑆 )=ℒ (𝑆 )+λ𝑅 (𝑆 )
一般に相反するこれらのトレードオフは各応用場面によるので, トレードオフを調整するパラメータを用いて次式のように規準を表す
:文章全体に対して関連の高い文の集合を選択すること𝑅( )𝑆 :選択する文間の冗長性を少なくするように文の集合を選択すること
単調劣モジュラ関数単調劣モジュラ関数
![Page 46: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/46.jpg)
関連性を評価する関数の例
2 文間の相関
直感的には, 文章全体と関連の高い文を選択しようという規準
ℒ (𝑆 )= ∑𝑖∈𝑉 , 𝑗 ∈𝑆
𝑠𝑖𝑗
![Page 47: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/47.jpg)
関連性を評価する関数の例
各概念
概念に基づく要約
文の集合に含まれる概念の集合:
ℒ (𝑆 )= ∑𝑖∈ Γ (𝑆)
γ 𝑖
![Page 48: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/48.jpg)
関連性を評価する関数の例
Lin と Bilmes による基準ℒ (𝑆 )=∑
𝑖∈𝑉𝑚𝑖𝑛{𝐶𝑖(𝑆) , γ𝐶𝑖(𝑉 )}
::文がどの程度によりカバーされているかを表す単調な劣モジュラ関数はしきい値を調整するためのパラメータ
選択した文の集合がどれだけ文に類似しているか
![Page 49: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/49.jpg)
関連性を評価する関数の例
Lin と Bilmes による基準
ℒ (𝑆 )=∑𝑖∈𝑉
𝑚𝑖𝑛{𝐶𝑖(𝑆) , γ𝐶𝑖(𝑉 )}
::文がどの程度によりカバーされているかを表す単調な劣モジュラ関数はしきい値を調整するためのパラメータ
このような関数の例: := など。
![Page 50: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/50.jpg)
この規準の直感的説明
Lin と Bilmes による基準ℒ (𝑆 )=∑
𝑖∈𝑉𝑚𝑖𝑛{𝐶𝑖(𝑆) , γ𝐶𝑖(𝑉 )}
はが到達できる最大値
![Page 51: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/51.jpg)
この規準の直感的説明
Lin と Bilmes による基準ℒ (𝑆 )=∑
𝑖∈𝑉𝑚𝑖𝑛{𝐶𝑖(𝑆) , γ𝐶𝑖(𝑉 )}
ある文に関しての場合 ( 本では、。多分ミス )
まだに到達していない別の文に関してのみの値を改善することができるこのようにまんべんなく文全体の意味がカバーされるような規準になっている
![Page 52: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/52.jpg)
冗長性の評価関数:
•冗長な文に対して何らかの罰則を課すのも 1つの有効な手段
![Page 53: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/53.jpg)
冗長性の評価関数:
冗長性の評価関数
𝑅 (𝑆 )=∑𝑘=1
𝐾
√ ∑𝑗∈ 𝑃𝑘∩𝑆
𝑟 𝑗
文の集合を選択することの多様性に対する報酬を加える式。これも有効な関数の一つ。
:文全体の分割。→ で異なるに対して:新しく文を空集合へ加えることに対する報酬
![Page 54: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/54.jpg)
冗長性の評価関数:
冗長性の評価関数
𝑅 (𝑆 )=∑𝑘=1
𝐾
√ ∑𝑗∈ 𝑃𝑘∩𝑆
𝑟 𝑗
文の集合を選択することの多様性に対する報酬を加える式。これも有効な関数の一つ。
:文全体の分割。→ で異なるに対して:新しく文を空集合へ加えることに対する報酬
分割を得るための例:文章全体に対してクラスタリング等
![Page 55: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/55.jpg)
冗長性の評価関数:
冗長性の評価関数
𝑅 (𝑆 )=∑𝑘=1
𝐾
√ ∑𝑗∈ 𝑃𝑘∩𝑆
𝑟 𝑗
文の集合を選択することの多様性に対する報酬を加える式。これも有効な関数の一つ。
この規準を用いることで、まだ 1 度も選ばれていない分割の中から文を選ぶことに対して報酬を加えることで選択する文の多様性を確保
![Page 56: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/56.jpg)
関数を用いた文書要約のまとめ
𝑓 𝑑𝑜𝑐 (𝑆 )=ℒ (𝑆 )+λ𝑅 (𝑆 )
:文章全体に対して関連の高い文の集合を選択すること𝑅( )𝑆 :選択する文間の冗長性を少なくするように文の集合を選択すること
単調劣モジュラ関数単調劣モジュラ関数
単調劣モジュラ関数!!
![Page 57: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/57.jpg)
関数を用いた文書要約のまとめ
𝑓 𝑑𝑜𝑐 (𝑆 )=ℒ (𝑆 )+λ𝑅 (𝑆 )
単調劣モジュラ関数単調劣モジュラ関数
単調劣モジュラ関数
規準 を用いた文書要約は劣モジュラ関数の最大化問題へと帰着個以下の文から成る要約を考えれば十分な場合は の単調性から、これは単調な劣モジュラ関数最大化問題として定式化される
![Page 58: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/58.jpg)
実用的な場面での定式化
実用的な場面文の長さもまちまち単に文の数だけに制約を課したのでは長い文ばかりが選ばれてしまう
文の長さをコストとみなし、選択した文のコストの和で制約を課すのも 1 つの有効な定式化
![Page 59: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/59.jpg)
実用的な場面での定式化
各文のコストをとすると、このような定式化は次のように表される。目的:→最大
制約: (3.6)
![Page 60: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/60.jpg)
ナップサック制約
目的:→最大制約: (3.6)
選択した集合 S に関するコストの和に対する制約ナップサック制約
![Page 61: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/61.jpg)
ナップサック制約
目的:→最大制約: (3.6)
選択した集合 S に関するコストの和に対する制約ナップサック制約要素数制約の場合と同様、が単調関数であれば (3.6) への貪欲法の適用により近似率として 0.63 が得られる
![Page 62: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/62.jpg)
ナップサック制約下の劣モジュラ関数最大化のための貪欲法
貪欲法
![Page 63: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/63.jpg)
ナップサック制約下の劣モジュラ関数最大化のための貪欲法
要素数制約の場合との違いはステップ 3
貪欲法
ナップサック制約下では、コストで正規化された関数の値を最大とする要素を選択する
![Page 64: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/64.jpg)
文書要約のその他の規準
文書要約の問題設定は、劣モジュラ関数の逓減性を表す定義式 (1.2) によく合致するものだといえる。
![Page 65: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/65.jpg)
文書要約のその他の規準
実際、以外の劣モジュラ性をもつ文書要約の規準もいくつか知られており、ここからはそのいくつかを紹介する。
したがって、劣モジュラ性を満たす文書要約の規準はに限らない。
![Page 66: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/66.jpg)
最大限界関連度
最大限界関連度従来からよく用いられてきた基準
既に選択されている文の集合に対して、新しい文を加えたときの増分を表す
![Page 67: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/67.jpg)
最大限界関連度
最大限界関連度文とクエリーの間の類似度 文 との間の類似度
はバランスを調整する係数文を加えることによる差分が上式により定義される集合関数は、劣モジュラ性の逓減性の定義( 1.2) から、劣モジュラ関数となることが示せる。ただし、この関数は非単調。
![Page 68: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/68.jpg)
ROUGE-N スコア
ROUGE-N スコア
Lin により提案され、最近でも実用的にもよく用いられる
単調劣モジュラ関数であることが知られている
![Page 69: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/69.jpg)
ROUGE-N スコアROUGE-N スコア
候補となる要約と参照となるそれとの間のに基づく再現率として定義される
:要約の中の n-gram の個数 :参照となる要約の中に含まれる n-gram の集合
:参照となる要約の中の n-gram の個数
![Page 70: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/70.jpg)
ROUGE-N スコア
ROUGE-N により得られる要約は、人間の感覚に近いことが知られている。
![Page 71: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/71.jpg)
コンテンツ• 3.1 劣モジュラ最大化と貪欲法
• 3.1.1 劣モジュラ最大化と近似アルゴリズム• 3.1.2 劣モジュラ最大化のための貪欲法• 3.1.3 貪欲法の近似率
• 3.2 適用例 1 : 文書要約への適用• 3.2.1 文書要約の劣モジュラ最大化としての定式化• 3.2.2 文書要約のその他の規準
• 3.3 適用例 2: センサ配掴問題• 3.3.1 ガウス過程回帰による分布の推定• 3.3.2 センサ配置の規準と劣モジュラ性
• 3.4 適用例 3: 能動学習• 3.4.1 一括型能動学習と劣モジュラ性
• 3.5 その他の適用例• 3.6 補足:センサ配置可能箇所の設定について
![Page 72: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/72.jpg)
適用例 2: センサ配置問題
問題設定
状況設定空間内で何らかの物理量 ( 例えば室温など )をセンサを用いて観測するという状況
できるだけその観測誤差が小さくなるようにいくつかのセンサを配置する問題
![Page 73: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/73.jpg)
適用例 2: センサ配置問題
第 2章
この問題をガウス過程回帰によりモデル化し、 最終的に劣モジュラ最大化問題へ帰着する
これと類似した状況をカバー関数を使って考えた
3.3節
![Page 74: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/74.jpg)
ガウス過程回帰による定式化
※現実的には、空間は連続的なので、センサの置き得る箇所も有限ではない場合が普通ですが、どの程度の粒度で箇所を考えれば十分かについてはあとで言及する
:センサを置き得る箇所
:に対応する箇所に設置したセンサ集合:その各箇所を表す添え字から成る集合
:実際にセンサを置いた箇所における観測量
記号
![Page 75: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/75.jpg)
一般的なセンサ観測における仮説
1. センサの観測はノイズを含むと考えるのが自然2. 近い箇所にセンサが複数ある場合は、その付近の観測は誤差は小さい
観測量に関する予測分布の分散が小さくなる
![Page 76: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/76.jpg)
ガウス過程回帰による定式化
不確実性を考慮しての分布が、以下の多次元正規分布に従うとする
:センサを置き得る箇所
:に対応する箇所に設置したセンサ集合:その各箇所を表す添え字から成る集合
:実際にセンサを置いた箇所における観測量
記号
:平均ベクトル :分散共分散行列 :行列式
![Page 77: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/77.jpg)
ガウス過程回帰による定式化
:センサを置き得る箇所
:に対応する箇所に設置したセンサ集合:その各箇所を表す添え字から成る集合
:実際にセンサを置いた箇所における観測量
記号
: (センサを置いた箇所とは限らない ) 任意の箇所 x の観測量センサを置いた箇所だけではなく空間内全体で観測誤差も見たい。この分布は正規分布に従うと考える。平均と分散が、の関数として、非線形性を表せるようにモデル化してある
![Page 78: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/78.jpg)
ガウス過程回帰による定式化
:センサを置き得る箇所
:に対応する箇所に設置したセンサ集合:その各箇所を表す添え字から成る集合
:実際にセンサを置いた箇所における観測量
記号
: (センサを置いた箇所とは限らない ) 任意の箇所 x の観測量
![Page 79: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/79.jpg)
何がしたいかわからなくなってきたよね。
![Page 80: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/80.jpg)
まとめよう!!
![Page 81: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/81.jpg)
問題設定できるだけその観測誤差が小さくなるようにいくつかのセンサを配置する問題
見るべき規準配置したセンサによって、考えている領域の任意の箇所のにおける観測の不確実性をどれほど小さくできるか
式での表現I
:センサを置いた箇所の観測量 : (センサを置いた箇所とは限らない ) 任意の箇所 x の観測量
![Page 82: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/82.jpg)
次は、この条件付き分布 I がどのようになるかを見る
![Page 83: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/83.jpg)
各箇所における観測量の間の共分散
各箇所における観測量の間の共分散をカーネル関数により与えるカーネル関数の例:ガウノアンカーネル
:カーネル関数のパラメータ
![Page 84: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/84.jpg)
観測量との同時分布
観測量との同時分布
、またの各要素は を表す観測量との同時分布
条件つき分布は、分割公式 ( 次スライドで解説 ) を用いて次のようになる
![Page 85: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/85.jpg)
分割公式
多次元正規分布に従う確率変数が与えられているとするを分割 平均ベクトルと分散共分散行列を分割𝒙=(𝑥𝑎Τ ,𝑥𝑏Τ )Τ
このとき、は、正規分布となる。これをとすると、平均ベクトルと分散共分散行列は以下のようになる
![Page 86: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/86.jpg)
このような分布の計算方法を抑えた上で、センサ配置のよさを評価する規準へ話を移す
![Page 87: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/87.jpg)
問題設定できるだけその観測誤差が小さくなるようにいくつかのセンサを配置する問題
見るべき規準配置したセンサによって、考えている領域の任意の箇所のにおける観測の不確実性をどれほど小さくできるか
式での表現I
:センサを置いた箇所の観測量 : (センサを置いた箇所とは限らない ) 任意の箇所 x の観測量
![Page 88: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/88.jpg)
観測の不確実性:エントロピー
観測の不確実性としては, エントロピーが一般的によく用いられる。確率変数の同時エントロピー
別の変数 y‘ を条件とする条件つきエントロピー
![Page 89: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/89.jpg)
センサを箇所 S に置いたときの、 ある箇所における観測量の条件つきエントロピー
正規分布を仮定した場合、次式のように表される
この式の値は、先述のガウス過程回帰により得られたを用いて計算できる
![Page 90: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/90.jpg)
不確実性の削減の定量化
センサを箇所に置いた際に、どの程度観測量の不確実性を減らすことができるかは、以下のように定量化できる
𝐻 (𝑦 (𝒙 ))−𝐻 (𝑦 (𝒙 )∨𝒚 𝑺)
センサを箇所 S に置いたときの、 ある箇所における観測量の条件つきエントロピー
ある箇所における観測の不確実性
![Page 91: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/91.jpg)
不確実性の削減の定量化
センサを箇所に置いた際に、どの程度観測量の不確実性を減らすことができるかは、以下のように定量化できる
𝐻 (𝑦 (𝒙 ))−𝐻 (𝑦 (𝒙 )∨𝒚 𝑺)
この値が大きければ、箇所に置いたことで不確実性がより減っていることがわかる
![Page 92: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/92.jpg)
不確実性の削減の定量化
センサを箇所に置いた際に、どの程度観測量の不確実性を減らすことができるかは、以下のように定量化できる
𝐻 (𝑦 (𝒙 ))−𝐻 (𝑦 (𝒙 )∨𝒚 𝑺)
現実的には、任意の箇所について計算することはできない。
![Page 93: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/93.jpg)
実際の評価方法:相互情報量
いくつかの代表的な箇所… , をあらかじめ選択しておきこれらの箇所と、センサを置けなかった箇所についてのこの量を評価する
この量は、と ( )の相互情報量とも呼ばれる𝑦 ¿
![Page 94: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/94.jpg)
実際の評価方法:相互情報量
この値が大きければ、箇所に置いたことで、不確実性がより減っていることがわかる我々の目標は、配置したセンサによって、考えている領域の任意の箇所における観測の不確実性をどれほど小さくできるか、であった。
この値 MI(S) を最大化することが目標となる。
![Page 95: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/95.jpg)
命題 3.4 : 相互情報量は劣モジュラ関数である
本を参照あれ
![Page 96: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/96.jpg)
ここまでが準備。長かったね〜笑おさらいをしておきまするよ。
![Page 97: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/97.jpg)
問題設定できるだけその観測誤差が小さくなるようにいくつかのセンサを配置する問題
見るべき規準配置したセンサによって、考えている領域の任意の箇所のにおける観測の不確実性をどれほど小さくできるか
式での表現劣モジュラ関数の一つである、以下の式の最大化に帰着
![Page 98: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/98.jpg)
問題は結局こうなる
センサを置く個数については無数にセンサを配置するというのは現実的ではない
目的関数は劣モジュラ関数。よって、本問題は要素数制約下の劣モジュラ関数最大化として定式化された!!!
よって、配置するセンサにより観測量の不確実性をできるだけ大きく減らすという問題は、以下のようになる。置くことができる個数を限定することが自然
![Page 99: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/99.jpg)
コンテンツ• 3.1 劣モジュラ最大化と貪欲法
• 3.1.1 劣モジュラ最大化と近似アルゴリズム• 3.1.2 劣モジュラ最大化のための貪欲法• 3.1.3 貪欲法の近似率
• 3.2 適用例 1 : 文書要約への適用• 3.2.1 文書要約の劣モジュラ最大化としての定式化• 3.2.2 文書要約のその他の規準
• 3.3 適用例 2: センサ配掴問題• 3.3.1 ガウス過程回帰による分布の推定• 3.3.2 センサ配置の規準と劣モジュラ性
• 3.4 適用例 3: 能動学習• 3.4.1 一括型能動学習と劣モジュラ性
• 3.5 その他の適用例• 3.6 補足:センサ配置可能箇所の設定について
![Page 100: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/100.jpg)
• 本を参照あれ。
![Page 101: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/101.jpg)
コンテンツ• 3.1 劣モジュラ最大化と貪欲法
• 3.1.1 劣モジュラ最大化と近似アルゴリズム• 3.1.2 劣モジュラ最大化のための貪欲法• 3.1.3 貪欲法の近似率
• 3.2 適用例 1 : 文書要約への適用• 3.2.1 文書要約の劣モジュラ最大化としての定式化• 3.2.2 文書要約のその他の規準
• 3.3 適用例 2: センサ配掴問題• 3.3.1 ガウス過程回帰による分布の推定• 3.3.2 センサ配置の規準と劣モジュラ性
• 3.4 適用例 3: 能動学習• 3.4.1 一括型能動学習と劣モジュラ性
• 3.5 その他の適用例• 3.6 補足:センサ配置可能箇所の設定について
![Page 102: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/102.jpg)
適用例 3: 能動学習
• っとその前に
![Page 103: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/103.jpg)
能動学習とは?
![Page 104: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/104.jpg)
まともに調べたことはなかったので、調べてみた
![Page 105: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/105.jpg)
本の内容に戻るよ
![Page 106: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/106.jpg)
教師あり学習においてラベルづけのコストが高いような場合能動学習を使う場面能動学習
重要なサンプルのみを選択してラベルづけを行うための方法で、機械学習における重要な問題の 1 つ能動学習の目的
![Page 107: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/107.jpg)
プールベース能動学習
ラベルのないサンプルの中から学習に有用となるラベルづけを行うサンプルを選択するという問題プールベース能動学習
![Page 108: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/108.jpg)
一括型能動学習
ラベルのないサンプルの中から学習に有用となるラベルづけを行うサンプルを選択するという問題プールベース能動学習
ラベルづけを行うサンプルを複数同時に選択する一括型能動学習
一種の集合関数の最適化問題
![Page 109: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/109.jpg)
一括型能動学習
ラベルづけを行うサンプルを複数同時に選択する一括型能動学習
一種の集合関数の最適化問題
すでにラベルづけされているサンプルが多ければ多いほど, 新しくラベルづけするサンプルの有用性は徐々に小さくなっていくという逓減的性質が成り立つ劣モジュラ!!!
![Page 110: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/110.jpg)
一括型能動学習の問題設定
:ラベルづけされていないサンプル
簡単のため二値分 類器を対象として考える
:の添え字の集合:各サンプルの(未知の)ラベル
記号
![Page 111: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/111.jpg)
一括型能動学習の目的
ラベルづけを行うサンプルを複数同時に選択する一括型能動学習
一種の集合関数の最適化問題
できるだけ性能の高い分類器の学習が可能 になるように、ラベルづけを行うできるだけ少ない(事前に与えた 個以下の)サンプルを選択すること
一括型能動学習の目的
![Page 112: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/112.jpg)
フィッシャー情報行列
ラベルづけを行うサンプルの集合がもつ有用性(どれだけ分類器の学習のための情報をもっているか)をフィッシャ ー 情報行列に基づいて考える
:有限のパラメ ー タ:パラメータに基づく分類器
フィッシャ ー情報行列
:ラベルづけを行うサンプルに関する分布:すべてのサンプルに関する分布
![Page 113: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/113.jpg)
補足:フィッシャー情報行列
• フィッシャー情報行列は統計学や情報理論においてよく用いられるもの•観測される確率変数が対象とするパラメ ー タ
に対してもつ情報の量を与える規準
• 参考:
![Page 114: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/114.jpg)
とりあえず今は、
![Page 115: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/115.jpg)
フィッシャー情報行列
ラベルづけを行うサンプルの集合がもつ有用性(どれだけ分類器の学習のための情報をもっているか)をフィッシャ ー 情報行列に基づいて考える
:有限のパラメ ー タ:パラメータに基づく分類器
フィッシャ ー情報行列
:ラベルづけを行うサンプルに関する分布:すべてのサンプルに関する分布
![Page 116: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/116.jpg)
というものだと抑えるので良いと思う。
![Page 117: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/117.jpg)
フィッシャ ー情報行列を用いた能動学習の規準
ラベルづけを行おうとするサンプルがもつ情報が、できるだけ全サ ンプルのそれに近くなるように選ぽうとする規準
![Page 118: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/118.jpg)
分類器としてのロ ジスティック回帰
分類器として(線形)ロ ジスティック回帰を用いて具体的な定式化を考えていく。ロジスティック回帰機械学習分野でよく用いられる二値分類器の 1つ
![Page 119: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/119.jpg)
ロジスティック回帰に関するフィッシャ ー 情報行列
![Page 120: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/120.jpg)
積分の近似計算
有限のサンプルを用いるので、積分の厳密な計算はできないので、以下のように近似する
![Page 121: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/121.jpg)
今回考えるべきは、以下の式。これから展開してくぞ!𝑡𝑟 (𝐼𝑞−1 𝐼𝑝)
ラベルづけを行おうとするサンプルがもつ情報が、できるだけ全サ ンプルのそれに近くなるように選ぽうとする規準
![Page 122: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/122.jpg)
: ラベルづけを行うサンプル集合 : 行列の単位行列
: 特異行列を避けるための小さな実数値
これらを今回最小化したい に代入すると次のようになる
![Page 123: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/123.jpg)
: ラベルづけを行うサンプル集合 : 行列の単位行列
: 特異行列を避けるための小さな実数値
これらを今回最小化したい に代入すると次のようになる
に比例するので無視できるほど小さい
![Page 124: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/124.jpg)
: ラベルづけを行うサンプル集合 : 行列の単位行列
: 特異行列を避けるための小さな実数値
これらを今回最小化したい に代入すると次のようになる
選択するサ ンプル集合に依存する項は第 3 項のみ
![Page 125: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/125.jpg)
: ラベルづけを行うサンプル集合 : 行列の単位行列
: 特異行列を避けるための小さな実数値
これらを今回最小化したい に代入すると次のようになる
この第3項についてもう少し整理して見てみる
![Page 126: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/126.jpg)
第3項
:の固有値と固有ベクトルの組
任意のについて次のような近似を与える ことができる
![Page 127: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/127.jpg)
第3項
:の固有値と固有ベクトルの組
任意のについて次のような近似を与える ことができる固有値 の調和平均を算術平均で置き換えるとおくと
![Page 128: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/128.jpg)
今デー タの前処理を行うことによってサンプルはに正規化されているとする ( つまり )
近似した第3項
最終的な第3項
![Page 129: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/129.jpg)
さぁ、思い出そう。
![Page 130: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/130.jpg)
今回考える、最小化すべきは、以下の式だったぞ!𝑡𝑟 (𝐼𝑞−1 𝐼𝑝)
ラベルづけを行おうとするサンプルがもつ情報が、できるだけ全サ ンプルのそれに近くなるように選ぽうとする規準
![Page 131: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/131.jpg)
なので
![Page 132: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/132.jpg)
0無視
![Page 133: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/133.jpg)
、と変換できたこともわかった。最小化にマイナスをつけて最大化問題とする
![Page 134: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/134.jpg)
−𝑡𝑟 (𝐼𝑞−1 𝐼𝑝 )
最大化すべき関数
最小化すべき関数
![Page 135: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/135.jpg)
最大化すべき関数 に関して式 3.15 を評価したもの
は選択するサンプル集合で、どの程度フィッシャ ー行列の比を小さくできるかを表す
に関して式 3.15 を評価したもの
![Page 136: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/136.jpg)
命題 3.5 :が劣モジュラかどうか
• 本を読もう
![Page 137: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/137.jpg)
コンテンツ• 3.1 劣モジュラ最大化と貪欲法
• 3.1.1 劣モジュラ最大化と近似アルゴリズム• 3.1.2 劣モジュラ最大化のための貪欲法• 3.1.3 貪欲法の近似率
• 3.2 適用例 1 : 文書要約への適用• 3.2.1 文書要約の劣モジュラ最大化としての定式化• 3.2.2 文書要約のその他の規準
• 3.3 適用例 2: センサ配掴問題• 3.3.1 ガウス過程回帰による分布の推定• 3.3.2 センサ配置の規準と劣モジュラ性
• 3.4 適用例 3: 能動学習• 3.4.1 一括型能動学習と劣モジュラ性
• 3.5 その他の適用例• 3.6 補足:センサ配置可能箇所の設定について
![Page 138: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/138.jpg)
劣モジュラ関数最大化としての定式化と貪欲法の適用例
• グラフマイニングにより得られた部分グ ラフ選択の劣モジュラ関数最大化として定式化 (Thoma)
• 線形回帰モデルにおける変数選択の規準の劣モジュラ性に関してする議論 (Das, Kempe)
![Page 139: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/139.jpg)
劣モジュラ関数最大化としての定式化と貪欲法の適用例
• インデイアン・ブッフェ過程おいて 計算途中で必要となる最適化を劣モジュラ関数最大化として近似的に定式化することで効率的な実装を実現 (Reed, Ghahramani)
• ケンペらのネッ トワー ク上での影響最大化の劣モジュラ関数最大化としての定式化が挙げら れる• ソーシャル・ネットワークにおけるマーケティング など、応
用的にも重要な適用例
![Page 140: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/140.jpg)
文書要約の拡張
• 文章の階層構造を用いたり、複数の文章を同時に要約するなどの拡張 (Lin, Bilmes)
![Page 141: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/141.jpg)
センサ配置の拡張
• ここで説明した相互情報量とは異なる規準や頑強化されたアルゴリズムの提案されている• 詳しくは本にある参考文献参照
![Page 142: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/142.jpg)
能動学習の拡張
• 時々刻々と変化する状況下での能動学習への拡張• そこでは, 適応劣モジュラ性と呼ばれる劣モジュラ
性を一般化した概念も重要な役割を果たす
![Page 143: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/143.jpg)
さらなる応用へ
• さらに関連する応用的話題について興味をもったら、本にある参考文献を見よう。
![Page 144: 劣モジュラ最適化と機械学習 3章](https://reader033.fdocuments.net/reader033/viewer/2022051101/58ac23d71a28abf03a8b5779/html5/thumbnails/144.jpg)
おわり