Global Refinement of Random Forest

@51Takahashi

自己紹介 CVPR2015読み会

2

• さのまる

• @51Takahashi

• 専門は顔の画像処理

著者紹介 CVPR2015読み会

3

• S. Ren, Xudong Cao, Yichen Wei, Jian Sun

– MSRAのすごいひとたち

著者紹介 CVPR2015読み会

4

• S. Ren, Xudong Cao, Yichen Wei, Jian Sun

– MSRAのすごいひとたち

• Jian Sunの研究グループの論文紹介(◎は勉強会で発表あり)

– Deep learning

– Delving deep into rectifiers: Surpassing human-level performance on ImageNet

classification(arXiv2015)

– Convolutional neural networks at constrained time cost(CVPR2015)

– 近似最近傍探索

– Sparse projections for high-dimensional binary codes(CVPR2015)

– Optimized product quantization(TPAMI2014, CVPR2013)

– Joint inverted indexing(ICCV2013)◎

– 手指姿勢推定

– Cascaded hand pose regression(CVPR2015)

– Realtime and robust hand tracking from depth(CVPR2014)

– 顔特徴点検出

– Face alignment at 3000 fps via regressing local binary features(CVPR2014)◎

– Face alignment by explicit shape regression(IJCV2014, CVPR2012)◎

概要

Global refinement of random forest

• 何の研究？

– ランダムフォレスト(分類・回帰)

• 何したの？

– 学習済ランダムフォレストのリファインメント手法を提案

• 提案手法は？

– ランダムフォレストをSVMまたはSVRとして扱います

– いらない枝を刈ります

• どうなったの？

– 高精度になりました

– 超省メモリになりました

– 速さは不明

CVPR2015読み会

5

分類問題

• 分類したいデータを二分木に入力 ⇒ 結果 1(正例)

木 CVPR2015読み会

6

1 -1 -1 1

分類問題

• 分類したいデータをランダムフォレストに入力 ⇒ 結果 1(正例)

ランダムフォレスト CVPR2015読み会

7

-1 1 -1 1 1 -1 -1 1 -1 1 -1 1

Ave 0.33

ランダムフォレスト？ CVPR2015読み会

8

0 1 0 0 0 0 0 1 0 0 1 0

発想の転換

• ランダムフォレストってバイナリ特徴と重みの積和だよね

-1 1 -1 1 1 -1 -1 1 -1 1 -1 1

Ave 0.33

ランダムフォレスト？ CVPR2015読み会

9

0 1 0 0 0 0 0 1 0 0 1 0

発想の転換

• ランダムフォレストってバイナリ特徴と重みの積和だよね

Q. 構造そのままで重みを変えるだけで精度上がるのでは？？

-1 1 -1 1 1 -1 -1 1 -1 1 -1 1

Ave 0.33

ランダムフォレスト？ CVPR2015読み会

10

0 1 0 0 0 0 0 1 0 0 1 0

発想の転換

• ランダムフォレストってバイナリ特徴と重みの積和だよね

Q. 構造そのままで重みを変えるだけで精度上がるのでは？？

A. そもそもこの問題解くのSVMでいいじゃん

– 特徴量はスパースだから、liblinear使うとうまく解ける

-1 1 -1 1 1 -1 -1 1 -1 1 -1 1

Ave 0.33

Global pruning

• なんだか重みが小さな枝がある・・・

Q. 重みの小さな枝はどうする？？

その後 CVPR2015読み会

11

-1 0 -2 3 0 0 -2 1 -1 3 -4 1

Global pruning

• なんだか重みが小さな枝がある・・・

Q. 重みの小さな枝はどうする？？

A. 重みのノルムが下位10%の枝は刈り取ってしまおう

その後 CVPR2015読み会

12

-1 0 -2 3 0 0 -2 1 -1 3 -4 1

1 3.6 0 2.2 3.2 4.1

Global pruning

• なんだか重みが小さな枝がある・・・

Q. 重みの小さな枝はどうする？？

A. 重みのノルムが下位10%の枝は刈り取ってしまおう

その後 CVPR2015読み会

13

-1 0 -2 3 0 0 -2 1 -1 3 -4 1

1 3.6 0 2.2 3.2 4.1

Global refinement of random forest

1. SVMを使って重みを再学習

2. 重みのノルムが下位10%の枝は刈り取る

3. 1と2を終了条件を満たすまで繰り返す

終了条件

A. 最もいい結果が得られたところで終了(Accurate)

E. 元のランダムフォレストと同じ性能になったら終了(Economic)

提案手法まとめ CVPR2015読み会

14

結果の簡単な例 CVPR2015読み会

15

評価実験

実験1：ベンチマーク

• MNISTなどのベンチマーク問題

• 分類5種類・回帰5種類

• 比較手法

– Alternating decision forest(ADF)[Schulter+, ICCV2013]

実験2：Kinect部位認識

• Kinectを使った20クラス分類問題

• 特徴量：2点間の差分特徴量

• 学習/テストデータ：デプス画像2000枚/500枚

実験3：顔年齢推定

• MORPH顔画像データセットで年齢を推定する回帰問題

• 特徴量：PCAで次元削減したLBP特徴量

• 学習/テストデータ： 顔画像10000枚/45134枚

CVPR2015読み会

16

実験1：ベンチマークの詳細 CVPR2015読み会

17

実験1：ベンチマークの結果 CVPR2015読み会

18

条件Aは高精度！・条件Eはコンパクト！

実験2：Kinect部位認識の結果 CVPR2015読み会

19

実験3：顔年齢推定の結果

• 作者の言い分

– [16]は顔特徴点検出したりしてtask-specificな手法だから高精度

– [6]と[15]はサブセットの結果だからちょっと違う

CVPR2015読み会

20

[Hu+, ICB2013]

[Chang+, CVPR2011]

[Guo+, CVPR2011]

リファインメント前後の比較 CVPR2015読み会

21

before

リファインメント前後の比較 CVPR2015読み会

22

after

リファインメント前後の比較 CVPR2015読み会

23

after

before

まとめ

Global refinement of random forest

• 何の研究？

– ランダムフォレスト(分類・回帰)

• 何したの？

– 学習済ランダムフォレストのリファインメント手法を提案

• 提案手法は？

– ランダムフォレストをSVMまたはSVRとして扱います

– いらない枝を刈ります

• どうなったの？

– 高精度になりました

– 超省メモリになりました

– 速さは不明

CVPR2015読み会

24