Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

24
Relational Binarized HOG特徴量と Real AdaBoostによるバイナリ選択を用いた物体検出 松島千佳,山内悠嗣,藤吉弘亘(中部大学) 山下隆義(中部大学,オムロン株式会社) 1

Transcript of Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

Page 1: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

Relational Binarized HOG特徴量と Real AdaBoostによるバイナリ選択を用いた物体検出

松島千佳山内悠嗣藤吉弘亘(中部大学)

山下隆義(中部大学オムロン株式会社)

1

ハードウェアを用いた物体検出

2

物体検出に有効なHOG特徴量 [Dalal et al CVPR lsquo05]

bull 局所領域における輝度の勾配方向に着目

ndash 物体の形状を表現可能

ndash 局所的な幾何学変化に頑健

入力画像

16セ

8セル

HOG特徴量 1セル 8x8ピクセル

26880バイト 特徴量数3360 個

浮動小数点型8 バイト

勾配方向ヒストグラム

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

1つのウィンドウにおけるメモリ量

125GB サイズ640x480ピクセル

ウィンドウ数50000 個

画像1枚におけるメモリ量

3

1 特徴量数(次元数)を削減

ndash ベクトル量子化 bull クラスタリングにより特徴量数を削減

ndash 主成分分析 bull 部分空間に射影することにより特徴次元を削減

2 低ビット量子化により情報量を削減

ndash スカラー量子化

ndash 2値化

メモリ量の削減法

4

元の情報量は維持されるが処理コストは高い

元の情報量は削減されるが処理コストは低い

閾値処理によるHOG特徴量の2値化

bull Binarized HOG特徴量 (B-HOG)

ndash 固定閾値による閾値処理

ndash 8方向のバイナリ(バイナリパターン)で1つの特徴量

ndash 符号なし整数型で扱うことが可能

5

(0 1 1 1 1 0 0 0 )2

B-HOG特徴量

HOG特徴量と比較してメモリ量を164に削減

0

1

入力画像 勾配方向ヒストグラム

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

閾値

1 最適な閾値が必要

2 同一のバイナリパターンとして扱うことが困難

ndash 閾値との差が小さい場合容易にバイナリが反転

B-HOG特徴量の問題点

6 入力画像

勾配方向 勾

配強

勾配方向

勾配

強度

0

1

閾値 (0 1 1 1 1 0 0 0 )2

0

1

閾値 (0 1 1 1 0 0 0 0 )2

7 ( )16 8

7 ( )16 0

提案手法

1 Relational Binarized HOG特徴量 (RB-HOG)

ndash 2つのセルから得た特徴量の大小関係により2値化

2 ldquordquoを用いた識別に有効なバイナリ選択

ndash 容易に反転するバイナリをldquolowastrdquoで表現 bull ldquordquoはldquo0rdquoとldquo1rdquoの2値を許容

7

閾値が不要でありメモリ量の削減が可能

特徴量の表現能力が向上

bull 2つのセルから得た特徴量の大小関係により2値化

ndash 閾値(パラメータ)が不要

ndash 局所領域間の関係性を表現

ndash HOG特徴量における正規化処理を必要としない

入力画像

Relational Binarized HOG特徴量 (RB-HOG)

8

RB-HOG特徴量

0

1

勾配方向

1 2 3 4 5 6 7 8 勾

配強

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配強度の差

( 1 1 1 1 0 0 0 1 ) 2

類似した形状から得られるRB-HOG特徴量

bull 勾配強度が同じ場合明確な2値で表現困難

9

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配強度の差

0

1

RB-HOG特徴量

( 0 1 1 1 0 0 1 1 ) 2

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

10

0

1

勾配強度の差

0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量)

( 0 1 1 1 0 0 1 1 ) 2 s = 0

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

11

1方向シフト (s = 1) SRB-HOG特徴量

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

0

1

勾配強度の差

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

12

SRB-HOG特徴量 7方向シフト (s = 7)

hellip

SRB-HOG特徴量

( 1 1 0 0 0 0 0 1 ) 2 s = 7

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

勾配

強度

勾配方向

0

1

勾配強度の差

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

SRB-HOG特徴量の効果

13

勾配強度の差が少ないバイナリでも明確な2値化が可能

1 2 3 4 5 6 7 8

勾配

強度

0方向シフト (s = 0) 1 2 3 4 5 6 7 8

勾配

強度

4方向シフト (s = 4)

勾配

強度

5 6 7 8 1 2 3 4

勾配強度の差

s = 0 ( 0 1 1 1 0 0 1 1 ) 2

勾配強度の差

s = 4 ( 1 1 1 1 0 0 0 1 ) 2

2 ldquordquoを用いた識別に有効なバイナリ選択

14

bull 勾配強度の差が小さい場合反転する可能性あり

ndash 信頼性が低いバイナリが存在する場合誤検出の要因

ldquordquoの導入

15

1 1 1 0 0 0

ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより

表現されるパターン

11100000

11110000

11100001

11110001

反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入

類似した複数の特徴量を1つのパターンで表現

SRB-HOG特徴量

4方向シフト (s = 4)

勾配方向 1 2 3 4 5 6 7 8

勾配

強度

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 1 1 1 1 0 0 0 1 ) 2

勾配強度の差

bull 全組み合わせを考慮

ndash ldquordquoの位置

ndash ldquordquoの数

一組のセルにおける弱識別器の候補数

16

00000000 00000000 00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

hellip hellip hellip

hellip hellip

全ての組み合わせから識別に有効なパターンを選択

バイナリ数

(0 1 )

38 = 6561パターン

Real AdaBoostの弱識別器

bull 各クラスの重みつき頻度により対数比を出力

ndash 対象パターンと抽出パターンの一致不一致により算出

17

1 1 1 0 0 0

対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)

一致

頻度

不一致

各クラスの重み付き頻度

ポジティブクラス ネガティブクラス

W-

W+

1- W-

1- W+

11100000

11110000

11100001

11110001

00000010

hellip

hellip

評価実験

bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認

ndash 実験2 バイナリ選択の有効性を確認

bull 比較手法 ndash HOG特徴量 (HOG)

ndash Binarized HOG特徴量 (B-HOG)

ndash Relational Binarized HOG特徴量 (RB-HOG)

ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)

bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ

bull 原点に近いほど検出器の性能が高い 18

データセット

19

データセット 学習用 評価用

ポジティブ ネガティブ ポジティブ ネガティブ

INRIA person dataset 2415 12180 1126 453

車両のデータセット 710 8800 1230 3880

ポジティブサンプル

ネガティブサンプル

INRIA person dataset

ポジティブサンプル

ネガティブサンプル

車両のデータセット

実験1 RB-HOG特徴量の有効性の確認

20

提案手法の中ではSRB-HOG特徴量が最も高精度

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG

SRB-HOG

B-HOG RB-HOG

1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

B-HOG

SRB-HOG RB-HOG

HOG

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 2: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

ハードウェアを用いた物体検出

2

物体検出に有効なHOG特徴量 [Dalal et al CVPR lsquo05]

bull 局所領域における輝度の勾配方向に着目

ndash 物体の形状を表現可能

ndash 局所的な幾何学変化に頑健

入力画像

16セ

8セル

HOG特徴量 1セル 8x8ピクセル

26880バイト 特徴量数3360 個

浮動小数点型8 バイト

勾配方向ヒストグラム

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

1つのウィンドウにおけるメモリ量

125GB サイズ640x480ピクセル

ウィンドウ数50000 個

画像1枚におけるメモリ量

3

1 特徴量数(次元数)を削減

ndash ベクトル量子化 bull クラスタリングにより特徴量数を削減

ndash 主成分分析 bull 部分空間に射影することにより特徴次元を削減

2 低ビット量子化により情報量を削減

ndash スカラー量子化

ndash 2値化

メモリ量の削減法

4

元の情報量は維持されるが処理コストは高い

元の情報量は削減されるが処理コストは低い

閾値処理によるHOG特徴量の2値化

bull Binarized HOG特徴量 (B-HOG)

ndash 固定閾値による閾値処理

ndash 8方向のバイナリ(バイナリパターン)で1つの特徴量

ndash 符号なし整数型で扱うことが可能

5

(0 1 1 1 1 0 0 0 )2

B-HOG特徴量

HOG特徴量と比較してメモリ量を164に削減

0

1

入力画像 勾配方向ヒストグラム

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

閾値

1 最適な閾値が必要

2 同一のバイナリパターンとして扱うことが困難

ndash 閾値との差が小さい場合容易にバイナリが反転

B-HOG特徴量の問題点

6 入力画像

勾配方向 勾

配強

勾配方向

勾配

強度

0

1

閾値 (0 1 1 1 1 0 0 0 )2

0

1

閾値 (0 1 1 1 0 0 0 0 )2

7 ( )16 8

7 ( )16 0

提案手法

1 Relational Binarized HOG特徴量 (RB-HOG)

ndash 2つのセルから得た特徴量の大小関係により2値化

2 ldquordquoを用いた識別に有効なバイナリ選択

ndash 容易に反転するバイナリをldquolowastrdquoで表現 bull ldquordquoはldquo0rdquoとldquo1rdquoの2値を許容

7

閾値が不要でありメモリ量の削減が可能

特徴量の表現能力が向上

bull 2つのセルから得た特徴量の大小関係により2値化

ndash 閾値(パラメータ)が不要

ndash 局所領域間の関係性を表現

ndash HOG特徴量における正規化処理を必要としない

入力画像

Relational Binarized HOG特徴量 (RB-HOG)

8

RB-HOG特徴量

0

1

勾配方向

1 2 3 4 5 6 7 8 勾

配強

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配強度の差

( 1 1 1 1 0 0 0 1 ) 2

類似した形状から得られるRB-HOG特徴量

bull 勾配強度が同じ場合明確な2値で表現困難

9

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配強度の差

0

1

RB-HOG特徴量

( 0 1 1 1 0 0 1 1 ) 2

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

10

0

1

勾配強度の差

0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量)

( 0 1 1 1 0 0 1 1 ) 2 s = 0

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

11

1方向シフト (s = 1) SRB-HOG特徴量

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

0

1

勾配強度の差

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

12

SRB-HOG特徴量 7方向シフト (s = 7)

hellip

SRB-HOG特徴量

( 1 1 0 0 0 0 0 1 ) 2 s = 7

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

勾配

強度

勾配方向

0

1

勾配強度の差

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

SRB-HOG特徴量の効果

13

勾配強度の差が少ないバイナリでも明確な2値化が可能

1 2 3 4 5 6 7 8

勾配

強度

0方向シフト (s = 0) 1 2 3 4 5 6 7 8

勾配

強度

4方向シフト (s = 4)

勾配

強度

5 6 7 8 1 2 3 4

勾配強度の差

s = 0 ( 0 1 1 1 0 0 1 1 ) 2

勾配強度の差

s = 4 ( 1 1 1 1 0 0 0 1 ) 2

2 ldquordquoを用いた識別に有効なバイナリ選択

14

bull 勾配強度の差が小さい場合反転する可能性あり

ndash 信頼性が低いバイナリが存在する場合誤検出の要因

ldquordquoの導入

15

1 1 1 0 0 0

ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより

表現されるパターン

11100000

11110000

11100001

11110001

反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入

類似した複数の特徴量を1つのパターンで表現

SRB-HOG特徴量

4方向シフト (s = 4)

勾配方向 1 2 3 4 5 6 7 8

勾配

強度

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 1 1 1 1 0 0 0 1 ) 2

勾配強度の差

bull 全組み合わせを考慮

ndash ldquordquoの位置

ndash ldquordquoの数

一組のセルにおける弱識別器の候補数

16

00000000 00000000 00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

hellip hellip hellip

hellip hellip

全ての組み合わせから識別に有効なパターンを選択

バイナリ数

(0 1 )

38 = 6561パターン

Real AdaBoostの弱識別器

bull 各クラスの重みつき頻度により対数比を出力

ndash 対象パターンと抽出パターンの一致不一致により算出

17

1 1 1 0 0 0

対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)

一致

頻度

不一致

各クラスの重み付き頻度

ポジティブクラス ネガティブクラス

W-

W+

1- W-

1- W+

11100000

11110000

11100001

11110001

00000010

hellip

hellip

評価実験

bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認

ndash 実験2 バイナリ選択の有効性を確認

bull 比較手法 ndash HOG特徴量 (HOG)

ndash Binarized HOG特徴量 (B-HOG)

ndash Relational Binarized HOG特徴量 (RB-HOG)

ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)

bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ

bull 原点に近いほど検出器の性能が高い 18

データセット

19

データセット 学習用 評価用

ポジティブ ネガティブ ポジティブ ネガティブ

INRIA person dataset 2415 12180 1126 453

車両のデータセット 710 8800 1230 3880

ポジティブサンプル

ネガティブサンプル

INRIA person dataset

ポジティブサンプル

ネガティブサンプル

車両のデータセット

実験1 RB-HOG特徴量の有効性の確認

20

提案手法の中ではSRB-HOG特徴量が最も高精度

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG

SRB-HOG

B-HOG RB-HOG

1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

B-HOG

SRB-HOG RB-HOG

HOG

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 3: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

物体検出に有効なHOG特徴量 [Dalal et al CVPR lsquo05]

bull 局所領域における輝度の勾配方向に着目

ndash 物体の形状を表現可能

ndash 局所的な幾何学変化に頑健

入力画像

16セ

8セル

HOG特徴量 1セル 8x8ピクセル

26880バイト 特徴量数3360 個

浮動小数点型8 バイト

勾配方向ヒストグラム

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

1つのウィンドウにおけるメモリ量

125GB サイズ640x480ピクセル

ウィンドウ数50000 個

画像1枚におけるメモリ量

3

1 特徴量数(次元数)を削減

ndash ベクトル量子化 bull クラスタリングにより特徴量数を削減

ndash 主成分分析 bull 部分空間に射影することにより特徴次元を削減

2 低ビット量子化により情報量を削減

ndash スカラー量子化

ndash 2値化

メモリ量の削減法

4

元の情報量は維持されるが処理コストは高い

元の情報量は削減されるが処理コストは低い

閾値処理によるHOG特徴量の2値化

bull Binarized HOG特徴量 (B-HOG)

ndash 固定閾値による閾値処理

ndash 8方向のバイナリ(バイナリパターン)で1つの特徴量

ndash 符号なし整数型で扱うことが可能

5

(0 1 1 1 1 0 0 0 )2

B-HOG特徴量

HOG特徴量と比較してメモリ量を164に削減

0

1

入力画像 勾配方向ヒストグラム

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

閾値

1 最適な閾値が必要

2 同一のバイナリパターンとして扱うことが困難

ndash 閾値との差が小さい場合容易にバイナリが反転

B-HOG特徴量の問題点

6 入力画像

勾配方向 勾

配強

勾配方向

勾配

強度

0

1

閾値 (0 1 1 1 1 0 0 0 )2

0

1

閾値 (0 1 1 1 0 0 0 0 )2

7 ( )16 8

7 ( )16 0

提案手法

1 Relational Binarized HOG特徴量 (RB-HOG)

ndash 2つのセルから得た特徴量の大小関係により2値化

2 ldquordquoを用いた識別に有効なバイナリ選択

ndash 容易に反転するバイナリをldquolowastrdquoで表現 bull ldquordquoはldquo0rdquoとldquo1rdquoの2値を許容

7

閾値が不要でありメモリ量の削減が可能

特徴量の表現能力が向上

bull 2つのセルから得た特徴量の大小関係により2値化

ndash 閾値(パラメータ)が不要

ndash 局所領域間の関係性を表現

ndash HOG特徴量における正規化処理を必要としない

入力画像

Relational Binarized HOG特徴量 (RB-HOG)

8

RB-HOG特徴量

0

1

勾配方向

1 2 3 4 5 6 7 8 勾

配強

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配強度の差

( 1 1 1 1 0 0 0 1 ) 2

類似した形状から得られるRB-HOG特徴量

bull 勾配強度が同じ場合明確な2値で表現困難

9

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配強度の差

0

1

RB-HOG特徴量

( 0 1 1 1 0 0 1 1 ) 2

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

10

0

1

勾配強度の差

0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量)

( 0 1 1 1 0 0 1 1 ) 2 s = 0

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

11

1方向シフト (s = 1) SRB-HOG特徴量

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

0

1

勾配強度の差

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

12

SRB-HOG特徴量 7方向シフト (s = 7)

hellip

SRB-HOG特徴量

( 1 1 0 0 0 0 0 1 ) 2 s = 7

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

勾配

強度

勾配方向

0

1

勾配強度の差

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

SRB-HOG特徴量の効果

13

勾配強度の差が少ないバイナリでも明確な2値化が可能

1 2 3 4 5 6 7 8

勾配

強度

0方向シフト (s = 0) 1 2 3 4 5 6 7 8

勾配

強度

4方向シフト (s = 4)

勾配

強度

5 6 7 8 1 2 3 4

勾配強度の差

s = 0 ( 0 1 1 1 0 0 1 1 ) 2

勾配強度の差

s = 4 ( 1 1 1 1 0 0 0 1 ) 2

2 ldquordquoを用いた識別に有効なバイナリ選択

14

bull 勾配強度の差が小さい場合反転する可能性あり

ndash 信頼性が低いバイナリが存在する場合誤検出の要因

ldquordquoの導入

15

1 1 1 0 0 0

ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより

表現されるパターン

11100000

11110000

11100001

11110001

反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入

類似した複数の特徴量を1つのパターンで表現

SRB-HOG特徴量

4方向シフト (s = 4)

勾配方向 1 2 3 4 5 6 7 8

勾配

強度

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 1 1 1 1 0 0 0 1 ) 2

勾配強度の差

bull 全組み合わせを考慮

ndash ldquordquoの位置

ndash ldquordquoの数

一組のセルにおける弱識別器の候補数

16

00000000 00000000 00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

hellip hellip hellip

hellip hellip

全ての組み合わせから識別に有効なパターンを選択

バイナリ数

(0 1 )

38 = 6561パターン

Real AdaBoostの弱識別器

bull 各クラスの重みつき頻度により対数比を出力

ndash 対象パターンと抽出パターンの一致不一致により算出

17

1 1 1 0 0 0

対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)

一致

頻度

不一致

各クラスの重み付き頻度

ポジティブクラス ネガティブクラス

W-

W+

1- W-

1- W+

11100000

11110000

11100001

11110001

00000010

hellip

hellip

評価実験

bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認

ndash 実験2 バイナリ選択の有効性を確認

bull 比較手法 ndash HOG特徴量 (HOG)

ndash Binarized HOG特徴量 (B-HOG)

ndash Relational Binarized HOG特徴量 (RB-HOG)

ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)

bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ

bull 原点に近いほど検出器の性能が高い 18

データセット

19

データセット 学習用 評価用

ポジティブ ネガティブ ポジティブ ネガティブ

INRIA person dataset 2415 12180 1126 453

車両のデータセット 710 8800 1230 3880

ポジティブサンプル

ネガティブサンプル

INRIA person dataset

ポジティブサンプル

ネガティブサンプル

車両のデータセット

実験1 RB-HOG特徴量の有効性の確認

20

提案手法の中ではSRB-HOG特徴量が最も高精度

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG

SRB-HOG

B-HOG RB-HOG

1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

B-HOG

SRB-HOG RB-HOG

HOG

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 4: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

1 特徴量数(次元数)を削減

ndash ベクトル量子化 bull クラスタリングにより特徴量数を削減

ndash 主成分分析 bull 部分空間に射影することにより特徴次元を削減

2 低ビット量子化により情報量を削減

ndash スカラー量子化

ndash 2値化

メモリ量の削減法

4

元の情報量は維持されるが処理コストは高い

元の情報量は削減されるが処理コストは低い

閾値処理によるHOG特徴量の2値化

bull Binarized HOG特徴量 (B-HOG)

ndash 固定閾値による閾値処理

ndash 8方向のバイナリ(バイナリパターン)で1つの特徴量

ndash 符号なし整数型で扱うことが可能

5

(0 1 1 1 1 0 0 0 )2

B-HOG特徴量

HOG特徴量と比較してメモリ量を164に削減

0

1

入力画像 勾配方向ヒストグラム

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

閾値

1 最適な閾値が必要

2 同一のバイナリパターンとして扱うことが困難

ndash 閾値との差が小さい場合容易にバイナリが反転

B-HOG特徴量の問題点

6 入力画像

勾配方向 勾

配強

勾配方向

勾配

強度

0

1

閾値 (0 1 1 1 1 0 0 0 )2

0

1

閾値 (0 1 1 1 0 0 0 0 )2

7 ( )16 8

7 ( )16 0

提案手法

1 Relational Binarized HOG特徴量 (RB-HOG)

ndash 2つのセルから得た特徴量の大小関係により2値化

2 ldquordquoを用いた識別に有効なバイナリ選択

ndash 容易に反転するバイナリをldquolowastrdquoで表現 bull ldquordquoはldquo0rdquoとldquo1rdquoの2値を許容

7

閾値が不要でありメモリ量の削減が可能

特徴量の表現能力が向上

bull 2つのセルから得た特徴量の大小関係により2値化

ndash 閾値(パラメータ)が不要

ndash 局所領域間の関係性を表現

ndash HOG特徴量における正規化処理を必要としない

入力画像

Relational Binarized HOG特徴量 (RB-HOG)

8

RB-HOG特徴量

0

1

勾配方向

1 2 3 4 5 6 7 8 勾

配強

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配強度の差

( 1 1 1 1 0 0 0 1 ) 2

類似した形状から得られるRB-HOG特徴量

bull 勾配強度が同じ場合明確な2値で表現困難

9

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配強度の差

0

1

RB-HOG特徴量

( 0 1 1 1 0 0 1 1 ) 2

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

10

0

1

勾配強度の差

0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量)

( 0 1 1 1 0 0 1 1 ) 2 s = 0

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

11

1方向シフト (s = 1) SRB-HOG特徴量

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

0

1

勾配強度の差

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

12

SRB-HOG特徴量 7方向シフト (s = 7)

hellip

SRB-HOG特徴量

( 1 1 0 0 0 0 0 1 ) 2 s = 7

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

勾配

強度

勾配方向

0

1

勾配強度の差

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

SRB-HOG特徴量の効果

13

勾配強度の差が少ないバイナリでも明確な2値化が可能

1 2 3 4 5 6 7 8

勾配

強度

0方向シフト (s = 0) 1 2 3 4 5 6 7 8

勾配

強度

4方向シフト (s = 4)

勾配

強度

5 6 7 8 1 2 3 4

勾配強度の差

s = 0 ( 0 1 1 1 0 0 1 1 ) 2

勾配強度の差

s = 4 ( 1 1 1 1 0 0 0 1 ) 2

2 ldquordquoを用いた識別に有効なバイナリ選択

14

bull 勾配強度の差が小さい場合反転する可能性あり

ndash 信頼性が低いバイナリが存在する場合誤検出の要因

ldquordquoの導入

15

1 1 1 0 0 0

ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより

表現されるパターン

11100000

11110000

11100001

11110001

反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入

類似した複数の特徴量を1つのパターンで表現

SRB-HOG特徴量

4方向シフト (s = 4)

勾配方向 1 2 3 4 5 6 7 8

勾配

強度

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 1 1 1 1 0 0 0 1 ) 2

勾配強度の差

bull 全組み合わせを考慮

ndash ldquordquoの位置

ndash ldquordquoの数

一組のセルにおける弱識別器の候補数

16

00000000 00000000 00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

hellip hellip hellip

hellip hellip

全ての組み合わせから識別に有効なパターンを選択

バイナリ数

(0 1 )

38 = 6561パターン

Real AdaBoostの弱識別器

bull 各クラスの重みつき頻度により対数比を出力

ndash 対象パターンと抽出パターンの一致不一致により算出

17

1 1 1 0 0 0

対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)

一致

頻度

不一致

各クラスの重み付き頻度

ポジティブクラス ネガティブクラス

W-

W+

1- W-

1- W+

11100000

11110000

11100001

11110001

00000010

hellip

hellip

評価実験

bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認

ndash 実験2 バイナリ選択の有効性を確認

bull 比較手法 ndash HOG特徴量 (HOG)

ndash Binarized HOG特徴量 (B-HOG)

ndash Relational Binarized HOG特徴量 (RB-HOG)

ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)

bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ

bull 原点に近いほど検出器の性能が高い 18

データセット

19

データセット 学習用 評価用

ポジティブ ネガティブ ポジティブ ネガティブ

INRIA person dataset 2415 12180 1126 453

車両のデータセット 710 8800 1230 3880

ポジティブサンプル

ネガティブサンプル

INRIA person dataset

ポジティブサンプル

ネガティブサンプル

車両のデータセット

実験1 RB-HOG特徴量の有効性の確認

20

提案手法の中ではSRB-HOG特徴量が最も高精度

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG

SRB-HOG

B-HOG RB-HOG

1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

B-HOG

SRB-HOG RB-HOG

HOG

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 5: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

閾値処理によるHOG特徴量の2値化

bull Binarized HOG特徴量 (B-HOG)

ndash 固定閾値による閾値処理

ndash 8方向のバイナリ(バイナリパターン)で1つの特徴量

ndash 符号なし整数型で扱うことが可能

5

(0 1 1 1 1 0 0 0 )2

B-HOG特徴量

HOG特徴量と比較してメモリ量を164に削減

0

1

入力画像 勾配方向ヒストグラム

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

閾値

1 最適な閾値が必要

2 同一のバイナリパターンとして扱うことが困難

ndash 閾値との差が小さい場合容易にバイナリが反転

B-HOG特徴量の問題点

6 入力画像

勾配方向 勾

配強

勾配方向

勾配

強度

0

1

閾値 (0 1 1 1 1 0 0 0 )2

0

1

閾値 (0 1 1 1 0 0 0 0 )2

7 ( )16 8

7 ( )16 0

提案手法

1 Relational Binarized HOG特徴量 (RB-HOG)

ndash 2つのセルから得た特徴量の大小関係により2値化

2 ldquordquoを用いた識別に有効なバイナリ選択

ndash 容易に反転するバイナリをldquolowastrdquoで表現 bull ldquordquoはldquo0rdquoとldquo1rdquoの2値を許容

7

閾値が不要でありメモリ量の削減が可能

特徴量の表現能力が向上

bull 2つのセルから得た特徴量の大小関係により2値化

ndash 閾値(パラメータ)が不要

ndash 局所領域間の関係性を表現

ndash HOG特徴量における正規化処理を必要としない

入力画像

Relational Binarized HOG特徴量 (RB-HOG)

8

RB-HOG特徴量

0

1

勾配方向

1 2 3 4 5 6 7 8 勾

配強

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配強度の差

( 1 1 1 1 0 0 0 1 ) 2

類似した形状から得られるRB-HOG特徴量

bull 勾配強度が同じ場合明確な2値で表現困難

9

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配強度の差

0

1

RB-HOG特徴量

( 0 1 1 1 0 0 1 1 ) 2

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

10

0

1

勾配強度の差

0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量)

( 0 1 1 1 0 0 1 1 ) 2 s = 0

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

11

1方向シフト (s = 1) SRB-HOG特徴量

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

0

1

勾配強度の差

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

12

SRB-HOG特徴量 7方向シフト (s = 7)

hellip

SRB-HOG特徴量

( 1 1 0 0 0 0 0 1 ) 2 s = 7

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

勾配

強度

勾配方向

0

1

勾配強度の差

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

SRB-HOG特徴量の効果

13

勾配強度の差が少ないバイナリでも明確な2値化が可能

1 2 3 4 5 6 7 8

勾配

強度

0方向シフト (s = 0) 1 2 3 4 5 6 7 8

勾配

強度

4方向シフト (s = 4)

勾配

強度

5 6 7 8 1 2 3 4

勾配強度の差

s = 0 ( 0 1 1 1 0 0 1 1 ) 2

勾配強度の差

s = 4 ( 1 1 1 1 0 0 0 1 ) 2

2 ldquordquoを用いた識別に有効なバイナリ選択

14

bull 勾配強度の差が小さい場合反転する可能性あり

ndash 信頼性が低いバイナリが存在する場合誤検出の要因

ldquordquoの導入

15

1 1 1 0 0 0

ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより

表現されるパターン

11100000

11110000

11100001

11110001

反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入

類似した複数の特徴量を1つのパターンで表現

SRB-HOG特徴量

4方向シフト (s = 4)

勾配方向 1 2 3 4 5 6 7 8

勾配

強度

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 1 1 1 1 0 0 0 1 ) 2

勾配強度の差

bull 全組み合わせを考慮

ndash ldquordquoの位置

ndash ldquordquoの数

一組のセルにおける弱識別器の候補数

16

00000000 00000000 00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

hellip hellip hellip

hellip hellip

全ての組み合わせから識別に有効なパターンを選択

バイナリ数

(0 1 )

38 = 6561パターン

Real AdaBoostの弱識別器

bull 各クラスの重みつき頻度により対数比を出力

ndash 対象パターンと抽出パターンの一致不一致により算出

17

1 1 1 0 0 0

対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)

一致

頻度

不一致

各クラスの重み付き頻度

ポジティブクラス ネガティブクラス

W-

W+

1- W-

1- W+

11100000

11110000

11100001

11110001

00000010

hellip

hellip

評価実験

bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認

ndash 実験2 バイナリ選択の有効性を確認

bull 比較手法 ndash HOG特徴量 (HOG)

ndash Binarized HOG特徴量 (B-HOG)

ndash Relational Binarized HOG特徴量 (RB-HOG)

ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)

bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ

bull 原点に近いほど検出器の性能が高い 18

データセット

19

データセット 学習用 評価用

ポジティブ ネガティブ ポジティブ ネガティブ

INRIA person dataset 2415 12180 1126 453

車両のデータセット 710 8800 1230 3880

ポジティブサンプル

ネガティブサンプル

INRIA person dataset

ポジティブサンプル

ネガティブサンプル

車両のデータセット

実験1 RB-HOG特徴量の有効性の確認

20

提案手法の中ではSRB-HOG特徴量が最も高精度

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG

SRB-HOG

B-HOG RB-HOG

1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

B-HOG

SRB-HOG RB-HOG

HOG

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 6: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

1 最適な閾値が必要

2 同一のバイナリパターンとして扱うことが困難

ndash 閾値との差が小さい場合容易にバイナリが反転

B-HOG特徴量の問題点

6 入力画像

勾配方向 勾

配強

勾配方向

勾配

強度

0

1

閾値 (0 1 1 1 1 0 0 0 )2

0

1

閾値 (0 1 1 1 0 0 0 0 )2

7 ( )16 8

7 ( )16 0

提案手法

1 Relational Binarized HOG特徴量 (RB-HOG)

ndash 2つのセルから得た特徴量の大小関係により2値化

2 ldquordquoを用いた識別に有効なバイナリ選択

ndash 容易に反転するバイナリをldquolowastrdquoで表現 bull ldquordquoはldquo0rdquoとldquo1rdquoの2値を許容

7

閾値が不要でありメモリ量の削減が可能

特徴量の表現能力が向上

bull 2つのセルから得た特徴量の大小関係により2値化

ndash 閾値(パラメータ)が不要

ndash 局所領域間の関係性を表現

ndash HOG特徴量における正規化処理を必要としない

入力画像

Relational Binarized HOG特徴量 (RB-HOG)

8

RB-HOG特徴量

0

1

勾配方向

1 2 3 4 5 6 7 8 勾

配強

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配強度の差

( 1 1 1 1 0 0 0 1 ) 2

類似した形状から得られるRB-HOG特徴量

bull 勾配強度が同じ場合明確な2値で表現困難

9

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配強度の差

0

1

RB-HOG特徴量

( 0 1 1 1 0 0 1 1 ) 2

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

10

0

1

勾配強度の差

0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量)

( 0 1 1 1 0 0 1 1 ) 2 s = 0

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

11

1方向シフト (s = 1) SRB-HOG特徴量

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

0

1

勾配強度の差

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

12

SRB-HOG特徴量 7方向シフト (s = 7)

hellip

SRB-HOG特徴量

( 1 1 0 0 0 0 0 1 ) 2 s = 7

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

勾配

強度

勾配方向

0

1

勾配強度の差

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

SRB-HOG特徴量の効果

13

勾配強度の差が少ないバイナリでも明確な2値化が可能

1 2 3 4 5 6 7 8

勾配

強度

0方向シフト (s = 0) 1 2 3 4 5 6 7 8

勾配

強度

4方向シフト (s = 4)

勾配

強度

5 6 7 8 1 2 3 4

勾配強度の差

s = 0 ( 0 1 1 1 0 0 1 1 ) 2

勾配強度の差

s = 4 ( 1 1 1 1 0 0 0 1 ) 2

2 ldquordquoを用いた識別に有効なバイナリ選択

14

bull 勾配強度の差が小さい場合反転する可能性あり

ndash 信頼性が低いバイナリが存在する場合誤検出の要因

ldquordquoの導入

15

1 1 1 0 0 0

ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより

表現されるパターン

11100000

11110000

11100001

11110001

反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入

類似した複数の特徴量を1つのパターンで表現

SRB-HOG特徴量

4方向シフト (s = 4)

勾配方向 1 2 3 4 5 6 7 8

勾配

強度

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 1 1 1 1 0 0 0 1 ) 2

勾配強度の差

bull 全組み合わせを考慮

ndash ldquordquoの位置

ndash ldquordquoの数

一組のセルにおける弱識別器の候補数

16

00000000 00000000 00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

hellip hellip hellip

hellip hellip

全ての組み合わせから識別に有効なパターンを選択

バイナリ数

(0 1 )

38 = 6561パターン

Real AdaBoostの弱識別器

bull 各クラスの重みつき頻度により対数比を出力

ndash 対象パターンと抽出パターンの一致不一致により算出

17

1 1 1 0 0 0

対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)

一致

頻度

不一致

各クラスの重み付き頻度

ポジティブクラス ネガティブクラス

W-

W+

1- W-

1- W+

11100000

11110000

11100001

11110001

00000010

hellip

hellip

評価実験

bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認

ndash 実験2 バイナリ選択の有効性を確認

bull 比較手法 ndash HOG特徴量 (HOG)

ndash Binarized HOG特徴量 (B-HOG)

ndash Relational Binarized HOG特徴量 (RB-HOG)

ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)

bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ

bull 原点に近いほど検出器の性能が高い 18

データセット

19

データセット 学習用 評価用

ポジティブ ネガティブ ポジティブ ネガティブ

INRIA person dataset 2415 12180 1126 453

車両のデータセット 710 8800 1230 3880

ポジティブサンプル

ネガティブサンプル

INRIA person dataset

ポジティブサンプル

ネガティブサンプル

車両のデータセット

実験1 RB-HOG特徴量の有効性の確認

20

提案手法の中ではSRB-HOG特徴量が最も高精度

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG

SRB-HOG

B-HOG RB-HOG

1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

B-HOG

SRB-HOG RB-HOG

HOG

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 7: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

提案手法

1 Relational Binarized HOG特徴量 (RB-HOG)

ndash 2つのセルから得た特徴量の大小関係により2値化

2 ldquordquoを用いた識別に有効なバイナリ選択

ndash 容易に反転するバイナリをldquolowastrdquoで表現 bull ldquordquoはldquo0rdquoとldquo1rdquoの2値を許容

7

閾値が不要でありメモリ量の削減が可能

特徴量の表現能力が向上

bull 2つのセルから得た特徴量の大小関係により2値化

ndash 閾値(パラメータ)が不要

ndash 局所領域間の関係性を表現

ndash HOG特徴量における正規化処理を必要としない

入力画像

Relational Binarized HOG特徴量 (RB-HOG)

8

RB-HOG特徴量

0

1

勾配方向

1 2 3 4 5 6 7 8 勾

配強

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配強度の差

( 1 1 1 1 0 0 0 1 ) 2

類似した形状から得られるRB-HOG特徴量

bull 勾配強度が同じ場合明確な2値で表現困難

9

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配強度の差

0

1

RB-HOG特徴量

( 0 1 1 1 0 0 1 1 ) 2

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

10

0

1

勾配強度の差

0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量)

( 0 1 1 1 0 0 1 1 ) 2 s = 0

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

11

1方向シフト (s = 1) SRB-HOG特徴量

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

0

1

勾配強度の差

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

12

SRB-HOG特徴量 7方向シフト (s = 7)

hellip

SRB-HOG特徴量

( 1 1 0 0 0 0 0 1 ) 2 s = 7

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

勾配

強度

勾配方向

0

1

勾配強度の差

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

SRB-HOG特徴量の効果

13

勾配強度の差が少ないバイナリでも明確な2値化が可能

1 2 3 4 5 6 7 8

勾配

強度

0方向シフト (s = 0) 1 2 3 4 5 6 7 8

勾配

強度

4方向シフト (s = 4)

勾配

強度

5 6 7 8 1 2 3 4

勾配強度の差

s = 0 ( 0 1 1 1 0 0 1 1 ) 2

勾配強度の差

s = 4 ( 1 1 1 1 0 0 0 1 ) 2

2 ldquordquoを用いた識別に有効なバイナリ選択

14

bull 勾配強度の差が小さい場合反転する可能性あり

ndash 信頼性が低いバイナリが存在する場合誤検出の要因

ldquordquoの導入

15

1 1 1 0 0 0

ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより

表現されるパターン

11100000

11110000

11100001

11110001

反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入

類似した複数の特徴量を1つのパターンで表現

SRB-HOG特徴量

4方向シフト (s = 4)

勾配方向 1 2 3 4 5 6 7 8

勾配

強度

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 1 1 1 1 0 0 0 1 ) 2

勾配強度の差

bull 全組み合わせを考慮

ndash ldquordquoの位置

ndash ldquordquoの数

一組のセルにおける弱識別器の候補数

16

00000000 00000000 00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

hellip hellip hellip

hellip hellip

全ての組み合わせから識別に有効なパターンを選択

バイナリ数

(0 1 )

38 = 6561パターン

Real AdaBoostの弱識別器

bull 各クラスの重みつき頻度により対数比を出力

ndash 対象パターンと抽出パターンの一致不一致により算出

17

1 1 1 0 0 0

対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)

一致

頻度

不一致

各クラスの重み付き頻度

ポジティブクラス ネガティブクラス

W-

W+

1- W-

1- W+

11100000

11110000

11100001

11110001

00000010

hellip

hellip

評価実験

bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認

ndash 実験2 バイナリ選択の有効性を確認

bull 比較手法 ndash HOG特徴量 (HOG)

ndash Binarized HOG特徴量 (B-HOG)

ndash Relational Binarized HOG特徴量 (RB-HOG)

ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)

bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ

bull 原点に近いほど検出器の性能が高い 18

データセット

19

データセット 学習用 評価用

ポジティブ ネガティブ ポジティブ ネガティブ

INRIA person dataset 2415 12180 1126 453

車両のデータセット 710 8800 1230 3880

ポジティブサンプル

ネガティブサンプル

INRIA person dataset

ポジティブサンプル

ネガティブサンプル

車両のデータセット

実験1 RB-HOG特徴量の有効性の確認

20

提案手法の中ではSRB-HOG特徴量が最も高精度

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG

SRB-HOG

B-HOG RB-HOG

1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

B-HOG

SRB-HOG RB-HOG

HOG

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 8: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

bull 2つのセルから得た特徴量の大小関係により2値化

ndash 閾値(パラメータ)が不要

ndash 局所領域間の関係性を表現

ndash HOG特徴量における正規化処理を必要としない

入力画像

Relational Binarized HOG特徴量 (RB-HOG)

8

RB-HOG特徴量

0

1

勾配方向

1 2 3 4 5 6 7 8 勾

配強

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配強度の差

( 1 1 1 1 0 0 0 1 ) 2

類似した形状から得られるRB-HOG特徴量

bull 勾配強度が同じ場合明確な2値で表現困難

9

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配強度の差

0

1

RB-HOG特徴量

( 0 1 1 1 0 0 1 1 ) 2

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

10

0

1

勾配強度の差

0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量)

( 0 1 1 1 0 0 1 1 ) 2 s = 0

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

11

1方向シフト (s = 1) SRB-HOG特徴量

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

0

1

勾配強度の差

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

12

SRB-HOG特徴量 7方向シフト (s = 7)

hellip

SRB-HOG特徴量

( 1 1 0 0 0 0 0 1 ) 2 s = 7

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

勾配

強度

勾配方向

0

1

勾配強度の差

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

SRB-HOG特徴量の効果

13

勾配強度の差が少ないバイナリでも明確な2値化が可能

1 2 3 4 5 6 7 8

勾配

強度

0方向シフト (s = 0) 1 2 3 4 5 6 7 8

勾配

強度

4方向シフト (s = 4)

勾配

強度

5 6 7 8 1 2 3 4

勾配強度の差

s = 0 ( 0 1 1 1 0 0 1 1 ) 2

勾配強度の差

s = 4 ( 1 1 1 1 0 0 0 1 ) 2

2 ldquordquoを用いた識別に有効なバイナリ選択

14

bull 勾配強度の差が小さい場合反転する可能性あり

ndash 信頼性が低いバイナリが存在する場合誤検出の要因

ldquordquoの導入

15

1 1 1 0 0 0

ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより

表現されるパターン

11100000

11110000

11100001

11110001

反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入

類似した複数の特徴量を1つのパターンで表現

SRB-HOG特徴量

4方向シフト (s = 4)

勾配方向 1 2 3 4 5 6 7 8

勾配

強度

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 1 1 1 1 0 0 0 1 ) 2

勾配強度の差

bull 全組み合わせを考慮

ndash ldquordquoの位置

ndash ldquordquoの数

一組のセルにおける弱識別器の候補数

16

00000000 00000000 00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

hellip hellip hellip

hellip hellip

全ての組み合わせから識別に有効なパターンを選択

バイナリ数

(0 1 )

38 = 6561パターン

Real AdaBoostの弱識別器

bull 各クラスの重みつき頻度により対数比を出力

ndash 対象パターンと抽出パターンの一致不一致により算出

17

1 1 1 0 0 0

対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)

一致

頻度

不一致

各クラスの重み付き頻度

ポジティブクラス ネガティブクラス

W-

W+

1- W-

1- W+

11100000

11110000

11100001

11110001

00000010

hellip

hellip

評価実験

bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認

ndash 実験2 バイナリ選択の有効性を確認

bull 比較手法 ndash HOG特徴量 (HOG)

ndash Binarized HOG特徴量 (B-HOG)

ndash Relational Binarized HOG特徴量 (RB-HOG)

ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)

bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ

bull 原点に近いほど検出器の性能が高い 18

データセット

19

データセット 学習用 評価用

ポジティブ ネガティブ ポジティブ ネガティブ

INRIA person dataset 2415 12180 1126 453

車両のデータセット 710 8800 1230 3880

ポジティブサンプル

ネガティブサンプル

INRIA person dataset

ポジティブサンプル

ネガティブサンプル

車両のデータセット

実験1 RB-HOG特徴量の有効性の確認

20

提案手法の中ではSRB-HOG特徴量が最も高精度

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG

SRB-HOG

B-HOG RB-HOG

1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

B-HOG

SRB-HOG RB-HOG

HOG

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 9: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

類似した形状から得られるRB-HOG特徴量

bull 勾配強度が同じ場合明確な2値で表現困難

9

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

勾配強度の差

0

1

RB-HOG特徴量

( 0 1 1 1 0 0 1 1 ) 2

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

10

0

1

勾配強度の差

0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量)

( 0 1 1 1 0 0 1 1 ) 2 s = 0

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

11

1方向シフト (s = 1) SRB-HOG特徴量

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

0

1

勾配強度の差

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

12

SRB-HOG特徴量 7方向シフト (s = 7)

hellip

SRB-HOG特徴量

( 1 1 0 0 0 0 0 1 ) 2 s = 7

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

勾配

強度

勾配方向

0

1

勾配強度の差

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

SRB-HOG特徴量の効果

13

勾配強度の差が少ないバイナリでも明確な2値化が可能

1 2 3 4 5 6 7 8

勾配

強度

0方向シフト (s = 0) 1 2 3 4 5 6 7 8

勾配

強度

4方向シフト (s = 4)

勾配

強度

5 6 7 8 1 2 3 4

勾配強度の差

s = 0 ( 0 1 1 1 0 0 1 1 ) 2

勾配強度の差

s = 4 ( 1 1 1 1 0 0 0 1 ) 2

2 ldquordquoを用いた識別に有効なバイナリ選択

14

bull 勾配強度の差が小さい場合反転する可能性あり

ndash 信頼性が低いバイナリが存在する場合誤検出の要因

ldquordquoの導入

15

1 1 1 0 0 0

ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより

表現されるパターン

11100000

11110000

11100001

11110001

反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入

類似した複数の特徴量を1つのパターンで表現

SRB-HOG特徴量

4方向シフト (s = 4)

勾配方向 1 2 3 4 5 6 7 8

勾配

強度

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 1 1 1 1 0 0 0 1 ) 2

勾配強度の差

bull 全組み合わせを考慮

ndash ldquordquoの位置

ndash ldquordquoの数

一組のセルにおける弱識別器の候補数

16

00000000 00000000 00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

hellip hellip hellip

hellip hellip

全ての組み合わせから識別に有効なパターンを選択

バイナリ数

(0 1 )

38 = 6561パターン

Real AdaBoostの弱識別器

bull 各クラスの重みつき頻度により対数比を出力

ndash 対象パターンと抽出パターンの一致不一致により算出

17

1 1 1 0 0 0

対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)

一致

頻度

不一致

各クラスの重み付き頻度

ポジティブクラス ネガティブクラス

W-

W+

1- W-

1- W+

11100000

11110000

11100001

11110001

00000010

hellip

hellip

評価実験

bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認

ndash 実験2 バイナリ選択の有効性を確認

bull 比較手法 ndash HOG特徴量 (HOG)

ndash Binarized HOG特徴量 (B-HOG)

ndash Relational Binarized HOG特徴量 (RB-HOG)

ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)

bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ

bull 原点に近いほど検出器の性能が高い 18

データセット

19

データセット 学習用 評価用

ポジティブ ネガティブ ポジティブ ネガティブ

INRIA person dataset 2415 12180 1126 453

車両のデータセット 710 8800 1230 3880

ポジティブサンプル

ネガティブサンプル

INRIA person dataset

ポジティブサンプル

ネガティブサンプル

車両のデータセット

実験1 RB-HOG特徴量の有効性の確認

20

提案手法の中ではSRB-HOG特徴量が最も高精度

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG

SRB-HOG

B-HOG RB-HOG

1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

B-HOG

SRB-HOG RB-HOG

HOG

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 10: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

10

0

1

勾配強度の差

0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量)

( 0 1 1 1 0 0 1 1 ) 2 s = 0

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

11

1方向シフト (s = 1) SRB-HOG特徴量

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

0

1

勾配強度の差

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

12

SRB-HOG特徴量 7方向シフト (s = 7)

hellip

SRB-HOG特徴量

( 1 1 0 0 0 0 0 1 ) 2 s = 7

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

勾配

強度

勾配方向

0

1

勾配強度の差

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

SRB-HOG特徴量の効果

13

勾配強度の差が少ないバイナリでも明確な2値化が可能

1 2 3 4 5 6 7 8

勾配

強度

0方向シフト (s = 0) 1 2 3 4 5 6 7 8

勾配

強度

4方向シフト (s = 4)

勾配

強度

5 6 7 8 1 2 3 4

勾配強度の差

s = 0 ( 0 1 1 1 0 0 1 1 ) 2

勾配強度の差

s = 4 ( 1 1 1 1 0 0 0 1 ) 2

2 ldquordquoを用いた識別に有効なバイナリ選択

14

bull 勾配強度の差が小さい場合反転する可能性あり

ndash 信頼性が低いバイナリが存在する場合誤検出の要因

ldquordquoの導入

15

1 1 1 0 0 0

ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより

表現されるパターン

11100000

11110000

11100001

11110001

反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入

類似した複数の特徴量を1つのパターンで表現

SRB-HOG特徴量

4方向シフト (s = 4)

勾配方向 1 2 3 4 5 6 7 8

勾配

強度

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 1 1 1 1 0 0 0 1 ) 2

勾配強度の差

bull 全組み合わせを考慮

ndash ldquordquoの位置

ndash ldquordquoの数

一組のセルにおける弱識別器の候補数

16

00000000 00000000 00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

hellip hellip hellip

hellip hellip

全ての組み合わせから識別に有効なパターンを選択

バイナリ数

(0 1 )

38 = 6561パターン

Real AdaBoostの弱識別器

bull 各クラスの重みつき頻度により対数比を出力

ndash 対象パターンと抽出パターンの一致不一致により算出

17

1 1 1 0 0 0

対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)

一致

頻度

不一致

各クラスの重み付き頻度

ポジティブクラス ネガティブクラス

W-

W+

1- W-

1- W+

11100000

11110000

11100001

11110001

00000010

hellip

hellip

評価実験

bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認

ndash 実験2 バイナリ選択の有効性を確認

bull 比較手法 ndash HOG特徴量 (HOG)

ndash Binarized HOG特徴量 (B-HOG)

ndash Relational Binarized HOG特徴量 (RB-HOG)

ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)

bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ

bull 原点に近いほど検出器の性能が高い 18

データセット

19

データセット 学習用 評価用

ポジティブ ネガティブ ポジティブ ネガティブ

INRIA person dataset 2415 12180 1126 453

車両のデータセット 710 8800 1230 3880

ポジティブサンプル

ネガティブサンプル

INRIA person dataset

ポジティブサンプル

ネガティブサンプル

車両のデータセット

実験1 RB-HOG特徴量の有効性の確認

20

提案手法の中ではSRB-HOG特徴量が最も高精度

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG

SRB-HOG

B-HOG RB-HOG

1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

B-HOG

SRB-HOG RB-HOG

HOG

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 11: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

11

1方向シフト (s = 1) SRB-HOG特徴量

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

0

1

勾配強度の差

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

12

SRB-HOG特徴量 7方向シフト (s = 7)

hellip

SRB-HOG特徴量

( 1 1 0 0 0 0 0 1 ) 2 s = 7

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

勾配

強度

勾配方向

0

1

勾配強度の差

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

SRB-HOG特徴量の効果

13

勾配強度の差が少ないバイナリでも明確な2値化が可能

1 2 3 4 5 6 7 8

勾配

強度

0方向シフト (s = 0) 1 2 3 4 5 6 7 8

勾配

強度

4方向シフト (s = 4)

勾配

強度

5 6 7 8 1 2 3 4

勾配強度の差

s = 0 ( 0 1 1 1 0 0 1 1 ) 2

勾配強度の差

s = 4 ( 1 1 1 1 0 0 0 1 ) 2

2 ldquordquoを用いた識別に有効なバイナリ選択

14

bull 勾配強度の差が小さい場合反転する可能性あり

ndash 信頼性が低いバイナリが存在する場合誤検出の要因

ldquordquoの導入

15

1 1 1 0 0 0

ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより

表現されるパターン

11100000

11110000

11100001

11110001

反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入

類似した複数の特徴量を1つのパターンで表現

SRB-HOG特徴量

4方向シフト (s = 4)

勾配方向 1 2 3 4 5 6 7 8

勾配

強度

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 1 1 1 1 0 0 0 1 ) 2

勾配強度の差

bull 全組み合わせを考慮

ndash ldquordquoの位置

ndash ldquordquoの数

一組のセルにおける弱識別器の候補数

16

00000000 00000000 00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

hellip hellip hellip

hellip hellip

全ての組み合わせから識別に有効なパターンを選択

バイナリ数

(0 1 )

38 = 6561パターン

Real AdaBoostの弱識別器

bull 各クラスの重みつき頻度により対数比を出力

ndash 対象パターンと抽出パターンの一致不一致により算出

17

1 1 1 0 0 0

対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)

一致

頻度

不一致

各クラスの重み付き頻度

ポジティブクラス ネガティブクラス

W-

W+

1- W-

1- W+

11100000

11110000

11100001

11110001

00000010

hellip

hellip

評価実験

bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認

ndash 実験2 バイナリ選択の有効性を確認

bull 比較手法 ndash HOG特徴量 (HOG)

ndash Binarized HOG特徴量 (B-HOG)

ndash Relational Binarized HOG特徴量 (RB-HOG)

ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)

bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ

bull 原点に近いほど検出器の性能が高い 18

データセット

19

データセット 学習用 評価用

ポジティブ ネガティブ ポジティブ ネガティブ

INRIA person dataset 2415 12180 1126 453

車両のデータセット 710 8800 1230 3880

ポジティブサンプル

ネガティブサンプル

INRIA person dataset

ポジティブサンプル

ネガティブサンプル

車両のデータセット

実験1 RB-HOG特徴量の有効性の確認

20

提案手法の中ではSRB-HOG特徴量が最も高精度

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG

SRB-HOG

B-HOG RB-HOG

1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

B-HOG

SRB-HOG RB-HOG

HOG

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 12: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

入力画像

勾配方向

1 2 3 4 5 6 7 8

勾配

強度

12

SRB-HOG特徴量 7方向シフト (s = 7)

hellip

SRB-HOG特徴量

( 1 1 0 0 0 0 0 1 ) 2 s = 7

( 0 1 1 1 0 0 1 1 ) 2 s = 0

( 0 0 0 1 1 1 1 0 ) 2 s = 1

勾配

強度

勾配方向

0

1

勾配強度の差

Shifted Relational Binarized HOG特徴量 (SRB-HOG)

bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン

SRB-HOG特徴量の効果

13

勾配強度の差が少ないバイナリでも明確な2値化が可能

1 2 3 4 5 6 7 8

勾配

強度

0方向シフト (s = 0) 1 2 3 4 5 6 7 8

勾配

強度

4方向シフト (s = 4)

勾配

強度

5 6 7 8 1 2 3 4

勾配強度の差

s = 0 ( 0 1 1 1 0 0 1 1 ) 2

勾配強度の差

s = 4 ( 1 1 1 1 0 0 0 1 ) 2

2 ldquordquoを用いた識別に有効なバイナリ選択

14

bull 勾配強度の差が小さい場合反転する可能性あり

ndash 信頼性が低いバイナリが存在する場合誤検出の要因

ldquordquoの導入

15

1 1 1 0 0 0

ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより

表現されるパターン

11100000

11110000

11100001

11110001

反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入

類似した複数の特徴量を1つのパターンで表現

SRB-HOG特徴量

4方向シフト (s = 4)

勾配方向 1 2 3 4 5 6 7 8

勾配

強度

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 1 1 1 1 0 0 0 1 ) 2

勾配強度の差

bull 全組み合わせを考慮

ndash ldquordquoの位置

ndash ldquordquoの数

一組のセルにおける弱識別器の候補数

16

00000000 00000000 00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

hellip hellip hellip

hellip hellip

全ての組み合わせから識別に有効なパターンを選択

バイナリ数

(0 1 )

38 = 6561パターン

Real AdaBoostの弱識別器

bull 各クラスの重みつき頻度により対数比を出力

ndash 対象パターンと抽出パターンの一致不一致により算出

17

1 1 1 0 0 0

対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)

一致

頻度

不一致

各クラスの重み付き頻度

ポジティブクラス ネガティブクラス

W-

W+

1- W-

1- W+

11100000

11110000

11100001

11110001

00000010

hellip

hellip

評価実験

bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認

ndash 実験2 バイナリ選択の有効性を確認

bull 比較手法 ndash HOG特徴量 (HOG)

ndash Binarized HOG特徴量 (B-HOG)

ndash Relational Binarized HOG特徴量 (RB-HOG)

ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)

bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ

bull 原点に近いほど検出器の性能が高い 18

データセット

19

データセット 学習用 評価用

ポジティブ ネガティブ ポジティブ ネガティブ

INRIA person dataset 2415 12180 1126 453

車両のデータセット 710 8800 1230 3880

ポジティブサンプル

ネガティブサンプル

INRIA person dataset

ポジティブサンプル

ネガティブサンプル

車両のデータセット

実験1 RB-HOG特徴量の有効性の確認

20

提案手法の中ではSRB-HOG特徴量が最も高精度

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG

SRB-HOG

B-HOG RB-HOG

1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

B-HOG

SRB-HOG RB-HOG

HOG

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 13: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

SRB-HOG特徴量の効果

13

勾配強度の差が少ないバイナリでも明確な2値化が可能

1 2 3 4 5 6 7 8

勾配

強度

0方向シフト (s = 0) 1 2 3 4 5 6 7 8

勾配

強度

4方向シフト (s = 4)

勾配

強度

5 6 7 8 1 2 3 4

勾配強度の差

s = 0 ( 0 1 1 1 0 0 1 1 ) 2

勾配強度の差

s = 4 ( 1 1 1 1 0 0 0 1 ) 2

2 ldquordquoを用いた識別に有効なバイナリ選択

14

bull 勾配強度の差が小さい場合反転する可能性あり

ndash 信頼性が低いバイナリが存在する場合誤検出の要因

ldquordquoの導入

15

1 1 1 0 0 0

ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより

表現されるパターン

11100000

11110000

11100001

11110001

反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入

類似した複数の特徴量を1つのパターンで表現

SRB-HOG特徴量

4方向シフト (s = 4)

勾配方向 1 2 3 4 5 6 7 8

勾配

強度

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 1 1 1 1 0 0 0 1 ) 2

勾配強度の差

bull 全組み合わせを考慮

ndash ldquordquoの位置

ndash ldquordquoの数

一組のセルにおける弱識別器の候補数

16

00000000 00000000 00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

hellip hellip hellip

hellip hellip

全ての組み合わせから識別に有効なパターンを選択

バイナリ数

(0 1 )

38 = 6561パターン

Real AdaBoostの弱識別器

bull 各クラスの重みつき頻度により対数比を出力

ndash 対象パターンと抽出パターンの一致不一致により算出

17

1 1 1 0 0 0

対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)

一致

頻度

不一致

各クラスの重み付き頻度

ポジティブクラス ネガティブクラス

W-

W+

1- W-

1- W+

11100000

11110000

11100001

11110001

00000010

hellip

hellip

評価実験

bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認

ndash 実験2 バイナリ選択の有効性を確認

bull 比較手法 ndash HOG特徴量 (HOG)

ndash Binarized HOG特徴量 (B-HOG)

ndash Relational Binarized HOG特徴量 (RB-HOG)

ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)

bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ

bull 原点に近いほど検出器の性能が高い 18

データセット

19

データセット 学習用 評価用

ポジティブ ネガティブ ポジティブ ネガティブ

INRIA person dataset 2415 12180 1126 453

車両のデータセット 710 8800 1230 3880

ポジティブサンプル

ネガティブサンプル

INRIA person dataset

ポジティブサンプル

ネガティブサンプル

車両のデータセット

実験1 RB-HOG特徴量の有効性の確認

20

提案手法の中ではSRB-HOG特徴量が最も高精度

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG

SRB-HOG

B-HOG RB-HOG

1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

B-HOG

SRB-HOG RB-HOG

HOG

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 14: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

2 ldquordquoを用いた識別に有効なバイナリ選択

14

bull 勾配強度の差が小さい場合反転する可能性あり

ndash 信頼性が低いバイナリが存在する場合誤検出の要因

ldquordquoの導入

15

1 1 1 0 0 0

ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより

表現されるパターン

11100000

11110000

11100001

11110001

反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入

類似した複数の特徴量を1つのパターンで表現

SRB-HOG特徴量

4方向シフト (s = 4)

勾配方向 1 2 3 4 5 6 7 8

勾配

強度

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 1 1 1 1 0 0 0 1 ) 2

勾配強度の差

bull 全組み合わせを考慮

ndash ldquordquoの位置

ndash ldquordquoの数

一組のセルにおける弱識別器の候補数

16

00000000 00000000 00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

hellip hellip hellip

hellip hellip

全ての組み合わせから識別に有効なパターンを選択

バイナリ数

(0 1 )

38 = 6561パターン

Real AdaBoostの弱識別器

bull 各クラスの重みつき頻度により対数比を出力

ndash 対象パターンと抽出パターンの一致不一致により算出

17

1 1 1 0 0 0

対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)

一致

頻度

不一致

各クラスの重み付き頻度

ポジティブクラス ネガティブクラス

W-

W+

1- W-

1- W+

11100000

11110000

11100001

11110001

00000010

hellip

hellip

評価実験

bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認

ndash 実験2 バイナリ選択の有効性を確認

bull 比較手法 ndash HOG特徴量 (HOG)

ndash Binarized HOG特徴量 (B-HOG)

ndash Relational Binarized HOG特徴量 (RB-HOG)

ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)

bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ

bull 原点に近いほど検出器の性能が高い 18

データセット

19

データセット 学習用 評価用

ポジティブ ネガティブ ポジティブ ネガティブ

INRIA person dataset 2415 12180 1126 453

車両のデータセット 710 8800 1230 3880

ポジティブサンプル

ネガティブサンプル

INRIA person dataset

ポジティブサンプル

ネガティブサンプル

車両のデータセット

実験1 RB-HOG特徴量の有効性の確認

20

提案手法の中ではSRB-HOG特徴量が最も高精度

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG

SRB-HOG

B-HOG RB-HOG

1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

B-HOG

SRB-HOG RB-HOG

HOG

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 15: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

bull 勾配強度の差が小さい場合反転する可能性あり

ndash 信頼性が低いバイナリが存在する場合誤検出の要因

ldquordquoの導入

15

1 1 1 0 0 0

ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより

表現されるパターン

11100000

11110000

11100001

11110001

反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入

類似した複数の特徴量を1つのパターンで表現

SRB-HOG特徴量

4方向シフト (s = 4)

勾配方向 1 2 3 4 5 6 7 8

勾配

強度

1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8

勾配

強度

勾配方向

( 1 1 1 1 0 0 0 1 ) 2

勾配強度の差

bull 全組み合わせを考慮

ndash ldquordquoの位置

ndash ldquordquoの数

一組のセルにおける弱識別器の候補数

16

00000000 00000000 00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

hellip hellip hellip

hellip hellip

全ての組み合わせから識別に有効なパターンを選択

バイナリ数

(0 1 )

38 = 6561パターン

Real AdaBoostの弱識別器

bull 各クラスの重みつき頻度により対数比を出力

ndash 対象パターンと抽出パターンの一致不一致により算出

17

1 1 1 0 0 0

対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)

一致

頻度

不一致

各クラスの重み付き頻度

ポジティブクラス ネガティブクラス

W-

W+

1- W-

1- W+

11100000

11110000

11100001

11110001

00000010

hellip

hellip

評価実験

bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認

ndash 実験2 バイナリ選択の有効性を確認

bull 比較手法 ndash HOG特徴量 (HOG)

ndash Binarized HOG特徴量 (B-HOG)

ndash Relational Binarized HOG特徴量 (RB-HOG)

ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)

bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ

bull 原点に近いほど検出器の性能が高い 18

データセット

19

データセット 学習用 評価用

ポジティブ ネガティブ ポジティブ ネガティブ

INRIA person dataset 2415 12180 1126 453

車両のデータセット 710 8800 1230 3880

ポジティブサンプル

ネガティブサンプル

INRIA person dataset

ポジティブサンプル

ネガティブサンプル

車両のデータセット

実験1 RB-HOG特徴量の有効性の確認

20

提案手法の中ではSRB-HOG特徴量が最も高精度

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG

SRB-HOG

B-HOG RB-HOG

1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

B-HOG

SRB-HOG RB-HOG

HOG

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 16: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

bull 全組み合わせを考慮

ndash ldquordquoの位置

ndash ldquordquoの数

一組のセルにおける弱識別器の候補数

16

00000000 00000000 00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

00000000 0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

0000000lowast

lowastlowastlowastlowastlowastlowast0lowast

000000lowast0 hellip

lowastlowastlowastlowastlowastlowastlowast0

hellip hellip hellip

hellip hellip

全ての組み合わせから識別に有効なパターンを選択

バイナリ数

(0 1 )

38 = 6561パターン

Real AdaBoostの弱識別器

bull 各クラスの重みつき頻度により対数比を出力

ndash 対象パターンと抽出パターンの一致不一致により算出

17

1 1 1 0 0 0

対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)

一致

頻度

不一致

各クラスの重み付き頻度

ポジティブクラス ネガティブクラス

W-

W+

1- W-

1- W+

11100000

11110000

11100001

11110001

00000010

hellip

hellip

評価実験

bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認

ndash 実験2 バイナリ選択の有効性を確認

bull 比較手法 ndash HOG特徴量 (HOG)

ndash Binarized HOG特徴量 (B-HOG)

ndash Relational Binarized HOG特徴量 (RB-HOG)

ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)

bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ

bull 原点に近いほど検出器の性能が高い 18

データセット

19

データセット 学習用 評価用

ポジティブ ネガティブ ポジティブ ネガティブ

INRIA person dataset 2415 12180 1126 453

車両のデータセット 710 8800 1230 3880

ポジティブサンプル

ネガティブサンプル

INRIA person dataset

ポジティブサンプル

ネガティブサンプル

車両のデータセット

実験1 RB-HOG特徴量の有効性の確認

20

提案手法の中ではSRB-HOG特徴量が最も高精度

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG

SRB-HOG

B-HOG RB-HOG

1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

B-HOG

SRB-HOG RB-HOG

HOG

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 17: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

Real AdaBoostの弱識別器

bull 各クラスの重みつき頻度により対数比を出力

ndash 対象パターンと抽出パターンの一致不一致により算出

17

1 1 1 0 0 0

対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)

一致

頻度

不一致

各クラスの重み付き頻度

ポジティブクラス ネガティブクラス

W-

W+

1- W-

1- W+

11100000

11110000

11100001

11110001

00000010

hellip

hellip

評価実験

bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認

ndash 実験2 バイナリ選択の有効性を確認

bull 比較手法 ndash HOG特徴量 (HOG)

ndash Binarized HOG特徴量 (B-HOG)

ndash Relational Binarized HOG特徴量 (RB-HOG)

ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)

bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ

bull 原点に近いほど検出器の性能が高い 18

データセット

19

データセット 学習用 評価用

ポジティブ ネガティブ ポジティブ ネガティブ

INRIA person dataset 2415 12180 1126 453

車両のデータセット 710 8800 1230 3880

ポジティブサンプル

ネガティブサンプル

INRIA person dataset

ポジティブサンプル

ネガティブサンプル

車両のデータセット

実験1 RB-HOG特徴量の有効性の確認

20

提案手法の中ではSRB-HOG特徴量が最も高精度

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG

SRB-HOG

B-HOG RB-HOG

1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

B-HOG

SRB-HOG RB-HOG

HOG

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 18: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

評価実験

bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認

ndash 実験2 バイナリ選択の有効性を確認

bull 比較手法 ndash HOG特徴量 (HOG)

ndash Binarized HOG特徴量 (B-HOG)

ndash Relational Binarized HOG特徴量 (RB-HOG)

ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)

bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ

bull 原点に近いほど検出器の性能が高い 18

データセット

19

データセット 学習用 評価用

ポジティブ ネガティブ ポジティブ ネガティブ

INRIA person dataset 2415 12180 1126 453

車両のデータセット 710 8800 1230 3880

ポジティブサンプル

ネガティブサンプル

INRIA person dataset

ポジティブサンプル

ネガティブサンプル

車両のデータセット

実験1 RB-HOG特徴量の有効性の確認

20

提案手法の中ではSRB-HOG特徴量が最も高精度

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG

SRB-HOG

B-HOG RB-HOG

1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

B-HOG

SRB-HOG RB-HOG

HOG

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 19: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

データセット

19

データセット 学習用 評価用

ポジティブ ネガティブ ポジティブ ネガティブ

INRIA person dataset 2415 12180 1126 453

車両のデータセット 710 8800 1230 3880

ポジティブサンプル

ネガティブサンプル

INRIA person dataset

ポジティブサンプル

ネガティブサンプル

車両のデータセット

実験1 RB-HOG特徴量の有効性の確認

20

提案手法の中ではSRB-HOG特徴量が最も高精度

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG

SRB-HOG

B-HOG RB-HOG

1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

B-HOG

SRB-HOG RB-HOG

HOG

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 20: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

実験1 RB-HOG特徴量の有効性の確認

20

提案手法の中ではSRB-HOG特徴量が最も高精度

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG

SRB-HOG

B-HOG RB-HOG

1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

B-HOG

SRB-HOG RB-HOG

HOG

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 21: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

実験2 バイナリ選択の有効性を確認

21

1

10

100

Mis

s r

ate

[

]

01 0001 001 10 100 False positive per window (FPPW) rate []

(a) INRIA person dataset

HOG SRB-HOG (なし)

検出精度がHOG特徴量と同程度以上

容易に反転するバイナリをldquordquo により抑制可能

SRB-HOG (あり) 1

10

100

Mis

s r

ate

[

]

10 01 100 False positive per window (FPPW) rate []

(b) 車両のデータセット

HOG

SRB-HOG (あり) SRB-HOG (なし)

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 22: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

考察選択されたldquordquoの数の割合

22

SRB-HOG B-HOG

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

(a) INRIA person dataset

B-HOG SRB-HOG

(b) 車両のデータセット

0 1 2 3 4 5 6 7 の数

000

005

010

015

020

025

頻度

SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない

ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確

ldquordquoの数が少ないほど曖昧なバイナリが少ない

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 23: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

メモリ量と処理時間の比較

bull 特徴抽出に必要なメモリ量の比較

bull 特徴抽出から識別までの処理時間の比較

23

特徴量 HOG B-HOG RB-HOG SRB-HOG

メモリ量[KB] 391 050 049 098

処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10

メモリ量を約75削減

HOG特徴量のバイナリパターン化

処理時間を約50削減

HOG特徴量の正規化が不必要

1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24

Page 24: Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出

まとめ

bull RB-HOG特徴量とReal AdaBoostによる

バイナリ選択を用いた物体検出

ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化

bull Sifted Relational Binarized HOG特徴量

ndash 勾配方向をシフトして大小関係により2値化

ndash 勾配強度の差が小さい場合でも明確な2値化が可能

ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現

bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討

24