修士論文

所持品に基づく人物画像分類のための少ない学習データからの分類器学習

指導教員 美濃 導彦 教授

京都大学大学院情報学研究科修士課程知能情報学専攻

井関 洋平

平成 27年 2月 9日

i

所持品に基づく人物画像分類のための少ない学習データからの分類器学習

井関 洋平

内容梗概

本研究では所持品に基づく人物画像分類のような学習データを大量に用意す

ることが難しい分類問題に対して，少量の学習データとアノテータとのインタ

ラクションを利用して効率よく学習を行うことで，精度の良い分類器を構築す

る分類器学習フレームワークである能動的転移更新モデルを提案する．

学習データが少ない分類問題を扱うための機械学習の手法として，転移学習，

能動学習がある．転移学習はあるドメイン (元ドメイン)の知識を解きたい問題

のドメイン (目標ドメイン)の学習に利用する手法であるが，目標ドメインの学

習データがほとんど存在しない時は適切に知識転移することが難しいという問

題がある．能動学習は学習データを得るためのラベル付けにおいてアノテータ

に学習効果が高いと思われるデータを提示する手法であるが，ラベル付けの初

期段階では学習効果の高いデータを選択することが難しいという問題がある．

本研究が提案する能動的転移更新モデルでは，転移学習と能動学習を組み合

わせると共に，能動学習においてアノテータから適切な知識転移の実現に役立

つ追加情報を取得し，それを転移学習で利用する．アノテータから取得した追

加情報を用いて知識転移を行うことで，転移学習において目標ドメインの学習

データがほとんど存在しない時でも適切な知識転移を行うことができる．そし

て，この知識転移を用いて能動学習を行うことで目標ドメインの学習データが

少ないラベル付けの初期段階から学習効果の高いデータを選択できる．そのた

め，転移学習と能動学習の両方の問題に対処できる．

所持品に基づく人物画像分類における能動的転移更新モデルの有効性を確認

するために，実際の防犯カメラの映像から取得した人物画像集合を用いて様々

な種類・意味的粒度の所持品を対象に所持品に基づく人物画像分類を行った．そ

の結果，従来のフレームワークにおいて能動学習を 50回行うことで得られる分

類精度 (F値)を，能動的転移更新モデルにおいて能動学習を 32回行うことで得

られ，能動的転移更新モデルの有効性を確認できた．

ii

A classifier learning framework with few training

examples for person image classification based on their

carried objects

Yohei ISEKI

Abstract

In this thesis, we proposed Active Transfer Update Model (ATUM), a classifier-

learning framework with few training examples, for person image classification

based on their carried objects.

Transfer Learning (TL) and Active Learning (AL) are proposed to build

classifiers efficiently with a few training examples. TL builds a classifier in a

target domain through knowledge transfer from a related source domain. AL

builds a classifier by asking an oracle (e.g. a human annotator) to label data

estimated to be most informative. However, both TL and AL have drawbacks

when there are almost no training examples in the target domain. In this case,

TL cannot transfer the knowledge properly and AL cannot estimate which data

is informative.

To tackle those problems, we proposed ATUM, an extension of a previous

framework that combines TL and AL. ATUM acquires additional information

from the oracle and utilizes it to help the knowledge transfer with few training

examples in the target domain. Then ATUM can accelerate AL through the

knowledge transfer with few training examples in the target domain.

We performed experiments on person images extracted from videos captured

by multiple surveillance cameras in a shopping mall. Comparing ATUM with

a previous framework, the result shows that 32th F-measure of ATUM exceeds

50th F-measure of a previous framework in average.

所持品に基づく人物画像分類のための少ない学習データからの分類器学習

目次

第 1章 緒論 1

第 2章 学習データが少ない分類問題を扱う従来研究 5

2.1 学習データが少ない分類問題のための機械学習 . . . . . . . . . . . . 5

2.1.1 転移学習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.1.2 能動学習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.2 転移学習と能動学習を組み合わせた従来のフレームワーク . . . . 7

第 3章 能動的転移更新モデル 10

3.1 能動的転移更新モデル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

3.2 能動的転移更新モデルの適用可能範囲 . . . . . . . . . . . . . . . . . . 11

3.2.1 能動的転移更新モデルの適用可能条件 . . . . . . . . . . . . 11

3.2.2 適切な知識転移の実現に役立つ追加情報 . . . . . . . . . . . 12

3.2.3 能動的転移更新モデルが適用可能な問題の具体例 . . . . 12

第 4章 能動的転移更新モデルを用いた所持品に基づく人物画像分類 14

4.1 所持品に基づく人物画像分類 . . . . . . . . . . . . . . . . . . . . . . . . . 14

4.2 能動的転移更新モデルを用いた所持品に基づく人物画像分類シ

ステム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

4.2.1 能動的転移更新モデルを用いた所持品に基づく人物画

像分類システムの処理手順 . . . . . . . . . . . . . . . . . . . . 17

4.2.2 所持品に基づく人物画像分類に対する能動的転移更新

モデルの有効性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

4.3 能動的転移更新モデルにおける転移学習 . . . . . . . . . . . . . . . . . 18

4.3.1 元ドメイン . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

4.3.2 転移仮定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

4.3.3 転移写像のモデル化 . . . . . . . . . . . . . . . . . . . . . . . . . 20

4.4 能動的転移更新モデルにおける能動学習 . . . . . . . . . . . . . . . . . 22

第 5章 所持品に基づく人物画像分類システムの実装 23

5.1 用いた要素技術 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

5.1.1 人物検出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

5.1.2 画像特徴量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

5.1.3 分類器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

5.1.4 所持品領域抽出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

5.2 能動的転移更新モデルにおける転移学習の実装 . . . . . . . . . . . . 27

5.2.1 転移仮定 1に基づく知識転移:所持品領域分類による所

持品に基づく人物画像分類 . . . . . . . . . . . . . . . . . . . . 27

5.2.2 転移仮定 2に基づく知識転移:所持品画像分類と所持品

領域分類の両方で有用な部分空間の利用 . . . . . . . . . . . 31

5.2.3 転移仮定 3に基づく知識転移:元ドメインの学習データ

に対する重み付け . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

5.3 能動的転移更新モデルにおける能動学習の実装 . . . . . . . . . . . . 32

第 6章 実験 33

6.1 実験目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

6.2 データセット . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

6.2.1 目標ドメインのデータセット . . . . . . . . . . . . . . . . . . . 33

6.2.2 元ドメインのデータセット . . . . . . . . . . . . . . . . . . . . 33

6.3 比較手法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

6.4 実験方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

6.4.1 実験１:様々な種類の所持品を対象にした所持品に基づ

く人物画像分類 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

6.4.2 実験２:様々な意味的粒度の所持品を対象にした所持品

に基づく人物画像分類 . . . . . . . . . . . . . . . . . . . . . . . . 36

6.5 評価方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

6.6 結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

6.7 考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

6.7.1 考察１：所持品領域抽出に誤りがある場合の能動的転

移更新モデルの有効性 . . . . . . . . . . . . . . . . . . . . . . . . 39

6.7.2 考察２：能動的転移更新モデルで考慮した転移仮定の

有効性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

第 7章 結論 51

謝辞 52

参考文献 53

付録 A-1

A.1 能動的転移更新モデルを適用できる問題の具体例 . . . . . . . . A-1

A.2 実環境における能動的転移更新モデルの有効性 . . . . . . . . . . A-2

A.2.1 所持品領域抽出における抽出漏れが起こらない場合の

有効性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . A-3

A.3 本稿で利用した画像のクレジット . . . . . . . . . . . . . . . . . . . A-3

第1章 緒論

近年，防犯カメラ映像に写る人物を対象とした特定人物画像検索の実現に役

立つ人物検出・人物追跡・人物照合などの基礎研究が盛んに行われている．こう

した研究の中で人物画像（人物を外接矩形で切り出した画像）に対する所持品

検出 [1–3]や所持品判定 [4–6]など，人物の所持品に着目した研究が数多く行わ

れている．人物画像に対する所持品検出や所持品判定が実現できれば，防犯カ

メラ映像から取得した人物画像集合をその人物の所持品に基づいて分類するこ

とで，防犯カメラ映像から注目する所持品を持っている人物を検索できる．こ

のように人物画像集合をその人物の所持品に基づいて分類することを，所持品

に基づく人物画像分類と呼ぶ．

所持品に基づく人物画像分類を実現する方法として，画像分類で一般的に用

いられる機械学習を利用し，分類器を構築することが考えられる．機械学習に

よる画像分類では，精度の高い分類器を構築するためには大量の学習データ（ど

の画像がどのクラスに分類されるべきかを示すラベル付き画像集合）を用意す

る必要がある．ここで，防犯カメラ映像からの特定人物画像検索の補助を目的

とする所持品に基づく人物画像分類では，分類基準となる所持品の種類（かば

ん・傘・帽子等）やその意味的な粒度（かばん全般，ハンドバッグ，特定のかば

ん等）は分類を行う度に異なる．そのため，その都度定めた分類基準に適した

大量の学習データを用意し，学習を行うことは困難である．

本研究では所持品に基づく人物画像分類のような学習データを大量に用意す

ることが難しい分類問題に対して，少量の学習データとアノテータ（学習デー

タのラベルを付ける人物）とのインタラクションを利用して効率よく学習を行

うことで，精度の良い分類器を構築することを目的とする．

学習データが少ない分類問題を扱うための機械学習の手法として，従来，転

移学習 [7]，能動学習 [8]が提案されている．

転移学習とは，あるドメイン（元ドメイン）の知識を解きたい問題のドメイ

ン（目標ドメイン）の学習に利用する手法である．学習データが非常に少ない，

あるいは全く存在しない場合でも，元ドメインの知識を利用して分類器を学習

できるという特性がある．転移学習では元ドメインと目標ドメインがどんな点

でどのように類似しているかを仮定する転移仮定を定める．そして，転移仮定

に基いて知識転移を実現するための数学的モデル（転移写像）を利用して元ド

1

メインの知識と目標ドメインの知識を何らかの同じドメイン（共通ドメイン）

の知識に転移することで知識転移を行う（共通ドメインは目標ドメインと同一

である場合もある）．適切な転移写像が得られれば，共通ドメインを媒介とし

て元ドメインの知識を適切に目標ドメインの学習に利用することができる．転

移学習では，一般的に元ドメイン，目標ドメイン，共通ドメインの知識の差異

を学習することで転移写像を得る．このとき，目標ドメインの知識は目標ドメ

インの学習データから獲得する．目標ドメインの学習データがほとんど存在し

ない時は目標ドメインの知識を上手く獲得することができないため，元ドメイ

ン，目標ドメイン，共通ドメインの知識の差異が上手く学習できない．そのた

め，転移学習は目標ドメインの学習データがほとんど存在しない時は適切に知

識転移することが難しいという問題がある．

能動学習とは，学習データを得るためのラベル付けにおいて，アノテータに

学習効果が高いと思われるデータを提示することで，効率的な学習を行う手法

である．学習効果の高いデータに優先的にラベルをつけることで，少数のラベ

ル付けで効率的に学習ができる．能動学習では，目標ドメインの学習データを

利用して目標ドメインのラベルなしデータから学習効果が高いと思われるデー

タを選択する．しかし，ラベル付けの初期段階では目標ドメインの学習データ

がほとんど存在しないため，正確に学習効果の高いデータを判別することがで

きない．そのため，能動学習はラベル付けの初期段階では学習効果の高いデー

タを選択することが難しいという問題がある [9]．

従来，先述の能動学習の問題に対処するために，転移学習と能動学習を組み

合わせた分類器学習フレームワークが提案されている [10–12]．これらは，能動

学習における学習効果の高いデータの選択に元ドメインの知識を利用すること

で，ラベル付けの初期段階から学習効果の高いデータを選択することが出来る

と主張している．しかし，ラベル付けの初期段階では目標ドメインの学習デー

タがほとんど存在しないため，転移学習は適切に知識転移することが難しい．そ

のため，転移学習と能動学習を組み合わせたフレームワークを用いても，ラベ

ル付けの初期段階では学習効果の高いデータを選択することが難しいという能

動学習の問題にはあまり対処できないと考えられる．

本研究では，転移学習と能動学習の両方の問題に対処するために，従来提案

されている転移学習と能動学習を組み合わせたフレームワークを拡張した分類

器学習フレームワークである能動的転移更新モデルを提案する．そして，能動

2

的転移更新モデルを利用した所持品に基づく人物画像分類手法を提案する．

能動的転移更新モデルでは，能動学習において，提示したデータに対するラ

ベル付け以上のフィードバックをアノテータに要求することで，アノテータから

データのラベル付けに加えて適切な知識転移の実現に役立つ追加情報を取得し，

それを転移写像の学習に利用する．アノテータから取得した追加情報を用いて

転移写像を学習することで，転移学習において目標ドメインの学習データがほ

とんど存在しない時でも適切な知識転移を行うことができる．そのため，能動

的転移更新モデルを用いることで目標ドメインの学習データがほとんど存在し

ない時は適切に知識転移することが難しいという転移学習の問題に対処できる．

そして，この知識転移を用いることで目標ドメインの学習データがほとんど存

在しないラベル付けの初期段階から学習効果の高いデータを選択できる．よっ

て，能動的転移更新モデルを用いることで，ラベル付けの初期段階では学習効

果の高いデータを選択することが難しいという能動学習の問題にも対処できる．

能動的転移更新モデルを適用するためには，有効な元ドメイン，共通ドメイン

が存在することとアノテータが適切な知識転移の実現に役立つ追加情報をフィー

ドバックできることが必要である．

本研究が扱う所持品に基づく人物画像分類では元ドメインとして所持品画像

分類（注目する所持品が主に写っている画像かそうでない所持品が主に写って

いる画像かを分類する問題）を利用できる．このとき，元ドメインの正事例（注

目する所持品の画像）は目標ドメインの正事例（注目する所持品を持った人物

の人物画像）の所持品の領域と類似している．そのため，共通ドメインとして

所持品領域分類（人物画像中のある所持品の領域に注目する所持品が写ってい

るかそうでないかを分類する問題）を利用し，アノテータから取得する追加情

報として，共通ドメインの情報である人物画像中の注目する所持品の領域を利

用することができる．転移学習では共通ドメインを媒介として知識転移を行う

ため，アノテータから取得する追加情報を用いて共通ドメインの知識がより正

確に獲得できれば，元ドメイン，目標ドメイン，共通ドメインの知識の差異の

学習に役に立ち，適切な知識転移を行うことが出来る．そのため，所持品に基

づく人物画像分類において能動的転移更新モデルは有効に働く．

本稿の構成は以下のとおりである．まず，第 2章で学習データが少ない問題

を扱う従来研究について述べる．次に，第 3章で本研究が提案する能動的転移

更新モデルについて詳述する．そして，第 4章で能動的転移更新モデルを用い

3

た所持品に基づく人物画像分類について述べる．第 5章では第 4章で述べた能

動的転移更新モデルを用いた所持品に基づく人物画像分類システムの実装につ

いて述べる．第 6章では第 5章で述べた所持品に基づく人物画像分類システム

を用いて，実際の防犯カメラ映像から得られた人物画像に対して所持品に基づ

く人物画像分類を行い，能動的転移更新モデルを用いることで従来提案されて

いるフレームワークよりも少ない学習データから効率よく分類器を学習できる

ことを実験で評価する．最後に，第 7章で本研究の結論と今後の課題について

述べる．

4

(a) 転移学習

(b) 能動学習

図 1: 学習データが少ない分類問題のための機械学習

第2章 学習データが少ない分類問題を扱う従来研究

2.1 学習データが少ない分類問題のための機械学習学習データが少ない分類問題を扱うための機械学習の手法として，転移学

習 [7]，能動学習 [8]が提案されている (図 1)．

2.1.1 転移学習

転移学習とは，あるドメイン（元ドメイン）の知識を解きたい問題のドメイ

ン（目標ドメイン）の学習に利用することで，目標ドメインの学習データのみ

で学習するよりも精度の良い分類器を構築する手法である．目標ドメインの学

習データが非常に少ない，あるいは全く存在しない場合でも，元ドメインの知

識を利用して分類器を学習できるという特性がある．

転移学習の定義には諸説あるが，神嶌 [7]の定義によると元ドメインと目標ド

メインの学習データの有無に基いて 1.帰納転移学習（元ドメイン，目標ドメイ

ンともに学習データが存在することを仮定する），2.トランスダクティブ転移

5

学習（元ドメインのみ学習データが存在することを仮定する），3.自己教示学

習（目標ドメインのみ学習データが存在することを仮定する），4.教師なし転

移学習（元ドメイン，目標ドメインともに学習データが存在しないことを仮定

する）の 4種類の問題設定が考えられる．本研究が扱う所持品に基づく人物画

像分類のような学習データが大量に用意できない分類問題では，目標ドメイン

の学習データは少ないながらも存在する．そして，本研究が扱う所持品に基づ

く人物画像分類では元ドメインの学習データが簡単に利用できる（詳細は 4.2.2

節に後述する）．そこで，本研究では元ドメイン，目標ドメインともに学習デー

タが存在することを仮定する 1.帰納転移学習を対象とする．

以下，元ドメイン，目標ドメインのいずれかのドメインを表すときに記号

D ∈ s, tを用いる．ここで，sは元ドメイン，tは目標ドメインを表す．各ド

メインの入力に該当する確率変数をXD，その定義域をXD，各ドメインの出力

に該当する確率変数をYD，その定義域をYDとする．以後，各ドメインの確率

変数 XD,YDの実現値をそれぞれ各ドメインのデータ，ラベルと呼ぶことにす

る．また，各ドメインのデータと対応するラベルの組みのことを学習データと

呼ぶ．

転移学習では，元ドメインと目標ドメインが異なるため，データとラベルの

分布（同時生起確率）が異なる（Pr[X s,Ys] = Pr[X t,Y t]）．この分布の違いに

対処するために，転移学習は元ドメインと目標ドメインがどんな点でどのよう

に類似しているかを仮定する転移仮定を定める．そして，転移仮定に基いて知

識転移を実現するための数学的モデル（転移写像）を利用して知識転移を行う．

転移学習は，各ドメインの知識 kDを何らかの同じドメイン（共通ドメイン）

t′の知識 kt′ へ転移する（図 1(a)）．ここで，各ドメインの知識 kDとは，確率

変数 XD,YDの分布である (kD = Pr[XD,YD])．このとき，共通ドメインは目

標ドメインと同一である場合もある．知識転移を実現する転移写像Mは，両ドメインの知識 ks，ktから共通ドメインの知識 kt′ に近似した知識（類似した

確率分布）への写像となる．

kt′ ≃M(ks, kt) (1)

この近似の精度が高ければ，適切な知識転移であると表現する．適切な知識転

移を実現する転移写像が得られれば，共通ドメインを媒介として元ドメインの

知識を効率よく目標ドメインの学習に利用することができる．

6

転移学習では，転移写像のモデル化を人がヒューリスティックに行う．一般

的な転移写像のモデル化では，適切な知識転移を実現するために，転移写像の

パラメータを元，目標，共通ドメインの知識の差異から学習するようなモデル

化を行う．このとき，一般的に目標ドメインの知識は目標ドメインの学習デー

タから獲得する．目標ドメインの学習データがほとんど存在しない時は目標ド

メインの知識を上手く獲得することができないため，元，目標，共通ドメイン

の知識の差異を上手く学習できない．そのため，転移学習は目標ドメインの学

習データがほとんど存在しない時は適切に知識転移することが難しいという問

題がある．

このとき，目標ドメインの学習データを必要しないトランスダクティブ転移

学習を用いることも考えられるが，トランスダクティブ転移学習は目標ドメイ

ンと元ドメインのラベルの分布が一致している（Pr[Ys|X s] = Pr[Y t|X t]）問題

のみしか扱うことができない．

2.1.2 能動学習

能動学習とは，学習データを得るためのラベル付けにおいて，アノテータに

学習効果が高いと思われるデータを提示することで，効率的な学習を行う手法

である（図 1(b)）．学習効果の高いデータに優先的にラベルをつけることで，少

数のラベル付けで効率的な学習ができる．

能動学習では，目標ドメインの知識 ktを利用して，目標ドメインのラベルな

しデータの集合から学習効果の高いと思われるデータをアノテータに提示する．

アノテータは提示されたデータに対するラベル付けをし，それに基づいて目標

ドメインの知識 ktを更新する．これを繰り返すことで，少量のラベル付けで効

率よく目標ドメインの知識を獲得できる．

能動学習においても，目標ドメインの知識 ktは目標ドメインの学習データを

用いて獲得する．このとき，ラベル付けの初期段階では目標ドメインの学習デー

タがほとんど存在しないため，目標ドメインの知識が上手く獲得できず，学習効

果の高いデータを正確に判別できない [9]．そのため，能動学習はラベル付けの

初期段階では学習効果の高いデータを選択することが難しいという問題がある．

2.2 転移学習と能動学習を組み合わせた従来のフレームワーク転移学習は，学習データが非常に少ない場合でも元ドメインの知識を利用し

て分類器を学習できるという特性がある．これに着目して，能動学習の学習効

7

図 2: 転移学習と能動学習を組み合わせた従来のフレームワーク

果が高いと思われるデータの選択において，目標ドメインの知識だけでなく元

ドメインの知識を利用するというフレームワークが提案されている [10–12](図

2)．これらは能動学習における学習効果の高いデータの選択に元ドメインの知

識を利用することで，ラベル付けの初期段階から学習効果の高いデータを選択

でき，能動学習の問題に対処できると主張している．

転移学習と能動学習を組み合わせたフレームワークでは，以下のように分類

器を学習する．

1. 元ドメインの知識，目標ドメインの知識から初期の転移写像Mを学習する．2. i← 1とする．i = T になるまで (a)～(e)を繰り返す．

(a) 転移写像Mを用いて元ドメイン，目標ドメインの知識 kDを共通ドメ

インの知識 kt′に転移する．

(b) 共通ドメインの知識 kt′を用いて目標ドメインのラベルなしデータの中

から学習効果の高いデータをN 個選択し，アノテータに提示する．

(c) アノテータは提示されたデータのラベルをフィードバックする．

(d) アノテータからのフィードバックを基に転移写像Mを再学習する．(e) i← i+ 1として (a)に戻る．

3. 最終的な共通ドメインの知識 kt′を用いて分類器 f t′を構築する．

転移学習と能動学習を組み合わせたフレームワークを提案する研究について，

幾つか例を挙げる．Sahaら [10]は，転移学習において，元ドメインの知識を考

慮して目標ドメインのラベル無しデータに擬似的なラベルをつけることで知識

転移を行い，アノテータの負担を減らす手法を提案している．Sahaらの手法で

は，能動学習において選択した学習効果の高い目標ドメインのラベル無しデー

8

タの中で，元ドメインと同じ分布に従うデータについては元ドメインの知識を

用いて擬似的にラベルを付ける．

Yanら [11]は，頭部姿勢分類を行う分類器学習のための転移学習・能動学習

を組み合わせた手法を提案している．Multiple-kernel learningを知識転移がで

きるように拡張したAdaptive multiple-kernel learningと，損失関数に基づく能

動学習を組み合わせ，多クラス分類に対応した手法を提案している．

Kaleら [12]は，経験損失最小化に基づく能動学習である IWAL CALにおい

て，元ドメインの経験損失を考慮することで知識転移を実現するTransfer IWAL

CALを提案している．Kaleらの手法では，目標ドメインと元ドメインの重要度

を表すパラメータを目標ドメインの知識と元ドメインの知識の類似度に基づき

動的に決定する．

これらの転移学習・能動学習を組み合わせたフレームワークは，能動学習に

おける学習効果の高いデータの選択に元ドメインの知識を利用することで，能

動学習の問題に対処しようとするものである．

しかし，ラベル付けの初期段階では目標ドメインの学習データがほとんど存

在しないため，転移学習は適切に知識転移することが難しい．そのため，転移

学習と能動学習を組み合わせたフレームワークを用いても，能動学習のラベル

付けの初期段階では学習効果の高いデータを選択することが難しいという問題

にはあまり対処できないと考えられる．

9

図 3: 能動的転移更新モデル

第3章 能動的転移更新モデル

本研究では，転移学習・能動学習の両方の問題に対処するために，従来提案

されている転移学習と能動学習を組み合わせたフレームワークを拡張した分類

器学習フレームワークである能動的転移更新モデルを提案する（図 3）．

3.1 能動的転移更新モデル2.2節で述べた従来のフレームワークでは，転移学習における転移写像Mのパラメータは各領域の知識 kDから学習する．そのため，ラベル付けの初期段階

では目標ドメインの学習データがほとんど存在しないので，目標ドメインの知

識 ktが上手く獲得できず，適切な知識転移を実現する転移写像Mを構築することが難しい．このとき，能動学習を用いて目標ドメインの知識 ktを更新する

ことで，間接的に転移写像Mのパラメータを適切に知識転移するように更新することができる．しかし，ラベル付けの初期段階は目標ドメインの学習デー

タがほとんど存在しないので，能動学習は正確に学習効果が高いデータを選択

することができない．そのため，ラベル付けの初期段階では，能動学習を用い

ても目標ドメインの知識 ktを効率よく更新できず，転移写像Mのパラメータを効率よく更新できないと考えられる．

本研究が提案する能動的転移更新モデルでは，能動学習において提示したデー

タに対するラベル付け以上のフィードバックをアノテータに要求することで，ア

ノテータからデータのラベル付けに加えて追加情報Zを取得し，それを転移写

像の学習に利用する．これは，通常の転移学習の知識転移（式 (1)）において，

10

転移写像Mに対して追加情報Zをパラメータとして追加することを意味する．

kt′ ≃M(ks, kt;Z) (2)

追加情報Zを用いて構築した転移写像（式 (2)）が，各ドメインの知識 kDの

みから構築できる転移写像（式 (1)）よりも適切な知識転移をすることができれ

ば，転移学習において目標ドメインの学習データがほとんど存在しない時でも

適切な知識転移を行うことができる．そのため，転移学習の目標ドメインの学

習データがほとんど存在しない時は適切に知識転移することが難しいという問

題に対処することが出来る．そして，この知識転移を用いることで目標ドメイ

ンの学習データが少ないラベル付けの初期段階から学習効果の高いデータの選

択ができる．そのため，能動的転移更新モデルを用いることでラベル付けの初

期段階では学習効果の高いデータを選択することが難しいという能動学習の問

題にも対処できる．

能動的転移更新モデルは，このような適切な知識転移の実現に役立つ追加情報

Zをアノテータから取得して転移写像の学習に利用することで，少量の目標ド

メインの学習データから精度の良い分類器を構築する分類器学習フレームワー

クである．

3.2 能動的転移更新モデルの適用可能範囲3.2.1 能動的転移更新モデルの適用可能条件

ある問題に対して能動的転移更新モデルを適用するためには，以下の３つの

条件が必要である．

条件１：有効な元ドメイン，共通ドメインが存在する 能動的転移更新モデル

は転移学習を利用するフレームワークである．そのため，ある問題に対して能

動的転移更新モデルを適用するためには，その問題が転移学習を利用できる必

要がある．

転移学習では，元ドメイン，共通ドメインをヒューリスティックに定める．そ

のため，ある問題に対して転移学習を利用するためには式 (2)を満たす転移写

像が構築できるような元ドメイン，共通ドメイン（有効な元ドメイン，共通ド

メイン）をヒューリスティックに定めることができることが必要である．その

ため，能動的転移更新モデルを適用するためには，転移学習と同様に有効な元

ドメイン，共通ドメインが存在することが必要である．

11

条件２：アノテータのフィードバックを利用できる 能動的転移更新モデルは

能動学習を利用するフレームワークである．条件１と同様に，ある問題に対し

て能動的転移更新モデルを適用するためには，その問題が能動学習を利用でき

る必要がある．

能動学習は分類器の学習にアノテータのフィードバックが利用できることが

必要である．そのため，能動的転移更新モデルを適用するためには，能動学習と

同様にアノテータのフィードバックを利用できることが必要である．アノテー

タのフィードバックを利用できる問題の例として，入力データを人が決めたり，

出力データを人が受け取ったりするような分類器学習の手順中に人が介在する

部分がある場合が考えられる．

条件３：アノテータから適切な知識転移の実現に役立つ追加情報を得ることが

出来る 能動的転移更新モデルではアノテータに対して通常のラベル付けに加

えて追加情報Zをフィードバックすることを要求する．そのため，能動的転移

更新モデルを適用するためには，アノテータから適切な知識転移の実現に役立

つ追加情報を得ることが出来ることが必要である．

3.2.2 適切な知識転移の実現に役立つ追加情報

能動的転移更新モデルにおけるアノテータからの追加情報Zとして，どのよ

うな情報が利用できるか検討する．

追加情報Zは適切な知識転移の実現に役立つ必要がある．能動的転移更新モ

デルの転移学習における適切な知識転移とは，式 (2)の近似精度が高いことを

意味する．そのため，適切な知識転移の実現に役立つ情報とは式 (2)の近似精

度を上げる，すなわち元，目標，共通ドメインの知識の差異の学習に役に立つ

情報である．元，目標，共通ドメインの知識の差異の学習に役に立つ情報の例

として，共通ドメインの知識を獲得するのに役立つ情報（共通ドメインの学習

データ等）が考えられる．転移学習では共通ドメインを媒介として知識転移を

行うため，共通ドメインの知識がより正確に獲得できれば，元，目標，共通ド

メインの知識の差異の学習に役に立つと考えられる．

3.2.3 能動的転移更新モデルが適用可能な問題の具体例

能動的転移更新モデルの適用可能条件を全て満たす問題の例として，本研究

が扱う所持品に基づく人物画像分類や評価文書分類 [13]がある．

それぞれの問題が能動的転移更新モデルの適用可能条件を満たすかどうかの

検討は，所持品に基づく人物画像分類については 4.2.2節，評価文書分類につい

12

ては付録A.1で述べる．

13

第4章 能動的転移更新モデルを用いた所持品に基づく人物画像分類

本研究では，第 3章で提案した能動的転移更新モデルを用いて，少量の学習

データとアノテータとのインタラクションを利用して所持品に基づく人物画像

分類を行う手法を提案する．

4.1 所持品に基づく人物画像分類所持品に基づく人物画像分類とは，人物画像集合をその人物の所持品に基づ

いて分類することである．これが実現できれば，防犯カメラ映像から得られた

人物画像集合の中からある所持品を持った人物の人物画像を検索できる．

対象とする所持品 一般的に防犯カメラは広い範囲を観測できるように設置さ

れるため，防犯カメラ映像から得られる人物画像の解像度は低い．そのため，防

犯カメラ映像から得られる所持品の画像の解像度は更に低いものとなる．この

とき，腕時計等の非常に小さな所持品については，防犯カメラ映像から得られ

た画像からは判別することができないと考えられる．本研究では人物の所持品

の中で防犯カメラ映像にある程度大きく写るもの（鞄・傘・帽子など）を対象

とする．

対象とする所持品に基づく人物画像分類 １つの所持品を対象に所持品に基づ

く人物画像分類を行う場合は，その所持品を持っている人物画像かそうでない

かを分類する２クラス分類問題となる．また，複数の所持品を扱う場合は，複

数の所持品を同時に所持することを考慮して，それぞれの所持品に対する２ク

ラス分類問題を考え，結果を統合することが考えられる．そこで，本研究では

所持品に基づく人物画像分類の中で，注目する所持品を持っている人物画像か

そうでないかを分類する２クラス分類を対象とする．

所持品に基づく人物画像分類の従来研究 所持品に基づく人物画像分類は，従

来いくつか研究が行われている [4–6]．Schelsら [4]は，所持品の中で trolley,

suitcase, backpackを対象とする所持品に基づく人物画像分類手法を提案してい

る．Schelsらの手法では，対象とする所持品の 3次元モデルを用いて大量に生

成した所持品画像を基に，カメラ画像中から対象とする所持品が写っている領

域を検出する検出器を構築する．そして，防犯カメラ映像から抽出した人物画

像の高さの分布と実際の人物の身長分布に基いて防犯カメラの内部パラメータ

14

を推定し，カメラ映像の 2次元座標と実世界座標との対応を取得する．検出器

を用いて取得した所持品領域の集合に対して，実世界座標での人物と所持品の

3次元相対位置を考慮したフィルタリングを行うことで，精度の良い所持品に

基づく人物画像分類を行う．

浅井ら [5]は，所持品の中で空港で所持されていることが多いキャリーバッ

グ，リュックサック，ショルダバッグを対象とする所持品に基づく人物画像分類

手法を提案している．被写体の方向によって所持品の見た目が変化することと，

人物画像に対する所持品の相対位置がある程度決まることに着目し，学習デー

タを人物画像の向きごとに別々に用意して，所持品が出現する領域の画像特徴

量のみを人物画像の特徴量として使用して分類器を学習する．

Chuaら [6]は，所持品の中で Sling BagとBackpackを対象とする所持品に基

づく人物画像分類手法を提案している．所持品の種類と人物画像の方向毎に特

化したモデル化を行うことで，精度の良い所持品に基づく人物画像分類手法を

行う．

これらの研究では，特定の幾つかの所持品を対象にした所持品に基づく人物

画像分類のみを扱い，大量の学習データを用いた学習やその所持品に特化した

モデル化を行うことで分類器を構築することを提案している．そのため，学習

データが少ない問題のための機械学習である転移学習や能動学習を利用してい

ない．

しかし，人物画像の検索の補助を目的とする所持品に基づく人物画像分類で

は，分類の基準となる所持品の種類や意味的粒度は分類を行うたびに異なる．そ

のため，その都度分類基準に適した大量の学習データを用いた学習や分類基準

となる所持品に特化したモデル化を行うことは困難である．よって，これらの

従来手法は様々な種類や意味的粒度の所持品を対象とする所持品に基づく人物

画像には適用することができない．

4.2 能動的転移更新モデルを用いた所持品に基づく人物画像分類システム

能動的転移更新モデルを用いた所持品に基づく人物画像分類を実現するシス

テムの想定を図 4に示す．

本システムの目標ドメインは所持品に基づく人物画像分類（注目する所持品

を持っている人物の人物画像かそうでない人物画像かを分類する問題）である．

15

...

!"

#

$%

領域のラベル

(a)

(c)

(d)

(e)

…

(b)

[B]

[A]

[C]

…

図 4: 能動的転移更新モデルを用いた所持品に基づく人物画像分類システム（図

中の [A][B][C]の画像のクレジットは付録A.3に記載している．以降の画像につ

いても同様である．）

本システムでは，元ドメインを所持品画像分類（注目する所持品が主に写って

いる画像かそうでない所持品が主に写っている画像かを分類する問題），共通

ドメインを所持品領域分類（人物画像中のある所持品の領域に注目する所持品

が写っているかそうでないかを分類する問題）とする．そして，追加情報Zと

して，注目する所持品を持っている人物がどのような相対位置にどのような見

た目で注目する所持品を持っているかという情報を用いる．以下，ある所持品

が画像全体の大部分を占めて写っている画像のことを所持品画像と呼ぶことに

する．

本節では，4.2.1節で本システムの処理手順について述べる．そして，4.2.2節

で本システムが定めた元，共通ドメインと追加情報Zを用いた能動的転移更新

モデルの所持品に基づく人物画像分類に対する有効性について議論する．

16

4.2.1 能動的転移更新モデルを用いた所持品に基づく人物画像分類システム

の処理手順

本システムでは，注目する所持品の画像とそうでない所持品画像（元ドメイ

ンの学習データ）を入力とし，システムが予め取得している人物画像集合 Iの

中から注目する所持品を持った人物の人物画像の集合を出力とする．

本システムは入力を受けてから結果を出力するまでに，以下のような手順で

所持品に基づく人物画像分類を行う．

1. システムの入力のみから初期の転移写像Mを学習する．2. i← 1とする．i = T になるまで (a)～(f)を繰り返す．

(a) 転移写像Mを用いて元ドメイン，目標ドメインの知識 kDを共通ドメ

インの知識 kt′に転移する（詳細は 4.3節）．

(b) 共通ドメインの知識 kt′から共通ドメインの分類器 f t′i を学習する．

(c) 分類器 f t′i を用いて人物画像集合 I の中から学習効果の高いデータを

N 個選択し，アノテータに提示する．

(d) アノテータは提示された人物画像の人物が注目する所持品を所持して

いるかどうか，所持しているならばどの位置にどのような見た目で所

持しているかをシステムにフィードバックする（詳細は 4.4節）．

(e) システムは，アノテータからのフィードバックを基に転移写像Mを再学習する．

(f) i← i+ 1として (a)に戻る．

3. 分類器 f t′T を用いて人物画像集合 Iの中から注目する所持品を持った人物の

人物画像の集合を取得して，出力する．

4.2.2 所持品に基づく人物画像分類に対する能動的転移更新モデルの有効性

本システムを実現するには，所持品に基づく人物画像分類が 3.2節で述べた

能動的転移更新モデルの適用可能条件を全て満たしている必要がある．本シス

テムが定めた元ドメイン，共通ドメイン，追加情報Zを用いた所持品に基づく

人物画像分類が，これらの条件を満たしているかどうか検討する．

条件 1：有効な元ドメイン，共通ドメインが存在する 本システムの目標ドメ

インは所持品に基づく人物画像分類である．そして，元ドメインを所持品画像

分類，共通ドメインを所持品領域分類とする．これらの元，目標，共通ドメイ

ンの知識転移を可能にする転移写像は我々がヒューリスティックにモデル化す

ることができた（転移写像Mのモデル化については，4.3.3節に後述する）．そ

17

のため，所持品に基づく人物画像分類には，有効な元ドメイン，共通ドメイン

が存在すると言える．

条件 2：アノテータのフィードバックを利用できる 本システムでは，人が分

類対象とする所持品を決定し，人が分類器の出力をシステムの出力として受け

取る．これは，3.2.2節で述べた分類器学習の手順中に人が介在する問題である．

そのため，所持品に基づく人物画像分類ではアノテータのフィードバックを利

用できる．

条件 3：アノテータから適切な知識転移の実現に役立つ追加情報を得ることが

出来る 本システムでは追加情報Zとして，注目する所持品を持っている人物

がどの位置にどのような見た目で注目する所持品を持っているかという情報を

用いる．この情報は，3.2.2節で述べた共通ドメインの知識を獲得するのに役立

つ情報である．そのため，所持品に基づく人物画像分類における適切な知識転

移の実現に役立つ．

以上より，所持品に基づく人物画像分類は能動的転移更新モデルの適用可能

条件を全て満たしている．そのため，能動的転移更新モデルは所持品に基づく

人物画像分類に適用可能であると言える．

4.3 能動的転移更新モデルにおける転移学習２クラス分類の所持品に基づく人物画像分類では，Xtはあらゆる人物画像の

集合，Ytは人物画像の人物が注目する所持品を持っているかどうかのラベル集

合 lt+, lt−である．ある目標ドメインのデータ（人物画像）に対応するラベルは，その人物画像の人物が注目する所持品を持っている場合は lt+, そうでない

場合は lt−をとする．

4.3.1 元ドメイン

本システムの元ドメインは，先述のように所持品画像分類とする．このとき，

Xsはあらゆる所持品の画像，Ysは所持品画像が注目する所持品の画像である

かどうかのラベル集合 ls+, ls−である．ある元ドメインのデータ（所持品画像）に対応するラベルは，その画像が注目する所持品の画像である場合は ls+,そう

でない場合は ls−とする．

所持品画像分類の学習データは，インターネット上で所持品の名前をクエリ

として画像検索することで簡単に手に入る．そこで，本研究では元ドメインの

学習データをインターネット上での画像検索により取得することを想定する．

18

元ドメインの正事例 目標ドメインの正事例

(a) 転移仮定 1

領域 背景領域

(b) 転移仮定 2

元ドメインの正事例 共通ドメインの正事例

[A]

(c) 転移仮定 3

図 5: 転移仮定（傘を対象とした場合）

4.3.2 転移仮定

元ドメインを所持品画像分類とした所持品に基づく人物画像分類における転

移仮定について述べる（図 5）．

転移仮定 1 元ドメインと目標ドメインの類似している点として，図 5(a)のよ

うに元ドメインの正事例（注目する所持品の所持品画像）と目標ドメインの正

事例（注目する所持品を持っている人物の人物画像）の注目する所持品の外接

矩形領域が類似していると仮定する．以下，注目する所持品を持っている人物

の人物画像中の注目する所持品の外接矩形領域のことを注目する所持品の領域

と呼ぶ．

転移仮定2 インターネット上での画像検索により得られる所持品画像には，背

景が単一色の物が多く，共通ドメインのデータの背景と異なる場合が多い．こ

19

(a) 傘 (b) ハンドバッグ

図 6: 所持品領域の位置や形に伴う所持品領域の見えの変化

のとき，注目する所持品の画像と注目する所持品の領域について，前景領域（注

目する所持品が写っている領域）同士は類似しているが，背景領域同士は類似

していないと仮定する（図 5(b)）．

転移仮定 3 実世界において，人は所持品を相対位置によって異なる方法で持

つことがある．例えば，人が傘を肩よりも上に持つときは開いた状態で持って

いる，肩よりも下に持つときは閉じた状態で持っている事が多いと考えられる．

また，ハンドバッグについても，肩にかけて持つ場合と手に提げて持つときで

は持ち方が異なる．こうした実世界における所持品の持ち方の変化は，人物画

像において所持品領域の相対位置や所持品領域の形に基づく所持品領域の見え

の変化として現れる（図 6）．よって，共通ドメインのデータと，元ドメイン

のデータの類似度は，所持品領域の位置や形によって変化すると仮定する（図

5(c)）．

4.3.3 転移写像のモデル化

前節で述べた 3つの転移仮定に基いて知識転移を実現するために，以下のよ

うな転移写像をモデル化する．

転移仮定 1に基づく知識転移 転移仮定１に基づく知識転移を実現するために，

元ドメインの知識と目標ドメインの知識を所持品領域分類（与えられた所持品

領域が注目する所持品の領域かそうでないかを分類する問題）の領域 t′の知識

kt′に転移する．

このとき，共通ドメインの入力に該当する確率変数X t′の定義域をXt′，共通

ドメインの出力に該当する確率変数Y t′の定義域をYt′とすると，Xt′はあらゆ

る所持品領域，Yt′ は所持品領域が注目する所持品の領域かどうかのラベル集

20

合 lt′+, lt′−である．ある所持品領域に対応するラベルは，その所持品領域に注

目する所持品が写っている場合は lt′+, そうでない場合は lt

′−とする．

以降，各ドメインの学習データ集合を (XD, Y D)とする．ここで，XDはデー

タ集合（XD = xDi |i = 1, ..., nD），Y Dは対応するラベル集合 (Y D = yDi |i =

1, ..., nD)，xDi は学習データ集合の i番目のデータ，yDi はそれに対応するラベ

ル，nDは学習データの数である．

各ドメインの知識 kDから共通ドメインの知識 kt′への転移は，各ドメインの

学習データ集合を共通ドメインの学習データ集合に変換することで実現する．

変換後の学習データ集合を (X t′ , Y t′) = (X t′←s, Y t′←s) ∪ (X t′←t, Y t′←t)とする．

ここで，(X t′←D, Y t′←D)は各ドメインの学習データ集合 (XD, Y D)を所持品領

域分類の学習データ集合に変換したものである．

元ドメインの学習データ集合 (Xs, Y s)はそのまま共通ドメインの学習に利用

する ((X t′←s, Y t′←s) = (Xs, Y s))．目標ドメインの学習データ集合 (X t, Y t)か

ら共通ドメインの学習データ集合 (X t′←t, Y t′←t)への変換は，人物画像集合X t

からあらゆる所持品の領域を自動で抽出し，その所持品領域の個々のラベルを

与えることで実現する．このとき，X t′←t = ∪nt

i=1Xt′←ti ，Y t′←t = ∪nt

i=1Yt′←ti で

ある．ここで，X t′←ti は人物画像 xt

i 内の所持品領域の集合，Y t′←ti は対応する

個々の所持品領域のラベルである．また，人物画像からの所持品領域抽出にお

いて，一つも所持品領域が抽出できない場合は，その人物画像は所持品をひと

つも持っていないとみなして，負ラベル lt−をつける．

人物画像からあらゆる所持品の領域を自動で抽出する研究は従来盛んに行わ

れている [1–3]．しかし，人物画像から抽出した所持品領域について自動で個々

のラベルを正確に与えることはできない．従来の転移学習と能動学習を組み合

わせたフレームワークにおいては，目標ドメインの学習データから個々の所持

品領域のラベルを推定することが考えられる．しかし，個々の所持品領域のラ

ベルが不確かである場合は，元ドメインから共通ドメインへの適切な知識転移

は難しいと考えられる．

そこで，本研究では追加情報 Zとして所持品領域の個々のラベル Y t′←tをア

ノテータから取得し，元ドメインから共通ドメインへの適切な知識転移を行う．

転移仮定 2に基づく知識転移 転移仮定２に基づく知識転移を実現するために

は，所持品画像・所持品領域の前景領域の特徴を用いて分類を行えば良い．

21

(a) 通常の能動学習

(b)能動的転移更新モデル

における能動学習（注目す

る所持品の所持品領域抽出

に誤りがない場合）

(c) 能動的転移更新モデル

における能動学習（注目す

る所持品の所持品領域抽出

に誤りがある場合）

図 7: 能動的転移モデルにおける能動学習のフィードバック方法（バックパック

を対象とした場合，黄色点線矩形は自動的に抽出された所持品領域を表す）

そこで，本研究では所持品画像と所持品領域の特徴量を画素の並びを反映し

た画像特徴量で表す．そして，所持品画像と所持品領域の両方で有用な部分空

間を求め，その空間上で分類器の学習を行う．こうすることで，前景領域の特

徴が所持品画像と所持品領域の両方で有用な部分空間として，自動的に選ばれ，

転移仮定２に基づく知識転移が実現できる．

転移仮定 3に基づく知識転移 所持品領域の位置や形に伴う所持品領域の見え

の変化に対処するためには，所持品領域を人物との相対位置と形に基いて幾つ

かの所持品領域クラスタにクラスタリングし，各所持品領域クラスタに特化し

た分類器を構築すれば良い．

本研究では，各所持品領域クラスタに特化した分類器の学習において，元ド

メインの学習データを各所持品領域クラスタにおける学習の有用性に基いて重

み付けして利用することで，転移仮定３に基づく知識転移を実現する．

4.4 能動的転移更新モデルにおける能動学習能動学習において，アノテータから人物画像中の個々の所持品領域ラベルY t′←t

を取得するには，提示された人物画像から抽出された全ての所持品領域につい

て注目する所持品が写っているかどうかをフィードバックしてもらう（図 7）．

ここで，人物画像からの所持品領域抽出において，抽出ズレや抽出漏れが存在

することが考えらえる．このときは，アノテータから注目する所持品の外接矩

形を直接フィードバックしてもらうことで対処する．

22

第5章 所持品に基づく人物画像分類システムの実装

第 4章で述べた能動的転移更新モデルを用いた所持品に基づく人物画像分類

を実現するシステムを実装した．

5.1 用いた要素技術従来，所持品に基づく人物画像分類システムの構成要素となる要素技術とし

て，人物検出 [14]，画像特徴量 [15]，分類器 [16]，所持品領域抽出 [1–3] がそれ

ぞれ提案されてきた．これらの手法の中で，最適な組み合わせを求めることで

所持品に基づく人物画像分類の分類精度向上が見込める．しかし，本研究は所

持品に基づく人物画像分類の最高の分類精度を出す手法を提案するのではなく，

用いた要素技術に依らず一般的に利用できる分類器学習フレームワークを提案

するものである．そこで，所持品に基づく人物画像分類システムの構成要素と

なる要素技術はそれぞれ実装が容易なものを用いた．

5.1.1 人物検出

所持品に基づく人物画像分類システムでは，あらかじめ防犯カメラ映像から

人物画像集合 I を抽出しておく．これは防犯カメラ映像に対して人物検出 [14]

を行うことで実現できる．

本システムでは，実世界における人物と所持品の相対位置を考慮するために，

所持品領域を人物との相対位置と形に基いて幾つかの所持品領域クラスタにク

ラスタリングし，各所持品領域クラスタに特化した分類器を構築する．

ここで，防犯カメラ映像は三次元の実世界を二次元平面で表したものである

ため，カメラ座標において実世界での上向きに相当するベクトルは一定ではな

い（図 8左）．このとき，人物画像における所持品領域の相対位置は実世界に

おける人物と所持品との相対位置の情報を反映しないものとなる．

そこで，本システムにおける人物検出には，カメラの内部パラメータを基に

カメラ映像におけるY軸上向きと実世界での上向きが一致するようにカメラ映

像を変換することができる服部ら [17]の手法を用いた（図 8）．

服部らの手法は HoG特徴量 [18]を用いた人物検出において，長期間観測し

た情報を用いて検出漏れと誤検出を軽減する手法である．通常のHoG特徴量を

用いた人物検出器を利用して得られた検出結果について正検出か誤検出かの推

定を行い，それに基づいて検出器の追加学習とカメラの内部パラメータの推定

23

図 8: 服部ら [17]の手法による画像変換（左が変換前，右が変換後の画像を表

す．橙色の矩形は人物検出の結果，矢印は実世界での上向きに相当するべクト

ルである．）

を行う．検出器の追加学習を行うことで検出漏れを軽減する．そして，カメラ

の内部パラメータに基いてカメラ映像におけるY座標上向きと実世界での上向

きが一致するようにカメラ映像を変換することで，不要な探索を削減して誤検

出を軽減する．

本研究では，服部らの手法のうちカメラの内部パラメータに基いてカメラ映

像を変換する部分のみを用いた．このときのカメラの内部パラメータは手動で

与えた．

5.1.2 画像特徴量

本システムの能動的転移更新モデルでは，4.3.3節で述べたように，所持品画

像と所持品領域の特徴量を画素の並びを反映した画像特徴量で表す．そして，所

持品画像と所持品領域の両方で有用な部分空間を求め，その空間上で分類器の

学習を行う．

本研究では画素の並びを反映した画像特徴量として，実装が容易で知識転移

にも有効であることで知られる DeCAF特徴量 [15]を利用した．DeCAF特徴

量は，別の問題の学習データを用いて学習した深層ニューラルネットワークを

用いてあるデータを分類した時の中間層の出力をそのデータの特徴量とする手

法である．類似した問題で学習したネットワークを利用することで，ファイン

チューニングを行わなくても表現力の高い特徴量が得られる．

画像認識を目的とした深層ニューラルネットワークは一般的にConvolutional

Neural Network (CNN) [19]を用いる．CNNでは第一層の入力を画像とし，各

24

層において複数のフィルタを用いた畳込みを行い，その結果をプーリング（畳

込みの出力の解像度を落とす処理）したものを次層の入力とする．畳込みは画

素の並びに基づいた処理であるため，CNNの中間層の出力は画素の並びを反映

したものとなる．

本研究では，高速な深層ニューラルネットワークのライブラリで知られるCaffe

[20]を利用して特徴量抽出を行った．CNNを用いた学習済み深層ニューラル

ネットワークとしてBVLC CaffeNet Model [21]を利用し，中間第 6層の出力を

DeCAF特徴量とした．BVLC CaffeNet Modelは一般物体認識の大規模データ

セットで知られる Image Net [22]中の特定の 1000クラスを用いて学習された一

般物体認識のための深層ニューラルネットワークである．これらの 1000クラス

には，plastic bag，backpack，umbrellaなどの所持品に該当するものが存在す

る．そのため，この 1000クラスの一般物体認識は，本研究が共通ドメインとし

ている所持品領域分類と類似した問題であると考えられる．そのため，BVLC

CaffeNet Modelを用いて抽出したDeCAF特徴量は，所持品に基づく人物画像

に適していると考えられる．

ここで，BVLC CaffeNet Modeの入力画像は縦と横の長さが同じであること

を想定している．しかし，所持品領域，所持品画像の形は必ずしも正方形とは

限らない．そこで，本研究では所持品領域，所持品画像から画像特徴量を抽出

する際には，所持品領域と同じ中心をもつ正方形領域から画像特徴量を抽出す

る（図 9）．このとき，正方形領域が人物画像からはみ出すことに対処するため，

元画像を折り返して拡張した画像上で特徴量抽出を行う．正方形領域の一辺は

所持品領域の縦，横の長さの大きい方にオフセットとして αを足した長さとし

た．本システムでは α = 10pxとした．

5.1.3 分類器

本研究では，分類器としてDeCAF特徴量と相性の良いことで知られる線形

SVMを用いた．線形 SVMには大規模データに対して高速に学習・分類できる

線形 SVMライブラリLIBLINEAR [16]を利用した．LIBLINEARには学習デー

タの重みを扱うインタフェースが提供されている．能動的転移更新モデルの全

ての分類器学習において，正負の学習データの数に偏りがある場合は，正負の

重みを正規化して学習を行った．

以降，あるドメイン d ∈ s, t, t′の分類器を fdと表す．あるドメインのデー

タを xdとすると，fd(xd) ∈ Ydである．そして，fd(xd) ∈ [0, 1]を分類器 fdか

25

図 9: 所持品画像，所持品領域の特徴量抽出を行う正方形領域（黄色点線は所持

品領域，赤色点線は特徴量抽出を行う領域を示す）

ら判断する xdのラベルが正ラベル ld+である確率とする．fdが線形 SVMであ

る場合は，以下のように定義する．

fd(xd) =

1 (wdxd + bd > 1)

0 (wdxd + bd < −1)wdxd + bd

2+ 0.5 (otherwise)

(3)

ここで，xdは xdの画像特徴量，wd，bdはそれぞれ線形 SVMfdにおける重み

ベクトルとバイアスである．式 (3)はデータ xdの特徴量 xdが線形 SVMfdの正

のサポートベクターで構成される超平面に対して正側にある場合に 1，負のサ

ポートベクターで構成される超平面に対して負側にある場合に負側にある場合

に 0，そうでない場合は正，負のサポートベクターで構成される２つの超平面

に対する距離に基いて 0～1の値を取る．

5.1.4 所持品領域抽出

本研究では，所持品領域抽出としてTavanaiらの手法 [1]を利用した．Tavanai

らはGeometric Shape Modelを用いて人物画像から所持品領域を抽出し，それ

らを人物と所持品の相対位置における時空間制約を用いてフィルタリングする

26

ことで高精度な所持品領域抽出を行うことを提案している．

Geometric Shape Modelでは，まず人物画像中の色の分布と姿勢推定の結果

に基いて，人物画像の前景領域を人物領域と人物でない領域に分割する．そし

て，人物でない領域からエッジの線分集合を取得し，線分集合から所持品らし

い領域を形成する部分集合を求め，所持品領域として抽出する．人物画像から

複数の所持品領域を抽出した場合は，線分集合の部分集合の選び方によっては，

所持品領域がオーバーラップする場合がある

実験で利用する目標ドメインのデータセット（詳細は6.2に後述）は，人物画像

を時系列に基いて関連付けていないため，時空間制約を用いたフィルタリングを

することができない．そのため，本研究ではTavanaiらの手法のうちGeometric

Shape Modelを用いた所持品領域抽出のみを用いた．

5.2 能動的転移更新モデルにおける転移学習の実装4.3節で述べた能動的転移更新モデルにおける転移学習の実装について述べ

る．以下，人物画像集合 I の人物画像は全て高さ h0，横幅 w0に正規化されて

いるものとする．本システムでは h0 = 160px，w0 = 60pxとした．

5.2.1 転移仮定 1に基づく知識転移:所持品領域分類による所持品に基づく人

物画像分類

本研究では転移学習を用いて所持品画像分類（元ドメイン）の知識と所持品

に基づく人物画像分類（目標ドメイン）の知識を所持品領域分類（共通ドメイ

ン）の知識に転移する．

本節では，本研究が提案する所持品領域分類の手法と，所持品領域分類を用

いて所持品に基づく人物画像分類を実現する方法について述べる．

所持品領域分類 所持品領域分類とは与えられた所持品領域が注目する所持品

の領域かそうでないかを分類する問題である．本研究では，4.3.3節で述べたよ

うに，所持品領域の位置や形に伴う所持品領域の見えの変化に対処するために，

所持品領域を位置と形に基いて幾つかの所持品領域クラスタにクラスタリング

する．そして，各所持品領域クラスタに特化した分類器を構築する．

人物画像集合 I から得られた全ての所持品領域の集合をX t′←tとする．所持

品領域集合X t′←tを所持品領域の位置と形に基いてm個の所持品領域クラスタ

R1, ..., Rmにクラスタリングする．そして，各所持品領域クラスタRkに特化し

た分類器 f t′k を構築する．ある所持品領域 xt′←t

i が注目する所持品の領域かどう

27

かを分類する分類器 f t′は以下のように分類を行う．

f t′(xt′←ti ) = f t′

k (xt′←ti ) (xt′←t

i ∈ Rk) (4)

ある所持品領域クラスタ Rkに含まれる所持品領域は，その所持品領域クラ

スタに特化した分類器 f t′k を用いて分類を行うことで所持品領域の位置や形に

伴う所持品領域の見えの変化に対処できる．

所持品領域集合X t′←tは各所持品領域 xt′←ti の位置と形の情報 xt′←t

i に基いて

所持品領域クラスタにクラスタリングする．このとき xt′←ti は以下のように定義

する．

xt′←ti = (N(yxt′←t

i),N(log(

wxt′←ti

hxt′←ti

))) (5)

ここで，yxt′←ti，wxt′←t

i，hxt′←t

iはそれぞれ，所持品領域 xt′←t

i の中心 y座標，横

幅，高さである．また，関数Nは値を [0.0, 1.0]の範囲に正規化する線形正規化

関数であり，N(yxt′←ti

)は以下のように表される．

N(yxt′←ti

) =yxt′←t

i−min

jyxt′←t

j

maxj

yxt′←tj−min

jyxt′←t

j

(6)

N(log(w

xt′←ti

hxt′←ti

))についても同様に定義する．xt′←ti を用いて全ての所持品領域を

クラスタリングすることで，類似した位置，形の所持品領域が同じクラスタに

含まれる．このクラスタリングには，k-means 法を利用し，m = 32とした．

所持品領域クラスタRkに特化した分類器 f t′k は，元ドメイン，目標ドメイン

の学習データから変換された共通ドメインの学習データ (X t′ , Y t′)を所持品クラ

スタ Rkにおける学習の有用性に基いて重み付けして学習する．ある共通ドメ

インの学習データ xt′i のクラスタRkに対応する分類器 f t′

k に対する学習の重み

wk(xt′i )は以下のように決定する．

wk(xt′

i ) =

ws

k(xt′i ) (xt′

i ∈ X t′←s)

wtk(x

t′i ) (xt′

i ∈ X t′←t)(7)

ここで，wskは元ドメインの学習データから変換された共通ドメインの学習デー

タに対する重み，wtkは目標ドメインの学習データから変換された共通ドメイン

の学習データに対する重みである．wskについては，転移仮定 3に基づいて決定

28

するため 5.2.3節で述べる．wtkは以下のように定義する．

wtk(x

t′

i ) = w(Rj, Rk) (xt′

i ∈ Rj, j ∈ 1, ...,m) (8)

w(Rj, Rk) = exp(−(g(Rj)− g(Rk))2

2σ2) (9)

ここで，w(Rj, Rk)は所持品領域クラスタRj，Rkの類似度に基づいて決定する

クラスタ間の重み，g(Rj)は所持品領域クラスタRjの中心，σは重み決定のパ

ラメータである．本システムにおいては σ = 0.05とした．

目標ドメインの学習データから変換された共通ドメインの学習データの重み

を式 (8)(9)を用いて決定することで，所持品領域クラスタ Rkに特化した分類

器 f t′k の学習において，所持品領域クラスタRkに含まれる所持品領域と類似し

た位置，形の所持品領域の重みが大きくなる．そのため，所持品領域クラスタ

Rkに特化した分類器が構築できる．

所持品領域分類を用いた所持品に基づく人物画像分類 先に述べた所持品領域

分類（共通ドメイン）を用いて所持品に基づく人物画像分類（目標ドメイン）を

実現する方法について述べる．

ある人物画像 xtiの所持品領域集合をX t′←t

i = xt′←tij |j = 1, ..., nt

iとする．所持品領域 xt′←t

ij が注目する所持品の領域である事象をExt′←tij，そうでない事象を

Ext′←tijとする．

目標ドメイン（所持品に基づく人物画像分類）の分類器 f tが人物画像 xtiを

分類する際は，以下の式を用いて分類を行う．

f t(xti) =

lt+ (Pr[∧nt

ij=1Ext′←t

ij] < 0.5)

lt− (otherwise)(10)

式 (10)は，人物画像 xtiに含まれる所持品領域集合X t′←t

i に注目する所持品の

領域が 1つも存在しない確率が小さい場合，すなわちX t′←ti に注目する所持品

の領域が 1つ以上存在する確率が大きい場合に，人物画像 xtiが注目する所持品

を持った人物の人物画像であると分類することを意味する．

以下に Pr[∧nti

j=1Ext′←tij

]の算出方法について述べる．まず，１つの所持品領域

のラベル付けに関する確率について述べる．１つの所持品領域 xt′←tij が注目する

所持品の領域である確率Pr[Ext′←tij

]，そうでない確率Pr[Ext′←tij

]は，所持品領域

29

xt′←tij が所持品領域クラスタRkに属するとき，分類器 f t′

k を用いて求める．

Pr[Ext′←tij

] = f t′

k (xt′←tij ) (xt′←t

ij ∈ Rk) (11)

Pr[Ext′←tij

] = 1.0− Pr[Ext′←tij

] (12)

次に 2つ以上の所持品領域のラベル付けに関する同時確率について考える．

Ext′←tij

= Ext′←tij，Ext′←t

ijとする．人物画像 xt

iの所持品領域集合X t′←ti のラベル

付けについて，起こりうる全ての事象を含む空間を ΩXt′←tiとする．このとき，

ΩXt′←tiは Ext′←t

ij(j = 1, ..., nt

i)の直積集合である（ΩXt′←ti

=∏nt

ij=1 Ext′←t

ij）．所持

品領域集合X t′←ti の中の任意の 2つの所持品領域 (xt′←t

ij , xt′←tik )がオーバーラッ

プしているとき，xt′←tij と xt′←t

ik は同じラベルである可能性が高い．そのため，

Eij ∈ Ext′←tijとEik ∈ Ext′←t

ikは独立でない．そこで，本研究では関数 revを導入

してΩXt′←tiに含まれるEXt′←t

i= ∧nt

ij=1Eij|Eij ∈ Ext′←t

ij の同時確率を以下のよ

うに定める．

Pr[EXt′←ti

] ∝nti∏

j=1

Pr[Eij]∏

k,l∈1,...,nti,

k =l

rev(Eij, Eik) (13)

rev(Eij, Eik) =

Kζ(O(xt′←t

ij ,xt′←tik )−0.5) (Eij ≡ Eik)

K−ζ(O(xt′←tij ,xt′←t

ik )−0.5) (Eij ≡ Eik)(14)

ここで，Eij ≡ Eik は所持品領域 xt′←tij ，xt′←t

ik が同じラベルであることを示す．

また，O(xt′←tij , xt′←t

ik ) ∈ [0, 1]は所持品領域 xt′←tij ，xt′←t

ik のオーバーラップ率で，

以下のように定義される．

O(xt′←tij , xt′←t

ik ) =xt′←tij ∩ xt′←t

ik の画素数xt′←tij ∪ xt′←t

ik の画素数(15)

rev(Eij, Eik)は所持品領域 xt′←tij ，xt′←t

ik のオーバーラップ率O(xt′←tij , xt′←t

ik )に基

いて，同時確率Pr[EXt′←ti

]の大きさを補正する関数である．ここで，Kは十分

大きな数，ζ(x)はゲイン aのシグモイド関数である．

ζ(x) =1

1 + exp(−ax)(16)

本研究においてはK = 1000, a = 15とした．

rev(Eij, Eik)は O(xt′←tij , xt′←t

ik )の値が小さいとき 1に近づき，O(xt′←tij , xt′←t

ik )

30

の値が大きい時は，所持品領域 xt′←tij ，xt′←t

ik が同じラベルであればKに，そう

でなければ 1Kに近づく．これは所持品領域 xt′←t

ij ，xt′←tik のオーバーラップ率が

大きい場合は，所持品領域 xt′←tij ，xt′←t

ik が同じラベルである確率を大きくし，所

持品領域 xt′←tij ，xt′←t

ik が異なるラベルである確率を小さくすることを意味する．

式 (10)～式 (16)を用いることで，所持品領域分類を用いて所持品に基づく人

物画像分類を実現することが出来る．

5.2.2 転移仮定 2に基づく知識転移:所持品画像分類と所持品領域分類の両方

で有用な部分空間の利用

4.3.3節で述べたように，転移仮定２に基づく知識転移を実現するため，所持

品画像分類と所持品領域分類の両方で有用な部分空間を求める．

本研究では，実装が非常に容易で，2つのドメインの学習データから両方のド

メインで有用な部分空間を自動的に学習できる EASY ADAPT [23]を用いる．

EASY ADAPTは元々転移学習の手法として提案された手法で，各ドメイン

のデータの特徴量を変換することで知識転移を行う．本研究では，元ドメインの

学習データ (Xs, Y s)と目標ドメインの学習データ (X t, Y t)をそれぞれ共通ドメ

インの学習データ (X t′←s, Y t′←s)，(X t′←t, Y t′←t)に変換した後，X t′←sとX t′←t

の両方で有用な部分空間を求める手法として EASY ADAPTを利用する．

EASY ADAPTでは，元ドメインのデータから変換した共通ドメインのデー

タの特徴量 xt′←sを (xt′←s,xt′←s,0)に変換し，目標ドメインのデータから変換

した共通ドメインのデータの特徴量 xt′←tを (xt′←t,0,xt′←t)に変換する．xt′←s，

xt′←tの次元数が dの時，変換後の特徴量は 3d次元となる．変換後の特徴量の 1

～d次元において，両方のデータで共通して利用できる部分空間が学習できる．

そして，(d+ 1)～2d次元，(2d+ 1)～3d次元において，それぞれ片方のデータ

のみで利用できる部分空間が自動で学習できる．

5.2.3 転移仮定3に基づく知識転移:元ドメインの学習データに対する重み付け

4.3.3節で述べたように，転移仮定３に基づく知識転移を実現するために，各

所持品領域クラスタに特化した分類器の学習において，元ドメインの学習デー

タを各所持品領域クラスタにおける学習の有用性に基いて重み付けして利用す

る（式 (7)）．

元ドメインのラベル付きデータ集合をXs = X t′←s = xt′←si |i = 1, ..., ns，対

応するラベル集合を Y s = ysi |i = 1, ..., nsとする．所持品領域クラスタRkに

31

特化した分類器 f t′k に対する元ドメインの学習データから変換された共通ドメ

インの学習データに対する重みwskは所持品領域クラスタRkにおける学習の有

用性に基いて決定する．

ある元ドメインの学習データ (xt′←si , ysi )の所持品領域クラスタ Rk における

学習の有用性は，xt′←si の特徴量 xt′←s

i が所持品領域クラスタRkに含まれる所

持品領域の特徴量の分布に従うかどうかを基準に決定する．特徴量 xt′←si が所

持品領域クラスタ Rkに含まれる正ラベルの所持品領域の特徴量の分布に従う

確率を Pr[xt′←si ∼ X t′

k+]，負ラベルの所持品領域の特徴量の分布に従う確率を

Pr[xt′←si ∼ X t′

k−]とすると，所持品領域クラスタRkに特化した分類器 f t′k に対す

る xt′←si の重みws

k(xt′←si )は以下のように定義する．

wsk(x

t′←si ) =

Pr[xt′←s

i ∼ X t′k+] = f t′

k+(xt′←si ) (ysi = ls+)

Pr[xt′←si ∼ X t′

k−] = f t′k−(x

t′←si ) (ysi = ls−)

(17)

分類器 f t′k+は，正ラベルのついた目標ドメインから変換した共通ドメインのデー

タを式 (7)に基いて重み付けしたものを正事例，正ラベルのついた元ドメインか

ら変換した共通ドメインのデータを負事例として学習したものである．f t′k− に

ついても，元ドメイン，目標ドメインの負事例を用いて同様に学習する．

式 (17)を用いて元ドメインの学習データから変換した共通ドメインの学習

データの重みを決定することで，元ドメインの正事例の中で共通ドメインの正

事例に近いデータの重みが大きくなり，元ドメインの負事例の中で共通ドメイ

ンの負事例に近いデータの重みが大きくなる．そのため，所持品領域分類問題

の学習に有用性に基づいた重み付けができる．

5.3 能動的転移更新モデルにおける能動学習の実装本研究では，能動的転移更新モデルにおける能動学習手法として，能動学習

手法として最も一般的なUncertaintyを用いた．Uncertaintyは最もラベル付け

が不確かなデータを学習効果の高いデータとして選択する手法である．本シス

テムにおいては，式 (10)における Pr[∧nti

j=1Ext′←tij

]が最も 0.5に近いデータが学

習効果が高いデータであるとみなす．

32

第6章 実験

第 5章で実装した所持品に基づく人物画像分類システムを用いて，所持品に

基づく人物画像分類における能動的転移更新モデルの有効性を確認する実験を

行った．

6.1 実験目的様々な種類・意味的粒度の所持品を対象とする所持品に基づく人物画像分類

において，能動的転移更新モデルを用いることで，従来提案さているフレーム

ワークを用いた場合よりも少ない学習データで分類精度の良い分類器を構築で

きることを確認する．

6.2 データセット6.2.1 目標ドメインのデータセット

本実験では目標ドメインのデータセットとして，商業施設に設置した 23台の

防犯カメラの 12日×4時間の映像から 5.1.1節で述べた方法を用いて抽出した

人物画像集合から，撮影時間に基いて等間隔に選んだ 4387枚の画像を用いた．

このデータセットは商業施設に訪れる人物が何をどれ位の割合で持っているか

の分布を反映している．

データセット内の全ての人物画像には本研究が対象とする所持品が写ってい

るものについて手動で所持品領域の外接矩形を与えた．本研究が対象とする所

持品の定義とデータセットの内訳を表 1に示す．所持品領域は鞄の紐，傘の中

棒などの人物画像内で小さく写る部分は除いて外接矩形を与えた．また，非常

に小さい所持品領域（5x5px以下）は対象外とした．

目標ドメインのデータセットにおいて，人物画像 1枚あたりの所持品領域は

0.914個であった．

6.2.2 元ドメインのデータセット

本実験では元ドメインのデータセットとして，Bing Search API [24]を用いて

インターネット上で画像検索することで取得した画像集合を利用する．表 2に

データセットの内訳を示す．

インターネットでの画像検索では，検索クエリと類似した語と関連付けられ

た画像が得られるため，所持品の名前で画像検索した結果は必ずしも所持品画

33

表 1: 本研究が対象とする所持品の定義と目標ドメインのデータセットの内訳

所持品の種類 所持品を持った人

物の人物画像数

所持品の定義

handbag 2071 手提げの鞄，または肩がけの鞄で紐が

短く鞄の中心が腰より上に来るもの

backpack 269 背負う鞄

shoulderbag 963 肩がけの鞄で紐が長く鞄の中心が腰よ

りも下にくるもの

headgear 420 頭の上にかぶるもの全て

umbrella 449 傘全般（折り畳み傘も含む）

持ち物なし 1030

全人物画像 4387

表 2: 元ドメインのデータセットの内訳

所持品の種類 画像数 Bing Search APIでの検索クエリ

handbag 819 handbag

backpack 750 backpack

shoulderbag 854 shoulderbag

headgear 800 hat OR cap

umbrella 663 umbrella

全画像数 3856

像のみとは限らない．元ドメインのデータセットには，対象とする所持品の画

像とは異なるものや，イラストなども含まれる．

6.3 比較手法本実験では，能動的転移更新モデルと比較する手法として，転移学習，能動

学習を単体で用いた手法，従来提案されている転移学習と能動学習を利用した

フレームワークを用いる．比較手法における能動学習ではアノテータは提示さ

れたデータのラベルのみを与える（4.4節図 7(a)）．そのため，比較手法では

34

分類器学習において個々の所持品領域のラベルが不明となる．そこで，比較手

法では共通ドメインの分類器学習において，正事例を含む集合と負事例のみの

集合を用いて学習を行うmi-SVM [25]を拡張した手法を用いる．mi-SVMは通

常の分類器学習と正事例を含む集合の中から負事例に似たデータを取り除くこ

とを何回か繰り返すことで分類器学習を行う．本研究では，１枚の人物画像の

中の所持品領域集合には，注目する所持品が１つしか存在しない場合が多いと

仮定し，それ基づいて mi-SVMを拡張して用いた．正ラベルのついた人物画

像の集合を X t+ = X t+i |i = 1, ..., nt+，負ラベルのついた人物画像の集合を

X t− = X t−i |i = 1, ..., nt−とする．ここで，X t+

i = xt′+ij |i = 1, ..., nt+

i は正ラベルのついた人物画像，xt′+

ij は人物画像X t+i に含まれる j番目の所持品領域，

X t−i = xt′−

ij |i = 1, ..., nt−i は負事例に含まれる人物画像，xt′+

ij は人物画像X t−i

に含まれる j番目の所持品領域である．このとき，Algorithm 1を用いて分類器

を学習する．ここで，パラメータ kmaxは 10とした．

Algorithm 1 比較手法における分類器学習

Require: X t+ = X t+i |i = 1, ..., nt+, X t− = X t−

i |i = 1, ..., nt−, kmax

X t′+0 ← ∪nt+

i=1Xt+i

X t′−0 ← ∪nt−

i=1Xt−i

正事例をX t′+0 ，負事例をX t′−

0 として分類器 f t′0 を学習する．

for k = 1 to kmax do

X t′+k ←

for i = 1 to nt+ do

関数 f t′k−1を分類器 f t′

k−1を用いて式 (3)と同様に定義する．

X t′+k ← X t′+

k ∪ xt′+ij (j = arg max

jf t′k−1(x

t′+ij ))

end for

正事例をX t′+k ，負事例をX t′−

0 として分類器 f t′k を学習する．

end for

return fkmax

35

6.4 実験方法6.2節で述べた元ドメイン，目標ドメインのデータセットを用いて，様々な

種類・意味的粒度の所持品を対象に所持品に基づく人物画像分類を行う実験を

行った．

実験では，目標ドメインのデータセットを 5つに分割し，1つをテスト用デー

タセット，残りを学習用データセットとする交差検証を行った．これは，図 4に

おける人物画像集合 Iに学習用データセットを利用し，構築した分類器の評価

には，テスト用データセットを用いることを意味する．そして，図 4における

入力を元ドメインのデータセットとした．

所持品に基づく人物画像分類システムでは目標ドメインの学習用データセッ

トに入力として事前にラベルを与える必要はない．しかし，本実験の比較手法

の中に目標ドメインの学習データが１つも存在しないときに適用できない手法

が存在する．そこで，全ての手法において目標ドメインの学習用データセット

の中から正負共に 1データのみ入力として事前に初期ラベルを与えた．

本実験では，所持品に基づく人物画像分類における能動的転移更新モデルの

純粋な有効性を調べるため，手動で与えた所持品領域のみを用いて実験を行っ

た．また，１回のインタラクションでシステムがアノテータに提示する人物画

像数N は 5，最大インタラクション回数 T は 50とした．

6.4.1 実験１:様々な種類の所持品を対象にした所持品に基づく人物画像分類

実験１において，様々な種類の所持品に対する所持品に基づく人物画像分類

についての実験を行った．目標ドメインのデータセットから，本研究が対象と

する全ての所持品（handbag，shoudlderbag，backpack，umbrella，headgear）

を対象とする所持品に基づく人物画像分類を行った．実験には，6.2節で述べた

目標ドメインのデータセットをそのまま利用した．

6.4.2 実験２:様々な意味的粒度の所持品を対象にした所持品に基づく人物画

像分類

実験２において，様々な意味的粒度の所持品に対する所持品に基づく人物画像

分類についての実験を行った．目標ドメインのデータセットから，本研究が対象

とする所持品のうち，２つの所持品を対象とする所持品に基づく人物画像分類

を行う．意味的に類似していると考えられる handbagと shoudlerbag，handbag

と backpack，shoulderbagと backpackの 3つを対象に実験した．

36

表 3: 実験１，実験２で比較した手法の詳細（Randomは能動学習においてアノ

テータに提示するデータをランダムに選択することを示す）

手法の名前 転移学習 能動学習 インタラクションの方法

Baseline - Random ラベルのみフィードバック

TL Random ラベルのみフィードバック

AL - Uncertainty ラベルのみフィードバック

TL+AL Uncertainty ラベルのみフィードバック

Proposed Uncertainty 所持品領域をフィードバック

実験２において，目標ドメインのデータセットをそのまま利用すると，デー

タセット内の半数以上が対象とする所持品のいずれかを持つ人物の人物画像と

なる場合がある．このとき，問題設定が簡単になってしまい手法間で分類精度

の違いが現れないと考えられる．そこで，実験２では，対象とする所持品を持っ

ている人物の人物画像と，持っていない人物の人物画像の比率が 1対 5になる

ように目標ドメインのデータセットを縮小して実験を行った．

6.5 評価方法所持品に基づく人物画像分類において能動的転移更新モデルを用いることで

少ないラベル付けで効率のよい分類器を学習できることを評価するため，能動

学習をおこなう回数（インタラクション回数）に対する分類精度（F値）で評

価を行った．

本実験では，1回の交差検証において，初期ラベルを変更して 3回の学習・分

類を行い，合計 15回の結果の平均で評価した．

6.6 結果実験１の結果を図 10に，実験２の結果を図 11に示す．これらのグラフは横

軸がインタラクション回数，縦軸が分類精度を表す．グラフが左上を通ってい

る方が少ないラベル付けで分類精度の高い分類器が構築できていることを示す．

実験１，実験２の結果で比較した手法の詳細を表 3に示す．Proposedは能動的

転移更新モデルを用いた場合，それ以外は比較手法を用いた場合の結果である．

実験１の結果（図 10）は，いずれもBaseline，ALまたはTL，TL+AL，Pro-

37

posedの順でグラフが左上を通っている．そのため，様々な種類を対象にした所

持品に基づく人物画像分類では，能動的転移更新モデルを用いた手法が比較手

法に比べて最も少ないラベル付けで効率のよい分類器を学習できることができ

ることがわかる．また，実験１の結果の中でTL+ALとProposedについて，詳

細に分類精度を比較した結果を表 4に示す．表 4から，全結果の平均において，

表 4: 実験１におけるTL+ALとProposedの比較（averageは全結果の平均を示

す）

所持品 手法 T = 10 T = 32 T = 50

handbagTL+AL 0.791 0.819 0.8242

Proposed 0.795 0.820 0.827

backpackTL+AL 0.458 0.573 0.624

Proposed 0.455 0.603 0.645

shoulderbagTL+AL 0.520 0.572 0.598

Proposed 0.556 0.600 0.616

headgearTL+AL 0.867 0.964 0.964

Proposed 0.903 0.965 0.965

umbrellaTL+AL 0.684 0.744 0.771

Proposed 0.709 0.800 0.805

averageTL+AL 0.664 0.735 0.756

Proposed 0.684 0.758 0.772

TL+ALの T = 50の分類精度を，Proposedの T = 32で達成できることがわ

かった．また，対象とした 5つの所持品についてProposedとTL+ALの分類精

度の差を比べると，handbagと headgearを対象にした場合は，TL+ALの分類

精度に比べてProposedの分類精度はあまり向上していないことがわかる．これ

は，handbag，headgearを対象とした所持品に基づく人物画像分類が簡単であっ

たためであると考えられる．handbagについては，目標ドメイン内に handbag

を所持している人物の人物画像の割合が高いために，分類が容易であったと考

えられる．また，headgearについては，人物画像中で出現する相対位置がほぼ

決まっているため，分類が容易であったと考えられる．

38

実験１の結果と同様に，実験２の結果（図11）についても，いずれもProposed

が最も少ないラベル付けで分類精度の良い分類器を構築できていることがわかる．

以上の結果から，様々な種類・意味的粒度の所持品を対象とする所持品に基

づく人物画像分類において，能動的転移更新モデルを用いることで，従来提案

さているフレームワークを用いた場合よりも少ない学習データで分類精度の良

い分類器を構築できることを確認できた．

6.7 考察6.7.1 考察１：所持品領域抽出に誤りがある場合の能動的転移更新モデルの有

効性

実験１，実験２では，所持品に基づく人物画像分類における能動的転移更新

モデルの純粋な有効性を調べるため，手動で与えた所持品領域のみを用いて実

験を行った．しかし，実際には自動による所持品領域抽出には誤りが含まれる

可能性がある．そこで，本節では所持品領域抽出に誤りがある場合の能動的転

移更新モデルの有効性について考察する．

所持品領域抽出の誤りは，抽出漏れ，誤抽出，抽出ズレの３つが考えられる．

抽出漏れとは本来抽出されるべき所持品領域が抽出されないことである．また，

誤抽出とは所持品ではない領域が誤って所持品領域として抽出されることであ

る．そして，抽出ズレとは本来抽出されるべき所持品領域とオーバーラップし

ているものの正確でない領域が所持品領域として抽出されることである．

所持品領域抽出の誤りがある場合の能動的転移更新モデルの有効性を調べる

ために，目標ドメインのデータセットに対して 5.1.4節で述べた所持品領域抽出

を用いて所持品に基づく人物画像分類を行うことが考えられる．しかし，この

方法では３つの所持品領域抽出の誤りの中でどれがどの程度分類精度に影響す

るのかがわからない．そこで，本考察では目標ドメインのデータセットにおい

て，手動で与えた所持品領域に擬似的な誤りを加えることで，所持品領域抽出

に誤りがある場合の評価を行う．

ここで，本研究が用いる所持品に基づく人物画像分類手法の性質上，能動的

転移更新モデルを用いる，用いないにかかわらず抽出漏れが発生する割合に比

例して分類性能が低下することは自明である．そこで，本考察では所持品領域

抽出における誤抽出，抽出ズレがある場合の能動的転移更新モデルの有効性を

評価する．

39

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

handbag

Baseline

TL

AL

TL+AL

Proposed

(a) handbagの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

backpack

Baseline

TL

AL

TL+AL

Proposed

(b) backpackの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

shoulderbag

Baseline

TL

AL

TL+AL

Proposed

(c) shoulerbagの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

headgear

Baseline

TL

AL

TL+AL

Proposed

(d) headgearの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

umbrella

Baseline

TL

AL

TL+AL

Proposed

(e) umbrellaの結果

図 10: 実験１の結果

40

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

handbag+shoulderbag

Baseline

TL

AL

TL+AL

Proposed

(a) handbag+shoulderbagの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

shoulderbag+backpack

Baseline

TL

AL

TL+AL

Proposed

(b) shoulerbag+backpackの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

handbag+backpack

Baseline

TL

AL

TL+AL

Proposed

(c) handbag+backpackの結果

図 11: 実験２の結果

41

なお，目標ドメインのデータセットに対して 5.1.4節で述べた所持品領域抽出

を用いて所持品に基づく人物画像分類を行う場合の評価については付録A.2に

記載した．

擬似的な誤抽出 本考察では，目標ドメインのデータセットにおいて，手動で

与えた所持品領域に擬似的に誤抽出を加えることで，所持品領域抽出に誤抽出

がある場合の評価を行う．

擬似的な誤抽出は 5.1.4節で述べたTavanaiらの手法を用いて生成する．手動

で与えた所持品領域とTavanaiらの手法で自動的に抽出した所持品領域の両方

を用いて，所持品に基づく人物画像分類を行うことで，所持品領域抽出に誤抽

出がある場合の評価を行う．

擬似的に誤抽出を発生させた目標ドメインのデータセットにおいて，所持品

領域は人物画像 1枚あたり平均 2.81個であった．これは，6.2節で述べた手動で

与えた所持品領域の人物画像 1枚あたり平均 0.914個に比べて，3.07倍である．

擬似的な抽出ズレ 本考察では，目標ドメインのデータセットにおいて，手動

で与えた所持品領域に対して正規乱数を用いてノイズを与えて擬似的な抽出ズ

レを発生させることで，所持品領域抽出に抽出ズレがある場合の評価を行う．

手動で与えた所持品領域に対して正規乱数を用いて擬似的な抽出ズレを発生

させる方法について述べる．手動で与えた所持品領域を縦 h，横 w，中心座標

を x，yとする．抽出ズレを発生した所持品領域を縦 h′，横w′，中心座標を x′，

y′とすると，これらは以下の式によって求める．

x′ = rand(x,w

5) (18)

w′ = rand(w,w

5) (19)

y′ = rand(y,h

5) (20)

h′ = rand(h,h

5) (21)

ここで，rand(m,σ)は平均m，標準偏差 σの正規乱数である．

実験と評価 実験１と同様に様々な種類の所持品に対する所持品に基づく人物

画像分類についての実験を行った．

所持品領域抽出に誤抽出がある場合の結果を図 12，抽出ズレがある場合の結

果を図 13，誤抽出と抽出ズレがある場合の結果を図 14に示す．実験１，２と同

様に，これら結果においても，Proposedが最も少ないラベル付けで高い分類精

42

度の分類器を構築出来る事がわかる．そのため，所持品領域抽出に誤りがある

場合でも所持品に基づく人物画像分類において能動的転移更新モデルは有効で

ある事がわかった．

また，アノテータとのインタラクションを 50回行った時の分類精度について，

所持品領域抽出に誤りがある場合とない場合の結果を比較した（表 5）．

所持品領域抽出に誤抽出がある場合について，実験１の分類精度に対する百

分率を比較すると，能動的転移更新モデル (Proposed)は従来のフレームワーク

(TL+AL)に比べて頑健であることがわかる．従来のフレームワークでは，6.3

節で述べたように共通ドメインの学習にmi-SVM [25]を用いる．このとき，所

持品領域抽出において誤抽出が多くなるに連れて，mi-SVMにおいて正事例を

含む集合内の正事例の割合が小さくなる．そのため，mi-SVMを用いた分類器学

習が困難になると考えられる．一方，個々の所持品領域のラベルをフィードバッ

クする能動的転移更新モデルでは，共通ドメインの分類器学習においてmi-SVM

を用いる必要が無く，所持品領域抽出における誤抽出の数と関係なく安定して

分類器学習を行うことが出来る．そのため，能動的転移更新モデルは従来のフ

レームワークに比べて，誤抽出に対して頑健であると考えられる．

一方，所持品領域抽出に抽出ズレがある場合について，実験１の分類精度に

対する百分率を比較すると，所持品領域抽出の抽出ズレは所持品に基づく人物

画像分類において分類精度にあまり影響しないことがわかる．この理由として，

画像特徴量として用いたDeCAF特徴量が抽出ズレに強い特徴量であるためで

あると考えられる．CNNを用いた画像認識は，認識物体の画像上の並進移動の

変化に頑健であるという性質を持つ．そのため，DeCAF特徴量が抽出ズレに強

いという性質があると考えられる．

6.7.2 考察２：能動的転移更新モデルで考慮した転移仮定の有効性

本研究の能動的転移更新モデルでは，4.3.2節で述べた３つの転移仮定に基づ

く知識転移を実現するために，4.3.3節で述べた転移写像を用いた．本節では，

これらの３つの転移仮定がどの程度知識転移に有効であるかについて考察する．

本研究の能動的転移更新モデルでは，転移仮定 1に基づく知識転移を行うた

めに，共通ドメインとして所持品領域分類を用いた．また，転移仮定 2に基づ

く知識転移を行うために，所持品画像分類と所持品領域分類の両方で有用な部

分空間を利用した．そして，転移仮定 3に基づく知識転移を行うために，元ド

メインの学習データに対して各所持品領域クラスタにおける学習の有用性に基

43

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

handbag

Baseline

TL

AL

TL+AL

Proposed

(a) handbagの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

backpack

Baseline

TL

AL

TL+AL

Proposed

(b) backpackの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

shoulderbag

Baseline

TL

AL

TL+AL

Proposed

(c) shoulerbagの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

headgear

Baseline

TL

AL

TL+AL

Proposed

(d) headgearの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

umbrella

Baseline

TL

AL

TL+AL

Proposed

(e) umbrellaの結果

図 12: 考察１の結果（誤検出を含む場合）

44

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

handbag

Baseline

TL

AL

TL+AL

Proposed

(a) handbagの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

backpack

Baseline

TL

AL

TL+AL

Proposed

(b) backpackの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

shoulderbag

Baseline

TL

AL

TL+AL

Proposed

(c) shoulerbagの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

headgear

Baseline

TL

AL

TL+AL

Proposed

(d) headgearの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

umbrella

Baseline

TL

AL

TL+AL

Proposed

(e) umbrellaの結果

図 13: 考察１の結果（検出ズレを含む場合）

45

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

handbag

Baseline

TL

AL

TL+AL

Proposed

(a) handbagの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

backpack

Baseline

TL

AL

TL+AL

Proposed

(b) backpackの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

shoulderbag

Baseline

TL

AL

TL+AL

Proposed

(c) shoulerbagの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

headgear

Baseline

TL

AL

TL+AL

Proposed

(d) headgearの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

umbrella

Baseline

TL

AL

TL+AL

Proposed

(e) umbrellaの結果

図 14: 考察１の結果（検出ズレと誤検出を含む場合）

46

表 5: アノテータとのインタラクションを 50回行った時の分類精度の比較（括

弧内は各手法の実験１の分類精度に対する百分率を表す）

所持品 手法 実験 1 誤抽出有り 抽出ズレ有り 誤抽出+抽出ズレ

handbagTL+AL 0.824 0.734(89.1%) 0.816(99.0%) 0.729(88.5%)

Proposed 0.827 0.761(92.0%) 0.819(99.0%) 0.756(91.4%)

backpackTL+AL 0.624 0.371(59.5%) 0.567(90.9%) 0.331(53.0%)

Proposed 0.645 0.465(72.1%) 0.584(90.5%) 0.421(65.3%)

shoulderbagTL+AL 0.598 0.474(79.3%) 0.548(91.6%) 0.466(77.9%)

Proposed 0.616 0.532(86.4%) 0.557(90.4%) 0.526(85.4%)

headgearTL+AL 0.964 0.659(68.4%) 0.957(99.3%) 0.663(68.8%)

Proposed 0.965 0.827(85.7%) 0.955(99.0%) 0.823(85.3%)

umbrellaTL+AL 0.771 0.530(68.7%) 0.726(94.2%) 0.527(68.4%)

Proposed 0.804 0.701(87.2%) 0.766(95.3%) 0.684(85.1%)

averageTL+AL 0.756 0.554(73.2%) 0.723(95.6%) 0.543(71.8%)

Proposed 0.772 0.657(85.2%) 0.736(95.4%) 0.642(83.2%)

いて重み付けを行った．

本考察では，これらの転移仮定 1,2,3に基づく知識転移の中の幾つかを用いて

所持品に基づく人物画像分類を行うことで，3つの転移仮定がどの程度知識転

移に有効であるかを評価する．

ここで，転移仮定 1に基づく知識転移は，能動的転移更新モデルを用いた所持

品に基づく人物画像分類において根幹をなす部分なので，これを用いずに能動

的転移更新モデルを用いた所持品に基づく人物画像分類を行うことはできない．

そこで，本考察では転移仮定 1に基づく知識転移のみを行う場合（TA 1），転

移仮定 1，2に基づく知識転移のみを行う場合（TA 1+2），転移仮定 1，3に基

づく知識転移のみを行う場合（TA 1+3），転移仮定 1，2，3に基づく知識転移

を行う場合（TA 1+2+3）の 4つを比較し，転移仮定 2に基づく知識転移と転

移仮定 3に基づく知識転移の有効性について考察した．ここで，TA 1+2+3は

実験 1のProposed（通常の能動的転移更新モデル）で用いた転移学習と同じも

のである．本考察では，転移学習の純粋な有効性を比較するため，能動学習に

はRandomを用いた．

本研究の能動的転移更新モデルでは，転移仮定 2に基づく知識転移を行うた

47

めに，EASY ADAPT [23]を用いて，所持品画像分類（元ドメイン）と所持品

領域分類（共通ドメイン）の両方で有用な部分空間を学習する．そして，転移

仮定 3に基づく知識転移を行うために，元ドメインの学習データに対して各所

持品領域クラスタにおける学習の有用性に基いて重み付けを行う．

転移仮定 2に基づく知識転移を行わないTA 1，TA 1+3では，EASY ADAPT

を用いた元ドメインと共通ドメインの両方で有効な部分空間の学習を行わず，元

ドメインの学習データをそのまま共通ドメインの学習データとして利用する．ま

た，転移仮定 3に基づく知識転移を行わないTA 1，TA 1+2では，5.2.3節で述

べた分類器 f t′←skp をデータの重み付けを行わずに学習し，元ドメインの学習デー

タに対する重み付けを全ての所持品領域クラスタにおいて一定とする．このと

き，元ドメインの学習データに対する重み付けは，所持品領域クラスタを無視

した共通ドメインの全ての正事例の分布に従うかどうかを基準に決定する．

実験と評価 実験１と同様に様々な種類の所持品に対する所持品に基づく人物

画像分類についての実験を行った．結果を図 15に示す．

転移仮定2に基づく知識転移の有効性 TA 1とTA 1+2，TA 1+3とTA 1+2+3

を比べると，backpack以外の所持品を対象にした場合に大幅に分類精度が向上

していることがわかる．そのため，能動的転移更新モデルを用いた所持品に基づ

く人物画像分類において転移仮定2に基づく知識転移は有用である事がわかった．

転移仮定 3に基づく知識転移の有効性 TA 1とTA 1+3を比べた場合は head-

gear，umbrellaを対象とした場合に若干分類精度が上がるものの，TA 1+2と

TA 1+2+3を比べた場合は，いずれの所持品を対象にした場合もほとんど分類

精度が向上しないことがわかる．この理由は，本実験で用いた元ドメインのデー

タセットが転移仮定 3の性質を持たなかったためであると考えられる．

所持品 handbagについて，共通ドメインのデータと実験で用いた元ドメイン

のデータセットのデータの比較を図 16に示す．共通ドメインのデータは肩にか

けて所持されているハンドバッグや，手に下げて所持されているハンドバッグ

が含まれる．また，防犯カメラに対するハンドバッグの向きが異なる場合があ

る．そのため，共通ドメインのデータには所持品の種類，撮影された方向，形

状の変化についての多様性が存在する．本研究では，この多様性を所持品領域

の位置や形に伴う所持品領域の見えの変化と考え，所持品領域を人物との相対

位置と形に基いて幾つかの所持品領域クラスタにクラスタリングし，各所持品

領域クラスタに特化した分類器を構築することでこれに対処している．

48

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

handbag

TA 1

TA 1+2

TA 1+3

TA 1+2+3

(a) handbagの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

backpack

TA 1

TA 1+2

TA 1+3

TA 1+2+3

(b) backpackの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

shoulderbag

TA 1

TA 1+2

TA 1+3

TA 1+2+3

(c) shoulerbagの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

headgear

TA 1

TA 1+2

TA 1+3

TA 1+2+3

(d) headgearの結果

0 10 20 30 40 50

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

umbrella

TA 1

TA 1+2

TA 1+3

TA 1+2+3

(e) umbrellaの結果

図 15: 考察２の結果

49

一方，元ドメインのデータセットの多くは，ハンドバッグを正面から撮影した

ものである．そのため，元ドメインのデータセットには所持品の種類の多様性

はあるものの，撮影された方向や形状の変化についての多様性は少ない．元ド

メインのデータセットにおいて，撮影された方向，形状の変化についての多様

性が少ない場合は，元ドメインのデータに対する各所持品領域クラスタにおけ

る学習の有用性は，どの所持品領域クラスタにおいても殆ど同じ値となる．そ

のため，転移仮定 3に基づく知識転移の有効性が殆ど無かったと考えられる．

転移仮定 3に基づく知識転移を利用するためには，元ドメインのデータセッ

トとして撮影された方向や形状の変化についての多様性があるものを利用する

必要があると考えられる．

(a) 共通ドメインのデータの例

[C] [D]

[E] [F]

(b) 元ドメインのデータセットの例

図16: 共通ドメインのデータと元ドメインのデータセットのデータの比較（hand-

bagの場合）

50

第7章 結論

本研究では所持品に基づく人物画像分類のような学習データを大量に用意す

ることが難しい分類問題に対して，少量の学習データとアノテータとのインタ

ラクションを利用して効率よく学習を行うことで，精度の良い分類器を構築す

る分類器学習フレームワークである能動的転移更新モデルを提案した．

学習データが少ない分類問題を扱うための機械学習の手法として，転移学習，

能動学習がある．転移学習は目標ドメインの学習データがほとんど存在しない

時は適切に知識転移することが難しいという問題がある．能動学習はラベル付

けの初期段階では学習効率の高いデータを選択することが難しいという問題が

ある．

本研究が提案する能動的転移更新モデルでは，能動学習においてアノテータ

から適切な知識転移の実現に役立つ追加情報を取得し，それを転移学習で利用

する．アノテータから取得した追加情報を用いて知識転移を行うことで，転移

学習において目標ドメインの学習データがほとんど存在しない時でも適切な知

識転移を行うことができる．そのため，転移学習の問題に対処できる．そして，

この知識転移を用いて能動学習を行うことで目標ドメインの学習データが少な

いラベル付けの初期段階から学習効果の高いデータを選択できる． そのため，

能動学習の問題にも対処できる．

所持品に基づく人物画像分類における能動的転移更新モデルの有効性を確認

するために，実際の防犯カメラの映像から取得した人物画像集合を用いて様々

な種類・意味的粒度の所持品を対象に所持品に基づく人物画像分類を行った．そ

の結果，従来のフレームワークにおいて能動学習を 50回行うことで得られる分

類精度 (F値)を，能動的転移更新モデルにおいて能動学習を 32回行うことで得

られ，能動的転移更新モデルの有効性を確認できた．

今後の課題として，転移仮定 3が有効になるような元ドメインのデータセッ

トを取得する方法について検討することが考えられる．また，能動的転移更新

モデルに対して，転移学習と能動学習と共に学習データが少ない分類問題を扱

うための機械学習として提案されている半教師あり学習を導入することが考え

られる．

51

謝辞

本研究を進めるにあたり，多くの御教示を賜りました美濃導彦教授に深く感

謝致します．本論文の副査として多くの御助言を賜りました中澤篤志准教授，日

頃より熱心な御指導を賜りました椋木雅之准教授に深く感謝致します．そして，

本研究を進めている多くの期間に直接御指導を賜り，遠隔地からも多大な御助

言を賜りました川西康友博士に心より感謝致します．また，本研究で用いたデー

タセットのアノテーションに御協力くださいました新土居美由紀氏に深く感謝

致します．最後に，日頃より本研究に対して多くのご意見をくださいました歩

行者センシンググループの皆様，並びに美濃研究室の皆様に深く御礼申し上げ

ます．

52

参考文献

[1] Tavanai, A., Sridhar, M., Gu, F., Cohn, A. G. and Hogg, D. C.: Carried

object detection and tracking using geometric shape models and spatio-

temporal consistency, Computer Vision Systems , Springer, pp. 223–233

(2013).

[2] Dondera, R., Morariu, V. and Davis, L.: Learning to detect carried ob-

jects with minimal supervision, Computer Vision and Pattern Recognition

Workshops (CVPRW), IEEE, pp. 759–766 (2013).

[3] Du, Y., Ai, H. and Lao, S.: A Two-Stage Approach for Bag Detection

in Pedestrian Images, Proceeding of the 12th IEEE Asian Conference on

Computer Vision (ACCV), IEEE (2014).

[4] Schels, J., Liebelt, J. and Lienhart, R.: Self-calibrating 3D context for

retrieving people with luggage, IEEE International Workshop on Visual

Surveillance (in conjunction with ICCV), IEEE, pp. 1920–1927 (2011).

[5] 浅井康博, 高橋友和, 出口大輔: 手荷物の種類と向きを考慮した人物画像

からの手荷物の所持判定に関する検討, 電子情報通信学会技術研究報告

（PRMU）, Vol. 113, No. 346, pp. 115–120 (2013).

[6] Chua, T. W., Leman, K., Wang, H. L., Pham, N. T., Chang, R., Nguyen,

D. D. and Zhang, J.: Sling bag and backpack detection for human ap-

pearance semantic in vision system, Proceeding of IEEE/RSJ Interna-

tional Conference on Intelligent Robots and Systems (IROS), pp. 2130–

2135 (2013).

[7] 神嶌敏弘: 転移学習, 人工知能学会誌, Vol. 25, No. 4, pp. 572–580 (2010).

[8] Settles, B.: Active learning literature survey, University of Wisconsin,

Madison, Vol. 52, pp. 55–66 (2010).

[9] Rehbein, I. and Ruppenhofer, J.: Evaluating the Impact of Coder Errors on

Active Learning, Proceedings of the 49th Annual Meeting of the Association

for Computational Linguistics: Human Language Technologies , pp. 43–51

(2011).

[10] Saha, A., Rai, P., Daume III, H., Venkatasubramanian, S. and DuVall,

S. L.: Active supervised domain adaptation,Machine Learning and Knowl-

53

edge Discovery in Databases , Springer, pp. 97–112 (2011).

[11] Yan, Y., Subramanian, R., Lanz, O. and Sebe, N.: Active transfer learning

for multi-view head-pose classification, Proceeding of the 21st IEEE Inter-

national Confernce on Pattern Recognition (ICPR), IEEE, pp. 1168–1171

(2012).

[12] Kale, D. and Liu, Y.: Accelerating Active Learning with Transfer Learning,

Proceeding of the 13th IEEE International Conference on Data Mining ,

IEEE, pp. 1085–1090 (2013).

[13] Pan, S. J., Ni, X., Sun, J.-T., Yang, Q. and Chen, Z.: Cross-domain senti-

ment classification via spectral feature alignment, Proceedings of the 19th

International Conference on World Wide Web, ACM, pp. 751–760 (2010).

[14] 山内悠嗣, 山下隆義, 藤吉弘亘: 画像からの統計的学習手法に基づく人検出,

電子情報通信学会論文誌 D, Vol. J96-D, No. 9, pp. 2017–2040 (2013).

[15] Donahue, J., Jia, Y., Vinyals, O., Hoffman, J., Zhang, N., Tzeng, E. and

Darrell, T.: DeCAF: A deep convolutional activation feature for generic

visual recognition, arXiv preprint arXiv:1310.1531 (2013).

[16] Fan, R.-E., Chang, K.-W., Hsieh, C.-J., Wang, X.-R. and Lin, C.-J.: LIB-

LINEAR: A library for large linear classification, The Journal of Machine

Learning Research, Vol. 9, pp. 1871–1874 (2008).

[17] 服部博憲, 満上育久, 椋木雅之, 美濃導彦: 固定カメラ映像を対象とした

HOG人物検出器のシーン適応手法, 電子情報通信学会パターン認識・メ

ディア理解 (PRMU)研究会, Vol. 109, No. 470, pp. 163–168 (2010).

[18] Dalal, N. and Triggs, B.: Histograms of oriented gradients for human de-

tection, Proceeding of the International Conference on Computer Vision

and Pattern Recognition (CVPR), IEEE, pp. 886–893 (2005).

[19] LeCun, Y., Boser, B., Denker, J. S., Henderson, D., Howard, R. E., Hub-

bard, W. and Jackel, L. D.: Backpropagation applied to handwritten zip

code recognition, Neural computation, Vol. 1, No. 4, pp. 541–551 (1989).

[20] Jia, Y., Shelhamer, E., Donahue, J., Karayev, S., Long, J., Girshick, R.,

Guadarrama, S. and Darrell, T.: Caffe: Convolutional Architecture for Fast

Feature Embedding, arXiv preprint arXiv:1408.5093 (2014).

[21] BVLC CaffeNet Model: http://caffe.berkeleyvision.org/gathered/

54

examples/imagenet.html.

[22] Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K. and Fei-Fei, L.: ImageNet:

A Large-Scale Hierarchical Image Database, Proceeding of the Interna-

tional Conference on Computer Vision and Pattern Recognition (CVPR)

(2009).

[23] Daume III, H.: Frustratingly Easy Domain Adaptation, Proceedings of

the 45th Annual Meeting of the Association of Computational Linguistics ,

Prague, Czech Republic, Association for Computational Linguistics, pp.

256–263 (2007).

[24] Bing Search API: http://www.bing.com/dev/en-us/dev-center.

[25] Andrews, S., Tsochantaridis, I. and Hofmann, T.: Support vector machines

for multiple-instance learning, Advances in neural information processing

systems , pp. 561–568 (2002).

55

付録

A.1 能動的転移更新モデルを適用できる問題の具体例能動的転移更新モデルを適用できる問題の１つとして評価文書分類 [13]があ

る．評価文書分類とは，ある事物に対する評価が記述された文書（評価文書）を

肯定的な内容のものと，否定的な内容のものに分類する問題である．

以下に評価文書分類が 3.2節で述べた能動的転移更新モデルの適用可能条件

を全て満たしているかどうか検討する．

条件 1：有効な元ドメイン，共通ドメインが存在する 評価文書分類では，対象

とする事物の評価文書分類（目標ドメイン）に対して，別の事物に対する評価

文書分類（元ドメイン）の知識を転移する転移学習が提案されている [13]．評

価文書分類では，ある文書のラベルはその文書中の一部の単語間の関係から判

断できる．この転移学習では，共通ドメインを単語間の関係から正負のラベル

を判断する問題とし，元ドメインのデータのラベルを決定づける単語間の関係

を，目標ドメインの評価文書分類に利用する．

従来，評価文書分類に対する転移学習手法が提案されているので，評価文書

分類は有効な元ドメイン，共通ドメインが存在するといえる．

条件 2：アノテータのフィードバックを利用できる 評価文書分類はマーケティ

ング等の重要な問題に応用できる．こうした重要な問題の解決には人的コスト

をかけることができると考えられる．

条件 3：アノテータから適切な知識転移の実現に役立つ追加情報を得ることが

出来る 従来提案されている評価文書分類ための転移学習では，共通ドメイン

を単語間の関係から正負のラベルを判断する問題とする．この転移学習を用い

た能動的転移更新モデルにおいて，目標ドメインのラベルの判断基準（目標ド

メインの文書中の一部の単語間の関係）をアノテータから取得する追加情報と

することができる．目標ドメインのラベルの判断基準は，3.2.2節で述べた共通

ドメインの知識を獲得するのに役立つ情報である．そのため，目標ドメインの

ラベルの判断基準は適切な知識転移の実現に役立つ情報である．

以上より，評価文書分類は能動的転移更新モデルの適用可能条件を全て満た

している．そのため，能動的転移更新モデルは評価文書分類に適用可能である

と言える．

A-1

表A.1: 自動で所持品領域抽出を行った時の抽出成功率

所持品の種類 所持品領域数 抽出成功数 抽出成功率

handbag 2320 303 13.1%

backpack 272 46 16.9%

shoulderbag 968 70 7.23%

headgear 422 40 9.48%

umbrella 467 25 5.40%

A.2 実環境における能動的転移更新モデルの有効性6.7.1節では，能動的転移更新モデルを用いた所持品に基づく人物画像分類に

おいて，所持品領域抽出の誤りの中でどれがどの程度分類精度に影響するかを

評価するために，目標ドメインのデータセットに擬似的な所持品領域抽出の誤

抽出，抽出ズレを加えたデータセットを用いて考察を行った．本節では，実際

に所持品に基づく人物画像分類を行う場合を想定し，5.1.4節で述べた手法を用

いて所持品領域抽出を自動で行った場合の能動的転移更新モデルの有効性につ

いて検討した．

本研究が用いる所持品に基づく人物画像分類では，共通ドメインとして所持

品領域分類問題を利用している．そのため，目標ドメインのデータを共通ドメ

インのデータに変換する所持品領域抽出において，抽出漏れが多く発生する場

合は，所持品に基づく人物画像分類を行うことができない．そこで，所持品に

基づく人物画像分類を行う前に，6.2節で述べた目標ドメインのデータセットに

対して自動で所持品領域抽出を行った時の抽出成功率を調べた．ここで，自動

での所持品領域抽出が成功したかどうかを，その領域と手動で与えた正解の所

持品領域とのオーバーラップ率が 0.5を超えているかどうかを基準に決定した．

結果を表A.1に示す．表A.1から，いずれの所持品についても抽出成功率が

20%を下回る結果となった．そのため，本研究が利用している所持品領域抽出

手法を用いた場合は，実環境において所持品に基づく人物画像分類を行うこと

が難しいことが分かった．

この原因として，5.1.4節で述べたように本研究では所持品領域抽出として

Tavanaiらの手法の一部のみを利用していることが考えられる．Tavanaiらの手

法を含む最新の所持品領域抽出 [1,2]や鞄領域抽出 [3]では，所持品領域抽出の

A-2

成功率が 60%～85%程度であることが知られている．そのため，所持品領域抽

出において完全なTavanaiらの手法を用いることや，他の最新の手法を用いる

ことで，実環境においても所持品に基づく人物画像分類を行うことが出来ると

考えられる．

A.2.1 所持品領域抽出における抽出漏れが起こらない場合の有効性

6.7.1節において，所持品領域抽出の誤りの中で，抽出漏れを除く誤抽出，抽

出ズレがある場合で能動的転移更新モデルが有効に働くことを示した．そのた

め，自動による所持品領域抽出においても抽出漏れが起こらなければ，能動的

転移更新モデルが有効に働くことが予想される．

これを確かめるために，前節で述べた目標ドメインのデータセットに対して

自動で所持品領域抽出を行った結果（表A.1）の中から，抽出漏れを起こした人

物画像を除いたデータセットを用いて所持品に基づく人物画像分類を行った．こ

のとき，対象とする所持品を持っている人物の人物画像については，その所持品

の領域を抽出成功している画像のみを利用し，持っていない人物の人物画像に

ついては，１つ以上の所持品の領域を抽出成功している画像を利用した．また，

個々の所持品の中で抽出成功数が比較的多いhandbag，shoulderbag，backpack，

headgearの 4つを対象とした．

結果を図A.1に示す．考察１に示した結果と同様に，所持品に基づく人物画

像分類において能動的転移更新モデルは有効である事が確認できた．以上の結

果から，所持品領域抽出において抽出漏れが起こりにくい手法を用いることで，

実問題においても能動的転移更新モデルは有効に働くと予想される．

A.3 本稿で利用した画像のクレジット[A] Smart Umbrella by tweak Fscht,

http://www.flickr.com/photos/tweakfest/3210632166/

[B] Incase Backpacks by Alberto Ziveri,

https://www.flickr.com/photos/albertoziveri/9415888389/

[C] crochet bag by Zyada,

http://www.flickr.com/photos/zyada/2571624073/

[D] dior-samurai-1947-handbag by Brandon Baunach,

https://www.flickr.com/photos/bbaunach/1056429842/

[E] airbrushed steampunk handbag by ”T”eresa,

A-3

0 5 10 15 20 25 30

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

handbag

TL+AL

Proposed

(a) handbagの結果

0 5 10 15 20 25 30

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

backpack

TL+AL

Proposed

(b) backpackの結果

0 5 10 15 20 25 30

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

shoulderbag

TL+AL

Proposed

(c) shoulerbagの結果

0 5 10 15 20 25 30

interaction

0.0

0.2

0.4

0.6

0.8

1.0

f1 m

easu

re

headgear

TL+AL

Proposed

(d) headgearの結果

図A.1: 抽出漏れを除いたデータセットを用いた評価の結果

A-4

https://www.flickr.com/photos/teresa-stanton/6380684311/

[F] Filson computer bag by Ged Carroll,

http://www.flickr.com/photos/renaissancechambara/6003048381/

A-5