1

第 2 回電子デバイス研究会 2005/2/21@ 工業技術総合研究所

動画像処理とその応用

新潟大学 玉木徹

● 動画像処理● 人物の検出と追跡● 人物の移動軌跡と歩行経路予測● 複数カメラ間の人物移動経路推定● バレーボールのスパイク球速計測● 卓球のスピン計測

2

3

監視カメラ映像処理の実用化

日立ハイコス , 人流計測システム , http://www.hicos.co.jp/seihin/gazou/jinr1/j1.htm, 2003.

4

監視システムにおける人物抽出と追跡

原画像 差分画像

ラベリング処理抽出結果

検出した人物の形状解析（頭、胴体、両足）

R. Ismail Haritaoglu, Simple Object (People) Detector and Tracker, 1997, http://www.umiacs.umd.edu/~hismail/PDT/index.html.R. Ismail Haritaoglu, W4 : Who? When? Where? What? A Real Time System for Detecting and Tracking of People, 1999, http://www.umiacs.umd.edu/users/hismail/W4_outline.htm.I.Haritaoglu, D.Harwood, and L.Davis, "W4: Who, When, Where, What: A Real Time System for Detecting and Tracking People", Third Face and Gesture Recognition Conference, pp.222-227, 1998.

5

動画像処理：背景差分背景画像 入力画像

差分画像

二値化 ラベリング後、ある領域だけを抽出

抽出

あらかじめ用意しておいた背景画像との差を抽出する手法

6

動画像処理：フレーム間差分入力画像

時刻 1

時刻 2

時刻 3

差分、二値化

共通部分のみ取り出す

抽出

フレームとフレームの間の差を抽出する手法

7

動画像処理：マッチングによる追跡

入力画像

時刻 1

時刻 2

テンプレートともっともよく合う（マッチする）部分を探す（マッチング）

テンプレート 画像のある部分をテンプレート（鋳型、見本）とする

もっともマッチする部分

8

差分による移動物体検出の例

セコム , 社会システムのご案内 , KS-315/2004-10-002, 2004.

背景差分による移動物体検出の例

人物

大きすぎるので人物ではない

9

人物の検出と追跡

1 23 4

5

1 . 人物抽出処理

2 . 追跡開始の判断

入力画像

人物抽出、ラベリング

背景差分、ラベリングなどを用いて画像内に存在する人物にラベル番号を割り当てる

ラベル情報

高さ面積位置 幅,,, , など

物体領域の面積、高さ、幅が人物らしい

追跡開始していない人物・

・

追跡開始条件

3 . 追跡処理

10

カルマンフィルタとマッチングによる追跡

1 . カルマンフィルタ一期先予測

2 . テンプレートマッチング 追跡例

予測

探索範囲

・人物テンプレート

・位置座標

・移動速度

予測位置歩行経路

人物対象のパラメータ

11

人物歩行軌跡の予測可能性

ある時点までの歩行経路データから人物が進む方向や経路を予測できないか?

山本遼 , 玉木徹 , 山本正信 : 「固有空間を用いた人物歩行経路予測」 , 平成 16 年度電子情報通信学会信越支部大会講演論文集 , pp.285-286 (2004 10).山本遼 , 玉木徹 , 山本正信 : 「人物歩行経路の学習と固有空間を用いた予測」 , ViEW2004 ビジョン技術の実利用ワークショップ , pp.146-152(2004 12).

12

歩行軌跡と経路の学習・予測

● 学習データ取得(歩行経路)

● 固有空間を生成

学習

● それぞれの固有空間に対する予測軌跡を計算

● 経路を選択

予測

■ 固有空間を生成するための学習歩行軌跡を取得する

■ 各歩行経路ごとに固有空間を生成する

13

歩行軌跡と経路の学習・予測

● 学習データ取得(歩行経路)

● 固有空間を生成

学習

● それぞれの固有空間に対する予測軌跡を計算

● 経路を選択

予測

■ ある時点までの歩行軌跡をもとにそれぞれの固有空間に対する予測軌跡を BPLP によって計算する

■ 最も誤差の小さい経路を一つ選択する

ある時点までの歩行軌跡

14

p

p

逆射影

投影

線形結合

p=ET y

y ≃E p* *

T−1

固有空間 E

*

y≃ET−1ET y

途中までの歩行経路

予測歩行経路

y =[ y1 , y2 ,… , yi ,0,…,0]T

y =[ y1 , y2 ,… , yi ,… , yLmin]T

T=E ET

BPLP (Back Projection for lost pixels)(amano, 2001)

15

追跡開始から70 フレーム後

追跡開始から140 フレーム後

予測結果

追跡開始から210 フレーム後

真の歩行経路

予測歩行経路

16

疎に設置された監視カメラの映像の処理

17

池亀幸久 , 平野真 , 玉木徹 , 山本正信 : 「視野重複のないマルチカメラを用いた人物の確率的歩行経路推定」 , 電子情報通信学会技術報告 パターン認識・メディア理解研究会 , 発表予定 , 国立情報学研究所 , 東京 (2005 02).平野真 , 池亀幸久 , 玉木徹 , 山本正信 : 「複数の特徴を用いた実時間人物照合システム」 , 電子情報通信学会 2005 年総合大会 , 情報・システムソサイエティ大会講演論文集 , 発表予定 , 大阪大学 , 大阪 (2005 3).平野真 , 池亀幸久 , 玉木徹 , 山本正信 : 「実時間人物照合システムにおける複数人物への拡張」 , 平成 16 年度電子情報通信学会信越支部大会講演論文集 , pp.293-294, 信州大学 , 長野 (2004 10).上村和広 , 玉木徹 , 山本正信 : 「ネットワーク上の複数カメラを用いた実時間人物照合システム」 , 電子情報通信学会技術報告 パターン認識・メディア理解研究会 PRMU2003-242, Vol.103, No.659, pp.67-72, 日立中央研究所 , 東京 (2004 02)上村和広 , 玉木徹 , 山本正信 : 「実時間人物照合システムのための抽出処理手法」 , 第 1 回情報科学技術フォーラム (FIT2002) 一般講演論文集 , Vol.3, pp.195-196, 東京工業大学 , 東京 (2002 9).上村和広 , 玉木徹 , 山本正信 : 「実時間人物判定のための人物領域抽出手法」 , 第 11 回電気学会東京支部新潟支所研究発表会予稿集 , p.80, 新潟大学 , 新潟 (2001 11).

あいまいな時系列位置情報から経路を推定

18

クライアント B時刻 T+x

クライアント C時刻 T＋ｙ

クライアント /サーバ型のネットワークの構築

クライアント A時刻 T

関連するカメラ間で人物データの照合

人物の歩行経路の推定

複数のカメラをネットワークで接続

実時間人物照合システム

19

照合

照合

照合

照合

経路推定

20

クライアント側の処理クライアント側の処理

1. 背景差分により二値化画像を求め、外接矩形を作成

2. 条件を満たした人物領域の輪郭線抽出3. 複数の人物特徴量を抽出

画像処理

1. サーバマシンに接続2. 特徴量、抽出した時間、設置場所

をサーバへ送信

データ送信

送信

画像取得

特徴量を抽出

サーバ

21

サーバ側の処理サーバ側の処理

1.　クライアントの接続を受理2. 特徴量、時間、設置場所を受信

人物照合

1. 受信した特徴量とデータベースの特徴量との照合

2. 受信したデータをデータベースに格納

データ受信

データベース

照合

E の特徴量

データベース更新

C の特徴量　T2 DB2B の特徴量T1 DB3A の特徴量T1 DB2D の特徴量T2 DB4

同一人物かどうか判定

受信

クライアント

22

実験

■ 被験者 12 人に指定した経路を歩行してもらう

■ 歩行中の停止や逆走の行為はないものとする

■ 歩行順序，間隔の異なる 3パターンの実験を行う

■ 事前に 20 人分のデータを用いてトレーニングを行う

■ 歩行経路 経路 1 ：約 80 メートル 経路 2 ：約 70 メートル 経路 3 ：約 60 メートル 経路 4 ：約 80 メートル

23

クライアント処理の様子

24

バレーボールの球速計測システム開発

球速● 球技スポーツ選手の能力を評価するひとつの目安● 選手のコンディション管理のための指標● 様々な研究に利用

バレーボールにおけるスパイクボールの速度に関する研究（佐々木ら , 1975）バレーボールにおけるフローターサーブの研究　～ボール初速度と腕スイング速度との関係～（生田ら , 1982）スピードガンと画像計測によるボールスピードの比較（宮西ら , 2000）　など

スピードガン– 精度よく計測するためには球の軌道

の延長線上に設置する必要がある

球速を測定する手段

? ??

バレーボールの場合

球の軌道が変化

動画像処理– バレーボールのスパイクの球速をス

ピードガンを用いずに、 2台のカメラ映像から求める

瀧澤良司 , 玉木徹 , 山本正信 , 斎藤克也 , 八坂剛史 , 牛山幸彦 : 「バレーボールのスパイク速度計測システム開発」 , 平成 16 年度電子情報通信学会信越支部大会講演論文集 , pp.295-296 (2004 10).

25

比較実験

■ 実験内容 サーブマシンでスパイクを数回放ち、

スピードガンと本手法で得られた球速の比較をする

■ 実験機材 カメラ（ SONY DCR-VX2100 2台）

➔ フレームレート： 30fps ➔ シャッタースピード： 1/500秒

スピードガン（ Stalker Radar 社製 Stalker Pro ）

➔ 計測回数： 100回 /秒 サーブマシン（ Fulser 社製 Volley Ball M

achine ）➔ マシン性能の最高スピードで打ち出す

スピードガン

サーブマシン

26

カメラ配置とボール速度

カメラ 1 の画像 カメラ 2 の画像

時間 [1/30秒 ]

[km

/h]

球速

27

国体での撮影実験第 59回国民体育大会秋季大会（埼玉 , 2004）

カメラ 1 の画像

カメラ 2

カメラ 1オペレータ

28

Measuring spins of sports

2003/2/2

Spins for major sports● Football (free kick)

● 300-600rpm● Baseball (curve)

● 1800rpm● Golf

● 4000-10000rpm● Tabel tennis

● up to 8094rpm for Chinese national team (Qun, 92)

In 2000, the diameter of a ball of table tennis for official international games has been changed from 38mm to 40mm to reduce spin and ball speel for making a game more entertaining.

Many factors in sports : score, time, weight, etc.● measuring speed● analysing player's motion● understanding ball spin

usefull for training, improving skill

29

Experiments for Real Rally of table tennishigh speed camera

halogen lamps x 3

players

● high speed camera (MotionMeter 500)

● frame rate: 1/500 [s]● shutter speed: 1/10000 [s]● resolution : 292x110 [pixel]

Toru Tamaki, Takahiko Sugino, Masanobu Yamamoto: "Measuring Ball Spin by Image Registration," Proc. of FCV2004 ; the 10th Korea-Japan Joint Workshop on Frontiers of Computer Vision, pp.269-274 (2004 2).Yukihio Ushiyama, Toru Tamaki, Osamu Hashimoto, Hisato Igarashi: "A proposal to measure the spin of a ball by digital image analysis," The 8th International Table Tennis Federation Sports Science Congress and The 3rd World Congress of Science and Racket Sports (2003 05)牛山幸彦 , 玉木徹 , 橋本修 , 五十嵐久人 : 「大学卓球選手におけるトップスピン量の測定」 , 新潟大学教育人間科学部紀要 , 人文・社会科学編 (1), 第 5巻 , 第 2 号 , pp.231-236 (2003 02).牛山幸彦 , 玉木徹 , 橋本修 , 五十嵐久人 : 「デジタル画像解析によるボールスピン量測定方法の提案」 , 新潟体育学研究 , 第 20巻， pp.49-52 (2002).

30

Spin Estimations of Rally imagesplayer A player B

6000

5000

4000

3000

2000

1000

0

-1000

-2000

-300031 32 33 34 35 36 37

Frame number

rpm

x

y

z

6000

5000

4000

3000

2000

1000

0

-1000

-2000

-3000 15 16 17 18 19 20 21Frame number

rpm

x

y

z