shono DIA06 - SIC › ~yaoki › mediaeng › imgret1.pdfHIST1 HIST1 HIST3 B G B R R G B HIST2...
Transcript of shono DIA06 - SIC › ~yaoki › mediaeng › imgret1.pdfHIST1 HIST1 HIST3 B G B R R G B HIST2...
08.6.17
1
Shibaura-Institute of Tech.Media Engineering Lab. 06/03/10 1
シーン自動検出と投球動作分析を用いた 野球中継映像のインデキシング手法の提
案 Automatic Scene Detection and Pitching Motion Analysis for Baseball Video Indexing Support
芝浦工業大学大学院 工学研究科 電気電子情報工学専攻 メディア工学研究室
●庄野 雄紀 青木 義満
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
2
研究背景 ・大容量記憶メディアの普及 ・動画圧縮・転送技術の発達 ・放送方式のシフト
マルチメディアコンテンツの氾濫
効率よい検索・管理技術への要求
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
3
研究背景 映像メディアの効率よい検索・管理を実現するためには・・・
詳細なメタデータの付与を行う必要がある
従来→人手によるインデクス付与 各映像の特性を考慮した自動化へ
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
4
映像メディア内容記述の国際標準
Mpeg7 Multimedia Content Description Interface
• 従来のMPEGのような圧縮アルゴリズムではない
• マルチメディア情報に対するメタデータ記述の国際標準
• コンテンツの記述や素性を抽出する方法は規定しない
• XMLに準拠
それぞれがニーズにあったアプリケーションを開発する事が求められる RICOH Movie Tool
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
5
従来研究
ニュース映像、スポーツ映像に対しそれぞれの特性に沿った
構造化手法が提案されている.
News programs Sports programs
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
6
研究目的
投球シーン センターカメラ
野球番組映像ストリームから、固定カメラショットシーン (投球シーン)を自動的に抽出・分類する手法の提案
08.6.17
2
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
7
なぜ投球シーンか?
Inning Score Count
Name Batting Ave. etc.
Color Motion Position
メタデータ付与に有益な情報が含まれている
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
8
なぜ投球シーンか?
Pitching scene hit Camera change Pitching scene
投球シーンは野球映像において一連のプレイシーンの 先頭シーンであり、映像構造化のキーとなる
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
9
研究の流れ
1 2 4
1 2 5 3 6 7 18 19 20 26 27 28 4 8 11 9 12 13 22 23 24 29 30 33
10 16 14 17 15 21 25 31 32 34 35 36
Target video
Pitching scenes
Pitching scene groups
シーン抽出
カット点の位置、シーンの位置情報、選手の色情報など
映像検索に有用なメタデータを付与する.
自動分類
3
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
10
野球中継映像特性
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
11
野球映像特性①
• 投球シーン中心の構成
• ショットレングスの安定性
250frames 130frames 120frames 220frames 220frames
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
12
野球映像特性② • 背景色情報は安定
• オブジェクト(選手・テロップ)が不安定
Game Information Telop
Players’ Area
Player Data Telop
08.6.17
3
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
13
野球映像特性③
• カット点において頻繁に視覚効果が出現する
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
14
野球映像特性④
動的環境下においては照明条件が変化
t
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
15
処理の内容
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
16
+
Pitch by Pitch ダイジェストの生成
対象映像
Mpeg7によるメタデータ付与支援
マスク画像の生成
マッチング処理
カット点検出
ショット選択
投球シーン抽出 背景画像生成
投球シーンのアーカイブ
テンプレートの生成
投球シーン抽出処理
選手領域抽出
投球動作区間フレームの取得
相関マトリクスの生成
投球シーンの分類
投球シーン分類処理
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
17
+
マスク画像の生成
マッチング処理
カット点検出
ショット選択
投球シーン抽出 背景画像生成
投球シーンのアーカイブ
テンプレートの生成
投球シーン抽出処理
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
18
カット点の検出 -Shot Segmentation-
映像ストリームをショット単位に分割する
Target Video
Shot1 Shot2 Shot3 Shot4 Shot N
CUTPOINT!
→テンプレート生成に必要なサンプルソースを得るための前処理
08.6.17
4
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
19
カット点の検出 -Shot Segmentation-
R
G B
R G
B
R
G B
HIST1 HIST1
HIST3
B G
R
B G
R
B G
R R G
B
R G
B
HIST1
HIST2
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
20
カット点の検出 -Shot Segmentation-
60frame 60frame
sequence cut! cut point search
process
process
3frame Effect?
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
21
テンプレートの生成
Shots 1 Shots 2 Shots 3
Manually selected pitching shots
Shots 1 Shots 2 Shots 3
Manually selected pitching shots
Selecting color of maximum appearance frequency
選択したショット全体から ピクセルごとに最大頻度 を持つ輝度を選択
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
22
+
マスク画像の生成
マッチング処理
カット検出
ショット選択
投球シーン抽出 背景画像生成
投球シーンのアーカイブ
テンプレートの生成
投球シーン抽出処理
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
23
マッチング処理
X Frames
10×10 Pixels
BlockSize=20
Pitching scene template Input Image
○ ×
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
24
マッチング処理
Hue Difference Brightness Difference
Composite Image Block Filter
Time Difference
matching
Input Image
Motion Difference
08.6.17
5
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
25
+
Pitch by Pitch ダイジェストの生成
対象映像
Mpeg7によるメタデータ付与支援
マスク画像の生成
マッチング処理
カット点検出
ショット選択
投球シーン抽出 背景画像生成
投球シーンのアーカイブ
テンプレートの生成
投球シーン抽出処理
選手領域検出
投球動作区間フレームの取得
相関マトリクスの生成
投球シーンの分類
投球シーン分類処理
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
26
+
選手領域検出
投球動作区間フレームの取得
相関マトリクスの生成
投球シーンの分類
投球シーン分類処理
投手の投球動作の反復に注目した投球シーン分類を試みる.
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
27
投手領域検出
Window Searching Area
Window Searching Area
差分マスク画像に対し検索窓を走査させる事で取得
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
28
投球動作区間フレームの取得
Key frames
選手は動き出しからリリースまで安定した動作を反復する
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
29
+
選手領域検出
投球動作区間フレームの取得
相関マトリクスの生成
投球シーンの分類
投球シーン分類処理
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
30
相関マトリクスの生成
255240200180
240255220200
200220255230
180200230255
255240200180
240255220200
200220255230
180200230255
Shot A
Sho
t B
255240200180
240255220200
200220255230
180200230255
255240200180
240255220200
200220255230
180200230255
Shot A
Sho
t B
255240200180
240255220200
200220255230
180200230255
255240200180
240255220200
200220255230
180200230255
Shot A
Sho
t B
Shot A
Sho
t B
( )( )
∑∑ −∑∑ −
∑∑−
=
−
=
−
=
−
=
−
=
−
=
−−
=1
0
1
0
21
0
1
0
2
1
0
1
0
)],[()],[(
],[],[
N
j
M
i
N
j
M
i
N
j
M
i
sjisfjif
sjisfjifR
f [ i, j ] = input image color value
s[ i, j ] = template color value
[ ] 2553
),(),(),(, ・
B jAiB jAiB jAiji RRRM BGRpixel
++=
[ ] の輝度値における相関マトリクス j)Pixel(i,M, =jiM pixel相関値るペアのフレーム位置)におけの、ショット RGB(BA),(
),,(positionBA positionpositionR BGR
=
[ ] 2553
),(),(),(, ・
B jAiB jAiB jAiji RRRM BGRpixel
++=
[ ] の輝度値における相関マトリクス j)Pixel(i,M, =jiM pixel相関値るペアのフレーム位置)におけの、ショット RGB(BA),(
),,(positionBA positionpositionR BGR
=
08.6.17
6
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
31
相関マトリクスの特性
同一の動作に対して生成 異なる動作に対して生成
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
32
位置補正
Centroid of pitching motion Centroid of pitching motion より厳密なシェイプの
マッチングを実現する
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
33
実験
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
34
実験 以下のシステムを用いて, 実際の野球映像を対象に 本研究の有効性を調べる。
投球シーンテンプレート
入力ファイルのデータ表示部
入力映像
ファンクション部
マスク生成部とマッチング表示
マッチングレート
投球シーンテンプレート
入力ファイルのデータ表示部
入力映像
ファンクション部
マスク生成部とマッチング表示
マッチングレート
対象映像 A 対象映像 B
相関マトリクス
投球シーン抽出ソフトウェア 投球シーン解析ソフトウェア
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
35
実験1
Video format : IndeoVideo Codec 320×240 29.97 frame/s
PC : CPU Pentium M 1.30 GB Memory 1.0 G RAM
実験 Ⅰ 投球シーン抽出性能の調査
A 2002年日本テレビ放映の巨人-中日戦
東京ドーム 5839 Frames
B 2002年日本テレビ放映の巨人-中日戦
東京ドーム 18900 Frames
C 2003年BS-Hi放映の阪神-中日戦
甲子園 5860 Frames
D 2004年日本テレビ放映の2004年放映の巨人-中日
戦
東京ドーム 216000 Frames
Target Video
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
36
実験結果
06%351327216000D059%1776860C023%403118900B010%16135839A
FRR
(正解拒否率)
FAR
(誤検出率)
検出された
シーン数
実存投球
シーン数総フレーム数対象ビデオ
06%351327216000D059%1776860C023%403118900B010%16135839A
FRR
(正解拒否率)
FAR
(誤検出率)
検出された
シーン数
実存投球
シーン数総フレーム数対象ビデオ
08.6.17
7
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
37
Pitch by Pitch Digest
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
38
自動生成されたメタデータ
<Mpeg7 xmls="urn:mpeg:mpeg7:schema:2001"...>
<Description xsi:type="ContentEntityType">
<MultimediaContent xsi:type="AudioVisualType">
<AudioVisual id="C:\【My datas】\【For Research】\野球君シリーズ\野球君LIGHT\test movie and temp\giants.avi">
<MediaTimePoint>T00:00:00</MediaTimePoint>
<MediaDuration>5839</MediaDuration>
<AudioVisualSegment id=Pitching Scene2>
<MediaTime>
<MediaTimePoint>210</MediaTimePoint>
<MediaTimeDuration>155</MediaTimeDuration>
<AudioVisualSegment id=Pitching Scene3>
<MediaTime>
<MediaTimePoint>520</MediaTimePoint>
<MediaTimeDuration>65</MediaTimeDuration>
<AudioVisualSegment id=Pitching Scene4>
<MediaTime>
<MediaTimePoint>695</MediaTimePoint>
<MediaTimeDuration>115</MediaTimeDuration>
<AudioVisualSegment id=Pitching Scene5>
<MediaTime>
<MediaTimePoint>1415</MediaTimePoint>
<MediaTimeDuration>315</MediaTimeDuration>
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
39
実験 2 実験 2 4投手の投球動作5ショット、 全20ショットによる相関マトリクス生成
Player1:チームA 右投げオーバースロー Player2:チームA 右投げオーバースロー
Player4:チームB 左投げサイドスロー Player3:チームB 右投げオーバースロー
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
40
生成されたマトリクス
各投手の投球数が既知でなかった場合、 投球シーンをどのように分類するか?
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
41
マトリクスを用いた投球シーン分類
100 83 91 88 91 60 49 63 62 60
95 91 93 92 62 67 67 71 71
97 96 96 76 64 62 70 72
97 96 77 66 63 71 71
97 77 65 62 71 73
87 79 78 84 85
85 85 84 85
86 85 82
88 80
88
89 93 94 94 75 68 70 76 77
4 1 0 19 7 2 6 1
Player 1 Player 2
マトリクス[1,1]に対する相関値テーブル
注目マトリクスに対する各マトリクスの相関値
微分値
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
42
Pla
yer 1
P
laye
r 2
Pla
yer 3
P
laye
r 4
実験結果 Player 1 Player 2 Player 3 Player 4
08.6.17
8
Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and
Pitching Motion Analysis for Baseball Video Indexing Support
43
まとめと今後の課題
まとめ 野球映像の特性に着目した上で、その根幹をなしている投球シーンの 自動抽出を行う手法を提案した.
投手の存在領域を検出・また動作を解析する事で相関マトリクスを生成し プレイヤーの動作に基づき投球シーンの自動分類を行える可能性を示した.
今後の課題 • 選手トラッキング精度の向上
• 投球動作フレーム列(動作開始からリリースまで)の自動的かつ正確な抽出
• 相関マトリクス生成手法の改良、より詳細なクラスタリング手法の提案
これらに基づき、より詳細なインデキシング支援システムを構築する.