「渋谷交差点の歩行者数百人をカウント・トレースしたい」という発想から 生まれた画像認識・ビジュアライゼーション支援ソフトウェア

Trace Blade紹介資料

Trace Graphic 飯田隆之

© 2016 Trace Graphic All Right Reserved

・キーフレーム追加 ・Pixel Searchによる画像認識 ・手動修正

映像編集ソフト

・撮影済みムービー

・レンダリング設定ファイル

・共通設定ファイル

ムービー⇒静止画 変換ツール

・完成済みムービー

・レンダリング済み静止画

Trace Blade

Tensorflow

１．Trace Blade作業フロー

・マーカー,番号,トレース(軌跡)などを追加して補完レンダリング

・顔などの抽出 ・機械学習による男女判定 ・初期フレーム分のCSV作成

・BGM,画面効果追加 ・エンコード

編集対象の画面(301f)を表示。例では確認のため、295f

をオーバーラップさせている。

２-１．Trace Blade編集画面

・Trace Bladeの編集画面では、指定された5fpsなどのキーフレームで「異なるフレーム間」の人物の同定をPixel Searchで画像認識し、自動的に行う。 ・現状は一致率が100%ではないので、必要に応じて手動修正し、最後に補完処理を行いマーカーや軌跡などを付加した静止画を30fpsでレンダリングする。

編集画面ではマーカーとマーカーID(番号表示)を必要に応じてON/OFFすること

ができる。

コントロールパネル

Fileメニューからレンダリン

グを選択すると、レンダリングパネルが表示さるので必

要な設定を行う。

マーカーの黄枠・青枠は手動修正を補助するための編集画面の独自情報

Editメニュー。マーカーやフ

レームの編集、レンダリング設定の変更を行う。

編集中の画像ファイル名と フレーム番号

マーカー番号の 表示・非表示切替

マーカーサイズの指定。 選択したマーカーの サイズ変更も可能

作業用FPSの設定

マーカー色の指定。 最大16色から選択可能

変数画面における 前キーフレームの

オーバーレイ表示設定

作成済み キーフレームの移動

編集画面の拡大・縮小

２-２．Trace Blade編集画面：コントロールパネル機能詳細

補完FPSの設定 (通常は30fps）

レンダリング画像の フォーマット／品質設定

レンダリング結果の 保存先と範囲(フレーム)

指定

レンダリングする 付加情報の選択

軌跡やマーカーの 描画オプション設定

Trace Lineの長さや 色・ぼかし指定

２-３．Trace Blade編集画面：レンダリングパネル機能詳細

レンダリング 開始ボタン

黄枠は前キーフレーム301から継承

したマーカー情報。対象数93

３-１．品川駅サンプル：新キーフレーム307を追加した直後の編集画面

・本サンプルでは301fに307fを追加する、5fpsで作業を行っている。マーカーは一致率比較のため、中央にドットを持つ半透明のものを特別に使用している。 ・半透明マーカーの色が異なっているのは、進行方向別と男女で合計4色に分類しているため。Pixel Searchの機能上の影響はない。

画像は307だがマーカー情報は301のためマーカーがずれている。これをPixel Searchで自動修正する。

動きがない(人物の)

マーカーは引き続き黄枠で表示される

３-２．品川駅サンプル：新キーフレーム307で Pixel Search適用後

・本サンプルは詳細設定でPixel Searchを実施したもので一致精度が高い。ミドルクラスCPUの処理時間は1フレーム当たり約90秒。簡易設定では10秒程度。

一定の一致率に達しないマーカーは青枠で表示され、手動修正の対象となる。

この人物は301で初

登場したため移動量が算出できず、探索範囲が正しく設定できなかった。

Pixel Searchの誤作

動例。暗い場所で黒スーツに囲まれた後頭部は誤判定を起こしやすい。

３-３．品川駅サンプル：比較用301フレーム編集画面(手動修正済)

・301fはPixel Search実施後に手動修正している。307f(手動修正前)とマーカー中央のドットの位置を比較することで、マーカー配置の自然さを確認できる。

前キーフレーム(295f)より動きがな

いため、マーカーが黄枠で表示される

マーカー中央のドットを301～307で比較

すると、見た目の一致率が確認できる。

黄枠は前キーフレーム301から継承

したマーカー情報。対象数348

４-１．渋谷交差点サンプル：新キーフレーム307を追加した直後の編集画面

・本サンプルでも301fに307fを追加する、5fpsで作業を行っている。マーカーは一致率比較のため、中央にドットを持つ半透明のものを特別に使用している。 ・またマーカー色は2種類で、男性を赤・女性を緑に設定している。

画像は307だがマーカー情報は301のためマーカーがずれている。これをPixel Searchで自動修正する。

判別対象となる顔のピクセルサイズは約15x15ピクセル

動きがない(人物の)

マーカーは引き続き黄枠で表示される

４-２．渋谷交差点サンプル：新キーフレーム307で Pixel Search適用後

・本サンプルは詳細設定でPixel Searchを実施したもので一致の精度が高い。ミドルクラスCPUの処理時間は1フレーム当たり約190秒。簡易設定では22秒程度。 ・「一致の精度」について、ここでは例えば301fでマーカーの中心が眉間にあり、307fでほぼ同じ場所にあると「一致の精度が高い」と解釈している。

前後に重なりやすい部分では青枠が発生しやすい。

標識などで顔が隠れる場合は、認識に失敗する可能性が

高い。

Pixel Searchの誤作

動例。暗い場所で黒スーツに囲まれた後頭部は誤判定を起こしやすい。

４-３．渋谷交差点サンプル：比較用301フレーム編集画面(手動修正済)

・Pixel Searchでは対象の数が減ると、処理時間が減る。品川駅と渋谷交差点の処理時間の差は、前者のマーカー数が93に対して後者は348と非常に多いことに起因する。 ・黄枠のマーカーはPixel Searchの対象で、307でもPixel Search実施後に「301とマーカー位置が同じ」と判定されれば同様に黄色枠になる。

前キーフレーム(295f)より動きがな

いため、マーカーが黄枠で表示される