ディルマを お楽しみいただける 情報を発信して いきます。 - …ディルマを お楽しみいただける 情報を発信して いきます。ティー製品紹介Do
動動動きをききををききををきを考慮 考慮したしし …...次画像...
1
次画像 次画像 次画像 次画像 動きを きを きを きを考慮 考慮 考慮 考慮した した した した 動きを きを きを きを考慮 考慮 考慮 考慮した した した した KLT Tracker KLT Tracker KLT Tracker KLT Tracker KLT Tracker KLT Tracker KLT Tracker KLT Tracker による による による による特徴点抽出 特徴点抽出 特徴点抽出 特徴点抽出 による による による による特徴点抽出 特徴点抽出 特徴点抽出 特徴点抽出 アルゴリズム アルゴリズム アルゴリズム アルゴリズムの提案 提案 提案 提案とハードウェア ハードウェア ハードウェア ハードウェア実装 実装 実装 実装 アルゴリズム アルゴリズム アルゴリズム アルゴリズムの提案 提案 提案 提案とハードウェア ハードウェア ハードウェア ハードウェア実装 実装 実装 実装 佐々木 佐々木 毅 毅 （池永研究室） （池永研究室） システムＬＳＩ分野システムＬＳＩ応用部門 システムＬＳＩ分野システムＬＳＩ応用部門 池永研究室 池永研究室 1. 1. 研究背景 研究背景 研究背景 研究背景 研究背景 研究背景 研究背景 研究背景 研究背景 研究背景 研究背景 研究背景 1．監視 監視 監視 監視カメラ カメラ カメラ カメラの普及 普及 普及 普及 ・ ネットワークカメラの出荷台数増加． ・ カメラの低コスト化・高機能化． 2．監視 監視 監視 監視のコスト コスト コスト コストと効果 効果 効果 効果 ・ 事件，事故の早期発見を可能とするためには， 人による常時監視が必要（監視 監視 監視 監視コスト コスト コスト コスト）． ・ 記録保持機能のみの監視システムでは，犯罪防 止に心理的効果しか期待できない（監視効果 監視効果 監視効果 監視効果）. 2. 2. 研究目的 研究目的 研究目的 研究目的 研究目的 研究目的 研究目的 研究目的 研究目的 研究目的 研究目的 研究目的 ・ 監視者が画面を注視する時間を低減する． ・ 監視映像から異常を検知する（動作量の解析）. ・ 監視映像を常に解析する（実時間処理）. → 実時間処理 実時間処理 実時間処理 実時間処理による による による による対象 対象 対象 対象の動き検出 検出 検出 検出が重要 重要 重要 重要． ・ 監視システムとして高い認識率が要求される． → 高精度 高精度 高精度 高精度な動き検出 検出 検出 検出が必要 必要 必要 必要（より より より より多くの くの くの くの動き情報 情報 情報 情報を取得 取得 取得 取得）． ）． ）． ）． 3. 3. キーアルゴリズム キーアルゴリズム キーアルゴリズム キーアルゴリズム キーアルゴリズム キーアルゴリズム キーアルゴリズム キーアルゴリズム KLT Tracker ( Kanade-Lucas-Tomasi ) ・ オプティカルフローの勾配法. ・ フローを求める際に予め追跡に適した特徴点を抽出するため 高速かつ高精度な演算が可能. 4. 4. 提案手法 提案手法 提案手法 提案手法 提案手法 提案手法 提案手法 提案手法 Proposal 1： 重みマスク マスク マスク マスクによる による による によるスコア スコア スコア スコア値操作 値操作 値操作 値操作 ・ 追跡処理で得たベクトルデータから重みマスクを作成. ・ 重みマスクとスコア値を合成することで動き領域のスコア値を増大し， 特徴点を動き領域に集中させる. Proposal 2: 特徴点間隔 特徴点間隔 特徴点間隔 特徴点間隔の適応処理 適応処理 適応処理 適応処理 ・ 特徴点を効率的に対象に分布させるため，動き量に応じて特徴点 の間隔を変更する. ・ スコアソート時に、静止領域と動き領域で特徴点間隔を変更することで， 対象の動きを捉えやすい状態にする. 5. 5. 実験結果 実験結果 実験結果 実験結果 実験結果 実験結果 実験結果 実験結果 人の動きに きに きに きに対する する する するKLT Tracker の問題点 問題点 問題点 問題点 ① 静止領域に特徴点が集中した場合，取得できるフローが 少ない. ② 一部の画像領域に特徴点が集中した場合，他の領域の 動きを捉えることが出来ない. 本手法の概要 実験内容 実験内容 実験内容 実験内容 ① 複数のテストシーケンス（640x480,30fps）を使用. ② テストシーケンスのフレーム毎に， “動きのあった特徴点数”を測定する. ③ 全フレーム処理後，“動きのあった特徴点の平均数”を計算，評価指数とする. 13.4 9.1 21 8.9 25.91 23.91 34.15 38.28 0 10 20 30 40 50 手を振る_無地の服 手を振る_柄物の服 階段の昇降 屋外での歩行 動きのあった特徴点の数 [個/フレーム] 従来手法 提案手法 実験結果 s T move Aver age T T FP FP - = ∑ 平均数 動きのあった特徴点の : Average FP 数 動きのあった特徴点の : move FP フレーム数 テストシーケンスの総 : T 動きの無いフレーム数 : s T 従来手法 従来手法 従来手法 従来手法と比較 比較 比較 比較して して して して約2倍 の動きベクトル ベクトル ベクトル ベクトルを取得可能 取得可能 取得可能 取得可能 KLT Tracker 現画像 640x480 次画像 640x480 特徴点抽出部 特徴点追跡部 特徴点座標 動きベクトル 重みマスク 作成 スコア値 計算 スコア値 ソート 特徴点間隔 適応処理 提案手法 対象 対象 対象 対象の動きを きを きを きを考慮 考慮 考慮 考慮した した した した特徴点抽出法 特徴点抽出法 特徴点抽出法 特徴点抽出法が必要 必要 必要 必要 実時間処理 実時間処理 実時間処理 実時間処理による による による による高精度 高精度 高精度 高精度な動き検出 検出 検出 検出システム システム システム システムの実現 実現 実現 実現 認識 認識 認識 認識システム システム システム システム 認識結果 動画像 動き情報（動きベクトル） ① 現画像 現画像 現画像 現画像の入力 入力 入力 入力 ② ガウシアンフィルタ ガウシアンフィルタ ガウシアンフィルタ ガウシアンフィルタ ③ 局所領域画像 局所領域画像 局所領域画像 局所領域画像の取得 取得 取得 取得 ④ Z行列 行列 行列 行列の計算 計算 計算 計算 ⑤ 固有値計算 固有値計算 固有値計算 固有値計算 局所領域画像 （W：7×7pix） ⋅ = ⋅ = ⋅ = my my yy my mx xy mx mx xx I I g I I g I I g = = = ∑ ∑ ∑ W yy W xy W xx g c g b g a = c b b a Z Z行列の計算 ⋅ = ⋅ = ⋅ = my my yy my mx xy mx mx xx I I g I I g I I g = = = ∑ ∑ ∑ W yy W xy W xx g c g b g a = c b b a Z Z行列の計算 2 4 ) ( 2 2 b c a c a - - ± + = λ 2 4 ) ( ) , min( 2 2 2 1 b c a c a - - - + = λ λ ) , min( 2 1 λ λ = Score 固有値の計算 2 4 ) ( 2 2 b c a c a - - ± + = λ 2 4 ) ( ) , min( 2 2 2 1 b c a c a - - - + = λ λ ) , min( 2 1 λ λ = Score 固有値の計算 ⑥ スコア スコア スコア スコア値のソート ソート ソート ソート（特徴点 特徴点 特徴点 特徴点100個） ⑦ 特徴点追跡処理 特徴点追跡処理 特徴点追跡処理 特徴点追跡処理 ⑧ 動きベクトル ベクトル ベクトル ベクトルの出力 出力 出力 出力 現画像 現画像 現画像 現画像 特徴点抽出結果 特徴点抽出結果 特徴点抽出結果 特徴点抽出結果 スコア スコア スコア スコア値 特徴点追跡結果 特徴点追跡結果 特徴点追跡結果 特徴点追跡結果 KLT Tracker KLT Tracker による による による による動き検出処理 検出処理 検出処理 検出処理の流れ による による による による動き検出処理 検出処理 検出処理 検出処理の流れ ① 現画像 現画像 現画像 現画像の入力 入力 入力 入力 ② ガウシアンフィルタ ガウシアンフィルタ ガウシアンフィルタ ガウシアンフィルタ ③ 局所領域画像 局所領域画像 局所領域画像 局所領域画像の取得 取得 取得 取得 ④ Z行列 行列 行列 行列の計算 計算 計算 計算 ⑤ 固有値計算 固有値計算 固有値計算 固有値計算 ⑦ スコア スコア スコア スコア値のソート ソート ソート ソート ⑧ 特徴点追跡処理 特徴点追跡処理 特徴点追跡処理 特徴点追跡処理 ⑨ 動きベクトル ベクトル ベクトル ベクトルの出力 出力 出力 出力 ⑩ 重みマスク マスク マスク マスクの生成 生成 生成 生成 ⑥ スコア スコア スコア スコア値と重み値の合成 合成 合成 合成 提案手法 提案手法 提案手法 提案手法 提案手法 提案手法 提案手法 提案手法 による による による による動き検出処理 検出処理 検出処理 検出処理の流れ による による による による動き検出処理 検出処理 検出処理 検出処理の流れ ① 現画像 現画像 現画像 現画像の入力 入力 入力 入力 ② ガウシアンフィルタ ガウシアンフィルタ ガウシアンフィルタ ガウシアンフィルタ ③ 局所領域画像 局所領域画像 局所領域画像 局所領域画像の取得 取得 取得 取得 ④ Z行列 行列 行列 行列の計算 計算 計算 計算 ⑤ 固有値計算 固有値計算 固有値計算 固有値計算 ⑦ スコア スコア スコア スコア値のソート ソート ソート ソート ⑧ 特徴点追跡処理 特徴点追跡処理 特徴点追跡処理 特徴点追跡処理 ⑨ 動きベクトル ベクトル ベクトル ベクトルの出力 出力 出力 出力 ⑩ 重みマスク マスク マスク マスクの生成 生成 生成 生成 ⑥ スコア スコア スコア スコア値と重み値の合成 合成 合成 合成 提案手法 提案手法 提案手法 提案手法 提案手法 提案手法 提案手法 提案手法 による による による による動き検出処理 検出処理 検出処理 検出処理の流れ による による による による動き検出処理 検出処理 検出処理 検出処理の流れ × = 提案手法 提案手法 提案手法 提案手法 → 前回の処理で求めた各特徴点 のベクトルより重みを求める. kernel kernel / 2 kernel / 4 kernel / 8 kernel kernel kernel / 4 重み値 特徴点 動きベクトル kernel kernel / 2 kernel / 4 kernel / 8 kernel kernel kernel / 4 重み値 kernel kernel / 2 kernel / 4 kernel / 8 kernel kernel kernel / 4 重み値 kernel kernel / 2 kernel / 4 kernel / 8 kernel kernel kernel / 4 重み値 kernel kernel / 2 kernel / 4 kernel / 8 kernel kernel kernel / 4 重み値 特徴点 動きベクトル 従来手法 従来手法 従来手法 従来手法 重みマスク マスク マスク マスクの生成 生成 生成 生成 スコア スコア スコア スコア値と重み値の合成 合成 合成 合成 スコア スコア スコア スコア値のソート ソート ソート ソート （特徴点間隔 特徴点間隔 特徴点間隔 特徴点間隔の適応処理 適応処理 適応処理 適応処理） 重みマスク マスク マスク マスク 合成後 合成後 合成後 合成後のスコア スコア スコア スコア値 オリジナル オリジナル オリジナル オリジナルのスコア スコア スコア スコア値 研究対象 研究対象 研究対象 研究対象 手を振る 手を振る- 無地の服 無地の服 手を振る 手を振る- 柄物の服 柄物の服 階段の昇降 階段の昇降 屋外での歩行 屋外での歩行 ハードウェア ハードウェア ハードウェア ハードウェア実装 実装 実装 実装 ・高精度な動き検出を目的とした提案手法 による特徴点選択モジュールを設計. ・使用FPGA評価ボード（Xilinx社，Spartan- 3 DSP 3400A） ・低コストな民生用向けFPGAに実装. 特徴点抽出 モジュール （スコア値演算） 特徴点追跡 モジュール 特徴点選択 特徴点選択 特徴点選択 特徴点選択 モジュール モジュール モジュール モジュール BRAM （スコア値） BRAM （座標情報） KLT Tracker コア コア コア コア DDR2 調停回路 DDR2 DVIR DVI USB PC カメラ 特徴点抽出 モジュール （スコア値演算） 特徴点追跡 モジュール 特徴点選択 特徴点選択 特徴点選択 特徴点選択 モジュール モジュール モジュール モジュール BRAM （スコア値） BRAM （座標情報） KLT Tracker コア コア コア コア DDR2 調停回路 DDR2 DVIR DVI USB PC カメラ BRAM BRAM メモリ I/F メモリ I/F 重み生成 回路 挿入位置 計算回路 近傍チェック 回路 特徴点データ 更新回路 特徴点データレジスタ カーネルデータ レジスタ 特徴点選択モジュール スコア値 座標情報 BRAM BRAM メモリ I/F メモリ I/F 重み生成 回路 挿入位置 計算回路 近傍チェック 回路 特徴点データ 更新回路 特徴点データレジスタ カーネルデータ レジスタ 特徴点選択モジュール スコア値 座標情報 特徴点抽出 モジュール （スコア値演算） 特徴点追跡 モジュール 特徴点選択 特徴点選択 特徴点選択 特徴点選択 モジュール モジュール モジュール モジュール BRAM （スコア値） BRAM （座標情報） KLT Tracker コア コア コア コア DDR2 調停回路 DDR2 DVIR DVI USB PC カメラ 特徴点抽出 モジュール （スコア値演算） 特徴点追跡 モジュール 特徴点選択 特徴点選択 特徴点選択 特徴点選択 モジュール モジュール モジュール モジュール BRAM （スコア値） BRAM （座標情報） KLT Tracker コア コア コア コア DDR2 調停回路 DDR2 DVIR DVI USB PC カメラ BRAM BRAM メモリ I/F メモリ I/F 重み生成 回路 挿入位置 計算回路 近傍チェック 回路 特徴点データ 更新回路 特徴点データレジスタ カーネルデータ レジスタ 特徴点選択モジュール スコア値 座標情報 BRAM BRAM メモリ I/F メモリ I/F 重み生成 回路 挿入位置 計算回路 近傍チェック 回路 特徴点データ 更新回路 特徴点データレジスタ カーネルデータ レジスタ 特徴点選択モジュール スコア値 座標情報 Slice Slice Slice Slice 23872 18% 17% 36% Flip Flop Flip Flop Flip Flop Flip Flop 47744 9% 9% 18% LUT LUT LUT LUT 47744 10% 16% 21% BRAM BRAM BRAM BRAM 96 0% 21% 21% DSP48A DSP48A DSP48A DSP48A 126 1% 67% 69% 全体使用率 リソース使用量 FPGA リソース 最大リソース量 特徴点選択部 特徴点抽出＋追跡部 ターゲットデバイス ターゲットデバイス ターゲットデバイス ターゲットデバイスのリソース リソース リソース リソース使用率 使用率 使用率 使用率50%以下 以下 以下 以下 で実装可能 実装可能 実装可能 実装可能 合成結果 KLT デモンストレーションシステムの概要
Transcript of 動動動きをききををききををきを考慮 考慮したしし …...次画像...
次画像次画像次画像次画像
動動動動きをきをきをきを考慮考慮考慮考慮したしたしたした動動動動きをきをきをきを考慮考慮考慮考慮したしたしたしたKLT TrackerKLT TrackerKLT TrackerKLT TrackerKLT TrackerKLT TrackerKLT TrackerKLT Trackerによるによるによるによる特徴点抽出特徴点抽出特徴点抽出特徴点抽出によるによるによるによる特徴点抽出特徴点抽出特徴点抽出特徴点抽出アルゴリズムアルゴリズムアルゴリズムアルゴリズムのののの提案提案提案提案ととととハードウェアハードウェアハードウェアハードウェア実装実装実装実装アルゴリズムアルゴリズムアルゴリズムアルゴリズムのののの提案提案提案提案ととととハードウェアハードウェアハードウェアハードウェア実装実装実装実装
佐々木佐々木 毅毅 （池永研究室）（池永研究室）
システムＬＳＩ分野システムＬＳＩ応用部門システムＬＳＩ分野システムＬＳＩ応用部門 池永研究室池永研究室
1.1. 研究背景研究背景研究背景研究背景研究背景研究背景研究背景研究背景� 研究背景研究背景研究背景研究背景
1．．．．監視監視監視監視カメラカメラカメラカメラのののの普及普及普及普及・ ネットワークカメラの出荷台数増加．・ カメラの低コスト化・高機能化．
2．．．．監視監視監視監視ののののコストコストコストコストとととと効果効果効果効果・ 事件，事故の早期発見を可能とするためには，
人による常時監視が必要（監視監視監視監視コストコストコストコスト）．・ 記録保持機能のみの監視システムでは，犯罪防
止に心理的効果しか期待できない（監視効果監視効果監視効果監視効果）.
2.2. 研究目的研究目的研究目的研究目的研究目的研究目的研究目的研究目的� 研究目的研究目的研究目的研究目的
・ 監視者が画面を注視する時間を低減する．・ 監視映像から異常を検知する（動作量の解析）.・ 監視映像を常に解析する（実時間処理）.
→→→→ 実時間処理実時間処理実時間処理実時間処理によるによるによるによる対象対象対象対象のののの動動動動きききき検出検出検出検出がががが重要重要重要重要．．．．
・ 監視システムとして高い認識率が要求される．→→→→ 高精度高精度高精度高精度なななな動動動動きききき検出検出検出検出がががが必要必要必要必要（（（（よりよりよりより多多多多くのくのくのくの動動動動きききき情報情報情報情報をををを取得取得取得取得）．）．）．）．
3.3. キーアルゴリズムキーアルゴリズムキーアルゴリズムキーアルゴリズムキーアルゴリズムキーアルゴリズムキーアルゴリズムキーアルゴリズム� KLT Tracker ( Kanade-Lucas-Tomasi )
・ オプティカルフローの勾配法.・ フローを求める際に予め追跡に適した特徴点を抽出するため
高速かつ高精度な演算が可能.
4.4. 提案手法提案手法提案手法提案手法提案手法提案手法提案手法提案手法� Proposal 1：：：： 重重重重みみみみマスクマスクマスクマスクによるによるによるによるスコアスコアスコアスコア値操作値操作値操作値操作
・ 追跡処理で得たベクトルデータから重みマスクを作成.・ 重みマスクとスコア値を合成することで動き領域のスコア値を増大し，
特徴点を動き領域に集中させる.
� Proposal 2: 特徴点間隔特徴点間隔特徴点間隔特徴点間隔のののの適応処理適応処理適応処理適応処理・ 特徴点を効率的に対象に分布させるため，動き量に応じて特徴点の間隔を変更する.
・ スコアソート時に、静止領域と動き領域で特徴点間隔を変更することで，対象の動きを捉えやすい状態にする.
5.5. 実験結果実験結果実験結果実験結果実験結果実験結果実験結果実験結果
� 人人人人のののの動動動動きにきにきにきに対対対対するするするするKLT Trackerのののの問題点問題点問題点問題点① 静止領域に特徴点が集中した場合，取得できるフローが
少ない.② 一部の画像領域に特徴点が集中した場合，他の領域の
動きを捉えることが出来ない.
本手法の概要
� 実験内容実験内容実験内容実験内容① 複数のテストシーケンス（640x480,30fps）を使用.② テストシーケンスのフレーム毎に， “動きのあった特徴点数”を測定する.③ 全フレーム処理後，“動きのあった特徴点の平均数”を計算，評価指数とする.
13.4
9.1
21
8.9
25.9123.91
34.15
38.28
0
10
20
30
40
50
手を振る_無地の服 手を振る_柄物の服 階段の昇降 屋外での歩行
動き
のあ
った
特徴
点の
数
[個/フ
レー
ム]
従来手法
提案手法 実験結果s
Tmove
AverageTT
FP
FP−
=∑
平均数動きのあった特徴点の:AverageFP
数動きのあった特徴点の:moveFP
フレーム数テストシーケンスの総:T
動きの無いフレーム数:sT
従来手法従来手法従来手法従来手法とととと比較比較比較比較してしてしてして約約約約2倍倍倍倍のののの動動動動ききききベクトルベクトルベクトルベクトルをををを取得可能取得可能取得可能取得可能
KLT Tracker
現画像640x480
次画像640x480
特徴点抽出部
特徴点追跡部
特徴点座標
動きベクトル
重みマスク作成
スコア値計算
スコア値ソート
特徴点間隔適応処理
提案手法
対象対象対象対象のののの動動動動きをきをきをきを考慮考慮考慮考慮したしたしたした特徴点抽出法特徴点抽出法特徴点抽出法特徴点抽出法がががが必要必要必要必要
実時間処理実時間処理実時間処理実時間処理によるによるによるによる高精度高精度高精度高精度なななな動動動動きききき検出検出検出検出システムシステムシステムシステムのののの実現実現実現実現認識認識認識認識システムシステムシステムシステム 認識結果
動画像
動き情報（動きベクトル）
①①①① 現画像現画像現画像現画像のののの入力入力入力入力
②②②② ガウシアンフィルタガウシアンフィルタガウシアンフィルタガウシアンフィルタ ③③③③ 局所領域画像局所領域画像局所領域画像局所領域画像のののの取得取得取得取得 ④④④④ Z行列行列行列行列のののの計算計算計算計算 ⑤⑤⑤⑤ 固有値計算固有値計算固有値計算固有値計算
局所領域画像（W：7×7pix）
⋅=
⋅=⋅=
mymyyy
mymxxy
mxmxxx
IIg
IIg
IIg
=
=
=
∑
∑
∑
Wyy
Wxy
Wxx
gc
gb
ga
=
cb
baZ
Z行列の計算
⋅=
⋅=⋅=
mymyyy
mymxxy
mxmxxx
IIg
IIg
IIg
=
=
=
∑
∑
∑
Wyy
Wxy
Wxx
gc
gb
ga
=
cb
baZ
Z行列の計算
2
4)( 22 bcaca −−±+=λ
2
4)(),min(
22
21
bcaca −−−+=λλ
),min( 21 λλ=Score
固有値の計算
2
4)( 22 bcaca −−±+=λ
2
4)(),min(
22
21
bcaca −−−+=λλ
),min( 21 λλ=Score
固有値の計算
⑥⑥⑥⑥ スコアスコアスコアスコア値値値値ののののソートソートソートソート（（（（特徴点特徴点特徴点特徴点100個個個個））））⑦⑦⑦⑦ 特徴点追跡処理特徴点追跡処理特徴点追跡処理特徴点追跡処理⑧⑧⑧⑧ 動動動動ききききベクトルベクトルベクトルベクトルのののの出力出力出力出力
現画像現画像現画像現画像
特徴点抽出結果特徴点抽出結果特徴点抽出結果特徴点抽出結果 スコアスコアスコアスコア値値値値特徴点追跡結果特徴点追跡結果特徴点追跡結果特徴点追跡結果
KLT Tracker KLT Tracker によるによるによるによる動動動動きききき検出処理検出処理検出処理検出処理のののの流流流流れれれれによるによるによるによる動動動動きききき検出処理検出処理検出処理検出処理のののの流流流流れれれれ
①①①① 現画像現画像現画像現画像のののの入力入力入力入力 ②②②② ガウシアンフィルタガウシアンフィルタガウシアンフィルタガウシアンフィルタ ③③③③ 局所領域画像局所領域画像局所領域画像局所領域画像のののの取得取得取得取得 ④④④④ Z行列行列行列行列のののの計算計算計算計算 ⑤⑤⑤⑤ 固有値計算固有値計算固有値計算固有値計算
⑦⑦⑦⑦ スコアスコアスコアスコア値値値値ののののソートソートソートソート⑧⑧⑧⑧ 特徴点追跡処理特徴点追跡処理特徴点追跡処理特徴点追跡処理⑨⑨⑨⑨ 動動動動ききききベクトルベクトルベクトルベクトルのののの出力出力出力出力⑩⑩⑩⑩ 重重重重みみみみマスクマスクマスクマスクのののの生成生成生成生成 ⑥⑥⑥⑥ スコアスコアスコアスコア値値値値とととと重重重重みみみみ値値値値のののの合成合成合成合成
提案手法提案手法提案手法提案手法提案手法提案手法提案手法提案手法 によるによるによるによる動動動動きききき検出処理検出処理検出処理検出処理のののの流流流流れれれれによるによるによるによる動動動動きききき検出処理検出処理検出処理検出処理のののの流流流流れれれれ
①①①① 現画像現画像現画像現画像のののの入力入力入力入力 ②②②② ガウシアンフィルタガウシアンフィルタガウシアンフィルタガウシアンフィルタ ③③③③ 局所領域画像局所領域画像局所領域画像局所領域画像のののの取得取得取得取得 ④④④④ Z行列行列行列行列のののの計算計算計算計算 ⑤⑤⑤⑤ 固有値計算固有値計算固有値計算固有値計算
⑦⑦⑦⑦ スコアスコアスコアスコア値値値値ののののソートソートソートソート⑧⑧⑧⑧ 特徴点追跡処理特徴点追跡処理特徴点追跡処理特徴点追跡処理⑨⑨⑨⑨ 動動動動ききききベクトルベクトルベクトルベクトルのののの出力出力出力出力⑩⑩⑩⑩ 重重重重みみみみマスクマスクマスクマスクのののの生成生成生成生成 ⑥⑥⑥⑥ スコアスコアスコアスコア値値値値とととと重重重重みみみみ値値値値のののの合成合成合成合成
提案手法提案手法提案手法提案手法提案手法提案手法提案手法提案手法 によるによるによるによる動動動動きききき検出処理検出処理検出処理検出処理のののの流流流流れれれれによるによるによるによる動動動動きききき検出処理検出処理検出処理検出処理のののの流流流流れれれれ
×××× =
提案手法提案手法提案手法提案手法
→ 前回の処理で求めた各特徴点のベクトルより重みを求める.
kernelkernel / 2kernel / 4kernel / 8
kernel
kernel
kernel / 4
重み値
特徴点
動きベクトル
kernelkernel / 2kernel / 4kernel / 8
kernel
kernel
kernel / 4
重み値
kernelkernel / 2kernel / 4kernel / 8
kernel
kernel
kernel / 4
重み値
kernelkernel / 2kernel / 4kernel / 8
kernel
kernel
kernel / 4
重み値
kernelkernel / 2kernel / 4kernel / 8
kernel
kernel
kernel / 4
重み値
特徴点
動きベクトル
従来手法従来手法従来手法従来手法
重重重重みみみみマスクマスクマスクマスクのののの生成生成生成生成
スコアスコアスコアスコア値値値値とととと重重重重みみみみ値値値値のののの合成合成合成合成
スコアスコアスコアスコア値値値値ののののソートソートソートソート （（（（特徴点間隔特徴点間隔特徴点間隔特徴点間隔のののの適応処理適応処理適応処理適応処理））））
重重重重みみみみマスクマスクマスクマスク 合成後合成後合成後合成後ののののスコアスコアスコアスコア値値値値オリジナルオリジナルオリジナルオリジナルののののスコアスコアスコアスコア値値値値
研究対象研究対象研究対象研究対象
手を振る手を振る--無地の服無地の服 手を振る手を振る--柄物の服柄物の服
階段の昇降階段の昇降 屋外での歩行屋外での歩行
� ハードウェアハードウェアハードウェアハードウェア実装実装実装実装・高精度な動き検出を目的とした提案手法
による特徴点選択モジュールを設計.・使用FPGA評価ボード（Xilinx社，Spartan-
3 DSP 3400A）・低コストな民生用向けFPGAに実装.
特徴点抽出モジュール
（スコア値演算）
特徴点追跡モジュール
特徴点選択特徴点選択特徴点選択特徴点選択モジュールモジュールモジュールモジュール
BRAM
（スコア値）
BRAM
（座標情報）
KLT Tracker コアコアコアコア
DDR2
調停回路DDR2
DVIRDVI
USB
PC
カメラ
特徴点抽出モジュール
（スコア値演算）
特徴点追跡モジュール
特徴点選択特徴点選択特徴点選択特徴点選択モジュールモジュールモジュールモジュール
BRAM
（スコア値）
BRAM
（座標情報）
KLT Tracker コアコアコアコア
DDR2
調停回路DDR2
DVIRDVI
USB
PC
カメラ
BRAM
BRAM
メモリI/F
メモリI/F
重み生成回路
挿入位置計算回路
近傍チェック回路
特徴点データ更新回路
特徴点データレジスタ
カーネルデータレジスタ
特徴点選択モジュール
スコア値
座標情報
BRAM
BRAM
メモリI/F
メモリI/F
重み生成回路
挿入位置計算回路
近傍チェック回路
特徴点データ更新回路
特徴点データレジスタ
カーネルデータレジスタ
特徴点選択モジュール
スコア値
座標情報
特徴点抽出モジュール
（スコア値演算）
特徴点追跡モジュール
特徴点選択特徴点選択特徴点選択特徴点選択モジュールモジュールモジュールモジュール
BRAM
（スコア値）
BRAM
（座標情報）
KLT Tracker コアコアコアコア
DDR2
調停回路DDR2
DVIRDVI
USB
PC
カメラ
特徴点抽出モジュール
（スコア値演算）
特徴点追跡モジュール
特徴点選択特徴点選択特徴点選択特徴点選択モジュールモジュールモジュールモジュール
BRAM
（スコア値）
BRAM
（座標情報）
KLT Tracker コアコアコアコア
DDR2
調停回路DDR2
DVIRDVI
USB
PC
カメラ
BRAM
BRAM
メモリI/F
メモリI/F
重み生成回路
挿入位置計算回路
近傍チェック回路
特徴点データ更新回路
特徴点データレジスタ
カーネルデータレジスタ
特徴点選択モジュール
スコア値
座標情報
BRAM
BRAM
メモリI/F
メモリI/F
重み生成回路
挿入位置計算回路
近傍チェック回路
特徴点データ更新回路
特徴点データレジスタ
カーネルデータレジスタ
特徴点選択モジュール
スコア値
座標情報
SliceSliceSliceSlice 23872 18% 17% 36%
Flip FlopFlip FlopFlip FlopFlip Flop 47744 9% 9% 18%
LUTLUTLUTLUT 47744 10% 16% 21%
BRAMBRAMBRAMBRAM 96 0% 21% 21%
DSP48ADSP48ADSP48ADSP48A 126 1% 67% 69%
全体使用率リソース使用量
FPGA リソース 最大リソース量特徴点選択部 特徴点抽出＋追跡部
ターゲットデバイスターゲットデバイスターゲットデバイスターゲットデバイスののののリソースリソースリソースリソース使用率使用率使用率使用率50%以下以下以下以下でででで実装可能実装可能実装可能実装可能
合成結果
KLT デモンストレーションシステムの概要
![ARRI ALEXA XT [A RRIRAW]ワークフロー...カラーグレーディング server 10GbE NAS カラコレ済み.DPXを書き出し カラコレ済み.EXRを書き出し オフライン](https://static.fdocuments.net/doc/165x107/5fb311c44df06278dc500e8a/arri-alexa-xt-a-rrirawfffff-ffffff-server.jpg)
![PDFの向きを回転しよう - XMetaL...PDFの向きを回転しよう 3 をクリックし[、回転]を選択します。 PDFファイルの表示方向を変更する ページの向きを回転して保存する必要がない場合や、編](https://static.fdocuments.net/doc/165x107/5e9f731b0d73b80f2447d24b/pdfe-xmetal-pdfe-3-fffee.jpg)
