全方位ステレオ画像センサによる

実環境の仮想環境への取り込み

戎野 聡一 山澤 一誠 竹村 治雄 横矢 直和

奈良先端科学技術大学院大学

研究の背景

広大な実環境を仮想環境内に再構成する要求が高まっている

•イメージベーストレンダリング蓄積画像から 2D画像を提示自由な視点移動が困難

•ポリゴンベーストレンダリング視点移動が容易３次元モデルの獲得が必要

実環境の仮想環境内での表現手法

従来の研究

利点：計測対象が制限されない

欠点：計測対象が複数になると画像収集に多大な労力が必要

計測精度がカメラ間の距離に依存

ステレオ視

本研究の目標と方針

広大な実環境をポリゴンベーストレンダリングの表現方法を用いて３次元再構築する

•画像の収集に多大な労力を必要とする問題全方位ステレオ画像センサを車に搭載して移動

•計測精度がカメラ間の距離に依存二眼ステレオ視の距離とセンサを車に搭載し移動した際の

モーションステレオ視による距離を統合

六角錐ミラーを用いた全方位ステレオ画像センサ

外観構成

六角錐ミラーを用いた全方位ステレオ画像センサの特徴

特徴 センサ周囲の情景を高分解能で撮像可能 全周囲の情景をビデオレートで撮像可能 奥行き情報を獲得可能 センサのキャリブレーションが難しい

（円筒スクリーンに格子を投影してカメラ画像を調整

戎野ら， VR 学会 第 4 回全国大会 ’９９）本センサを移動させながら撮影を行うことで

効率良く実環境の画像を収集できる

本研究の目標と方針

広大な実環境をポリゴンベーストレンダリングの表現方法を用いて３次元再構築する

•画像の収集に多大な労力を必要とする問題全方位ステレオ画像センサを車に搭載して移動

•計測精度がカメラ間の距離に依存二眼ステレオ視の距離と車に搭載し移動した際の

モーションステレオ視による距離を統合

二眼ステレオとモーションの距離の統合（提案手法）

全方位ステレオ動画像

逆モーションステレオ視の距離 モーションステレオ視の距離

ステレオとモーションの距離の統合

二眼ステレオ視による距離

上下ステレオ間の

対応点探索

時系列逆方向へ特徴点追跡 時系列方向へ特徴点追跡

センサの移動量推定 センサの移動量推定

特徴点の距離推定特徴点の距離推定特徴点の距離推定

二眼ステレオ投影系

下部全周パノラマ画像

上部全周パノラマ画像

Ｐo

ワールド円筒座標系

上下のパノラマ画像間の二眼ステレオ視

ステレオマッチング正規化相互相関テンプレートマッチ

ング

二眼ステレオ視による距離

二眼ステレオとモーションの距離の統合（提案手法）

全方位ステレオ動画像

逆モーションステレオ視の距離 モーションステレオ視の距離

ステレオとモーションの距離の統合

二眼ステレオ視による距離

上下ステレオ間の

対応点探索

時系列逆方向へ特徴点追跡 時系列方向へ特徴点追跡

センサの移動量推定 センサの移動量推定

特徴点の距離推定特徴点の距離推定特徴点の距離推定

モーションステレオ投影系

三角測量の原理から実環境

中の距離を推定できる

センサの移動量を求める必要がある

センサの移動量

特徴点追跡にはテンプレートマッチングを使用する

二眼ステレオとモーションの距離の統合（提案手法）

全方位ステレオ動画像

逆モーションステレオ視の距離 モーションステレオ視の距離

ステレオとモーションの距離の統合

二眼ステレオ視による距離

上下ステレオ間の

対応点探索

時系列逆方向へ特徴点追跡 時系列方向へ特徴点追跡

センサの移動量推定 センサの移動量推定

特徴点の距離推定特徴点の距離推定特徴点の距離推定

特徴点追跡の問題点

カメラ間の境界

カメラのつなぎ目を境にして色・輝度が変化する

各カメラの色・輝度パラメータの違いに影響されない正規化相互相関テンプレートマッチング

2 各カメラの色・輝度パラメータが違うため同じ情景を撮像しても各カメラ画像で明度変化が起きる

3 カメラ間の境界の位置が既知である

境界

f1rf 2rf

カメラ間の境界

境界 境界 境界 境界

テンプレート分割法（１）

Case: １ 探索ウインドウにカメラ間の切れ目がかかっているとき ｔ +1

(x,y)

境界

ｔ

(X,Y)

相関値が知りたい

r1

r2

r1

r2

基準ウインドウ 探索ウインドウ

基準画像

境界

参照画像

テンプレート分割法（２）

Case: ２ 基準ウインドウにカメラ間の切れ目がかかっているとき

ｔ +1

(x,y)

境界

ｔ

(X,Y)

相関値が知りたい r1

r2

r1

r2

境界

基準画像 参照画像

基準ウインドウ 探索ウインドウ

テンプレート分割法（３） Case:3 基準ウインドウ、探索ウインドウ共にカメラ間の切れ目

がかかっているとき ｔ +1

(x,y)

境界

ｔ

(X,Y)

相関値が知りたい r1

r2

r3

r1

r2

r3

境界

基準画像 参照画像

g

カメラの色・輝度パラメータの違いを考慮した正規化相互相関

ｘ

ｙ

ｘ

ｙ

基準ウインドウ 探索ウインドウ

カメラ画像毎にウインドウを部分画像に区切り、部分画像毎に色・輝度の線形な明度変化を吸収する

f正規化相互相関

二眼ステレオとモーションの距離の統合（提案手法）

全方位ステレオ動画像

逆モーションステレオ視の距離 モーションステレオ視の距離

ステレオとモーションの距離の統合

二眼ステレオ視による距離

上下ステレオ間の

対応点探索

時系列逆方向へ特徴点追跡 時系列方向へ特徴点追跡

センサの移動量推定 センサの移動量推定

特徴点の距離推定特徴点の距離推定特徴点の距離推定

センサの移動量推定

正しい対応関係をもつ特徴点の情報は大部分が正しいと仮定できる

二眼ステレオとモーションによる距離の差を評価値に

非線型最適化問題を解くことによってセンサの移動量を推定

二眼ステレオ視による距離

正しい対応関係を持つ特徴点

モーションによる距離

センサの移動量

？

整合のとれた特徴点の選択

下部パノラマ画像

上部パノラマ画像

下部パノラマ画像

上部パノラマ画像センサの移動

オプティカルフロー

オプティカルフロー

ステレ

オ対応

ステレオ対応

移動前移動後

二眼ステレオとモーションの距離の統合（提案手法）

全方位ステレオ動画像

逆モーションステレオ視の距離 モーションステレオ視の距離

ステレオとモーションの距離の統合

二眼ステレオ視による距離

上下ステレオ間の

対応点探索

時系列逆方向へ特徴点追跡 時系列方向へ特徴点追跡

センサの移動量推定 センサの移動量推定

特徴点の距離推定特徴点の距離推定特徴点の距離推定

モーションとステレオ距離の統合

モーションステレオ

逆モーションステレオ 二眼ステレオ

PPP

３つの距離の平均P

モーションとステレオ距離の統合

モーションステレオ

逆モーションステレオ 二眼ステレオ

PP

Pステレオ視に近いモーションの距離

P

モーションとステレオ距離の統合

統合された距離情報を持つ特徴点

二眼ステレオ視の距離情報を付加する点

モーションステレオの距離情報を付加する点

距離情報をもつ特徴点が偏って分布するため均等に距離情報を付加する必要がある

実験環境

移動撮影システム：

•１２台のビデオデッキ•シンクジェネレータ•タイムコードジェネレータ

撮影環境 ： 住宅街

実験条件

•入力画像

画像サイズ ７２０ ×４８６（画素） × １２（カメラ）

•生成した全周ステレオ動画像

６０フレーム（約２秒間）， 画像サイズ ３００６ × ３３０（画素）

•特徴点の選択

Sobelフィルターを使用， しきい値は経験的に決定

•オプティカルフロー

３０フレームを基点として ，前後３０フレームの間， 特徴点を追跡

実験結果

センサ移動量推定結果 時系列方向 0.63m， 時系列逆方向 0.59m

デローニー三角分割法によるポリゴン生成結果 総ポリゴン数 14,019 ポリゴン

まとめと今後の課題

まとめ 全方位ステレオ画像センサを使用することで効

率良く画像を収集した モーションステレオの距離情報を付加すること

で二眼ステレオ視による計測の信頼性を補った今後の課題

剛体運動条件の付加 多地点モデルの統合

カメラ間の色・輝度変化に影響されない正規化相互相関

x yrrr

x yrrr

x y x yrrrrrr

gvuyxgfyxf

gvuyxgfyxf

Corr2

3,2,12

3,2,1

3,2,13,2,1

)),;,(()),((

)),;,(()),((

ピクセル位置 (x,y)および (u,v) を含む部分画像に平均輝度

全方位画像センサのキャリブレーション（川西らの手法）

レンズ歪み補正（ Tsaiカメラキャリブレーション )

上下部カメラのレンズ中心が虚像上で重なるようにカメラを配置

隣接するカメラ画像間と上下カメラ画像間の位置あわせ

微細な調整なため、手作業による調整は困難

円筒型スクリーンを用いたキャリブレーション方法

カメラ画像の位置が一意に決定可能円筒パノラマ画像上で調整するため画像位置

あわせが容易

ステレオパラメータの決定

上部、下部横線の画像位置の差は、視差に等しい

dis

KL

L：対象物体までの距離（メートル）dis:上下カメラ間の対象物体の視差（画素 )K：距離定数

距離定数 Kからパノラマ画像上の物体の距離を正確に推定可能

モーションとステレオ距離の統合

時系列方向、時系列逆方向、ステレオ視による距離が近い ３つの距離の平均

時系列方向、時系列逆方向のモーションステレオによる距離のどちらか一方がステレオ視の距離に近い ステレオ視の距離に近いモーションの距離

距離情報をもつ特徴点が偏って分布するために正しいモデルが出来ない場合がある

•横方向のエッジ成分二眼ステレオの距離

•縦方向のエッジ成分 ＋ ２つのモーションの距離の差が小さいモーションの距離