遠隔カメラ映像のための覗き込みインタフェース山口光太 , 渡辺義浩 , 小室孝 , 石川正俊東京大学大学院情報理工学系研究科

I4-07

概要頭部位置を使って遠隔カメラの映像の Pan/Tilt/Zoom (PTZ) を操作するインタフェースWide Field of View (FOV) カメラあるいは機械式 PTZカメラがあれば、あとは安価な平面ディスプレイと Web カメラで構成可能ビデオチャットや遠隔会議、あるいは Google Street View のような固定視点映像に対して直感的なユーザ入力を実現

(X, Y, Z )α(θ, φ ) ネットワーク

計測カメラ映像取得カメラ

ディスプレイ

システム構成

映像データをネットワークに流すカメラ。広い視野角を持っていることが条件である。構成方法は二種類：　－機械式 Pan/Tilt/Zoom (PTZ) カメラ　－ Wide Field of View (Wide FOV) カメラ

顔の三次元位置 (X, Y, Z) を計測するための透視投影カメラ。正確な計測にはステレオカメラなどの三次元計測機器が必要となるが、弱中心射影モデルを使い、顔の大きさを仮定することで、単眼でも近似的に三次元位置を計測可能。これにより Web カメラなど安価なカメラを利用可

遠隔カメラ 計測カメラ

O Z K物体面hKfZ

h f画像面

ディスプレイごく一般的な平面ディスプレイを用いる。広視野角映像の提示には他に没入型ディスプレイ [1] などがあるが、我々のシステムは安価なディスプレイハードウェアでの構成が可能

Renderer

ネットワーク

Controller

ネットワーク

PTZ 操作は全てユーザ側で処理できるため、操作レイテンシが小さい

遠隔カメラ

操作の対応付け

通信が一方向で済むので、一対多数のブロードキャストが可能

視界から相手が消えないので、計測用カメラと映像取得カメラを兼ねて双方向通信ができる。ただし透視投影以外での顔位置計測アルゴリズムを構築する必要

低レイテンシ

一対多通信

双方向通信への拡張

ビデオチャットや遠隔会議など通信・表示に機能性が要求される応用向けWide FOVカメラ

より狭い範囲の光線をサンプリングするため解像度が高めやすい高解像度

監視カメラなど単一の使用者のための応用向けPTZカメラ

レンダリングのような重い処理が入らないため計算負荷が小さい低計算負荷

必要な映像のみを送るため通信負荷が小さい。 Wide FOV では表示しない範囲の映像も送る必要あり

低通信負荷

三次元位置 (X, Y, Z )で操作する対象はカ メラの透視投影パラメータ (θ, φ, α )であり、遠隔ロボットの操作 [2]などとは対応付けが異なる。対応付け方法は任意のものが設計可能であるが、例えば次のような対応付けをすることでユーザは直感的に操作できると考えられる。ユーザビリティ評価は今後の課題

XY

ZYX

arctan

arctan22

顔の中心からディスプレイの中心を結ぶ直線が光軸となるように制御。ただし、近似的にディスプレイ中心を計測カメラ中心で置き換え可能

Pan/Tilt

KZ

KZYX arctanarctan222

顔を近づけるほどズームが拡大、つまり顔を近づけるほど映像取得カメラの透視投影の視野角を狭くする。人間の眼はズーム機能を持っておらず、人間は代わりに近寄って対象を見る。我々はこの動作を参考に顔を近付ける動作をズームと対応付けた

Zoom

α

Z2

0

near far

システムの試作

結論と今後の課題

参考文献

遠隔カメラ映像の Pan/Tilt/Zoom を顔位置で操作するインタフェースを提案魚眼カメラを用いた試作システムにより一般的なラップトップ PC でリアルタイム動作可能なことを確認

•ユーザ環境 : Intel Core 2 Duo 2GHz搭載ラップトップ PC, TCP/IP ネットワーク越しに映像受信•遠隔カメラ : fθ レンズ搭載の魚眼カメラ , 取得映像を圧縮してストリーミング•顔位置計測 : Haar-like特徴を用いた顔検出 [3] + カルマンフィルタ

魚眼カメラによる取得映像

動作画面

広視野角映像からの透視投影像のレンダリング

C. Cruz-Neira, et al., “Surround-Screen Projection-Based Virtual Reality: The Design and Implementation of the CAVE,” Proc. ACM SIGGRAPH, pp. 135-142, 1993.J.J. Heuring and D. W. Murray, “Visual head tracking and slaving for visual telepresence,” Proc. Robotics and Automation, 1996.P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” Proc. Computer Vision and Pattern Recognition, 2001.

[1]

[2][3]

Wide FOV カメラとして魚眼カメラを用いたシステムを構築、実装内容や操作感を評価

ユーザビリティの評価 : どういった操作の対応付けが使いやすいと感じるのか透視投影でないモデルにおける顔位置計測アルゴリズムの開発と、それを用いた双方向パノラミックビデオチャット

1280x960px, 最大 15/2fps の魚眼カメラ映像をストリーミング受信しながら計測カメラから得た 160x120px で最大 30Hz以上で顔位置計測可能

動作速度 操作感応答速度は良好だが、顔検出の失敗により時々操作中断計測カメラの視野角によって閲覧可能な視野範囲が制限。しかし狭い範囲で広い視野すべてを閲覧できるようにすると映像酔いしやすく操作性が低下