ネットワーク社会を支える情報技術入門Ⅲ

高臨場感3次元映像技術(2)高臨場感3次元映像技術(2)～高臨場感映像生成技術～高臨場感映像生成技術

小木哲朗

慶應義塾大学慶應義塾大学システムデザイン・マネジメント研究科

高臨場感映像高臨場感映像

立体映像 高精細 写実性 自然な動き インタラクション立体映像、高精細、写実性、自然な動き、インタラクション…..

2

講義内容講義内容

・高臨場感映像とは

・実写とCGを融合した映像生成手法について

・3次元ビデオ技術はどこまできたか

3

3D CG3D CG- ポリゴンによる映像リ る映像

4

実写とCGの融合実写とCGの融合

- 実写とCGを利用した映像実写 を利用 映像

5

実写とCGの融合技術実写とCGの融合技術

・実写を用いたテクスチャマッピング

実写からのモデル生成・実写からのモデル生成

・実写映像とCG映像の合成実写映像とCG映像の合成

・2次元実写画像をもとにした3次元映像表現

・モーションキャプチャ

・3次元ビデオ映像

6

テクスチャ・マッピングテクスチャ マッピング

- ポリゴンにテクスチャを貼り付けるポリゴンにテクスチャを貼り付ける- 模様としてのテクスチャから、微小形状の表現へ

7

View dependent Texture MappingView dependent Texture Mapping多数の視点からのテクスチャを用意多数の視点からのテクスチャを用意

視線方向に近いテクスチャを利用

Painted shoebox effect

8

ステレオ・マッチングステレオ マッチング

ステレオ画像の各ピクセルの対応から、三角測量の原理で距離画像ステレオ画像の各ピクセルの対応から、三角測量の原理で距離画像を生成

ステレオ画像

ステレオマッチングの原理

9

距離画像

デプスモデルデプスモデル

- 3眼カメラで撮影、リアルタイムでデプスモデルを生成眼 撮影、

Point Grey:DigiclopsDigiclops

10撮影画像 デプスモデル

Image Based ModelingImage Based Modeling- Image Modelerg複数枚の写真から対応点を指定していくことで、カメラパラメータを求め、形状モデル、テクスチャを抽出する

形状モデル

11対応点の指定

３次元デジタイザ３次元デジタイザ

ミノルタVIVID910- ミノルタVIVID910スリットレーザ光による光切断法

形状モデル

12生成映像

３次元レーザスキャナ３次元レ ザスキャナ

- RIEGL社 LMS-Z210iRIEGL社 LMS Z210i レーザパルスの飛行時間測定原理（反射光が戻ってくるまでの時間を測定）

13距離画像

金星の映像金星の映像

- 無人探査機「マゼラン」により周回撮影されたレーダ画像から 立体測量- 無人探査機「マゼラン」により周回撮影されたレ ダ画像から、立体測量により3次元モデルを作成し、この上に画像をテクスチャマッピング

- 高温と厚い大気層で実際には見ることができない風景

14NASA(1993)

火星の映像火星の映像

Mars Pathfinder NASA (1997)Mars Pathfinder, NASA (1997)- 探査車Roverにステレオカメラを搭載火星から送られる画像をもとに地形の3D- 火星から送られる画像をもとに地形の3Dモデルを作成

Rover

火星の３Dモデル

15火星のパノラマ映像

クロマキー合成クロマキ 合成

- 青（緑）色を背景に撮影を行い 背景部分に別の映像を合成- 青（緑）色を背景に撮影を行い、背景部分に別の映像を合成- 青色は肌色と補色関係

16

ビデオとCGの3次元合成ビデオとCGの3次元合成Z Key method (Kanade: Carnegie Mellon University)- Z Key method (Kanade: Carnegie Mellon University)ピクセルごとのデプス値をもとに、CG映像とビデオ映像を3次元的に合成合成

depth map ビデオ映像カメラ

合成映像

17

CG映像 depth map 合成映像

複数ビデオの3次元合成複数ビデオの3次元合成デプスキーを用いることで 複数のビデオ映像を3次元的に合成する- デプスキーを用いることで、複数のビデオ映像を3次元的に合成することが可能になる

ビデオビデオ１

合成映像

18

合成映像

ビデオ2

バーチャルスタジオバ チャルスタジオ

スタジオに美術セットを組み上げる代わりに ブルーバックを使用し- スタジオに美術セットを組み上げる代わりに、ブルーバックを使用し、CGセットの映像をリアルタイムに合成

- スタジオカメラのパン、チルト、ズームに連動し、背景映像を生成- クロマキー合成によるスタジオの現実感を向上

19

実写とCGの融合技術実写とCGの融合技術

・実写を用いたテクスチャマッピング

実写からのモデル生成・実写からのモデル生成

・実写映像とCG映像の合成実写映像とCG映像の合成

・2次元実写画像をもとにした3次元映像表現

・モーションキャプチャ

・3次元ビデオ映像

20

Aspen Movie MapAspen Movie Map1978年 MIT1978年 MIT- アスペンの街を仮想体験するインタラクティブ映像- 街並みを撮影した映像をレーザーディスクに格納し、タッチパネル

がの操作に従い、切り替えながら表示

21

Bullet-time ShotBullet-time Shot- Bullet-time shot (マシンガン撮影)- Bullet-time shot (マシンガン撮影)

スローで映像を再生しながら実時間でのカメラワーク

映画 Matrix で使用映画 Matrix で使用

22

QuickTime VRQuickTime VRP VRPanorama VR

- 水平方向の周囲の撮影画像をつぎ合わせ、360度の視界を作成- ステッチングによりパノラマ写真を作成し、円筒状に配置ステッチングにより ラ 写真を作成し、円筒状に配置

Cubic VR- 水平・垂直方向ともに360度の視界を可能にする魚眼 ズ 180度画角の画像を撮影し 球体2面分を張り合わせる- 魚眼レンズで180度画角の画像を撮影し、球体2面分を張り合わせる

23

（Panorama VR）

光線空間法光線空間法

- 光線を基準面を通過する位置と方向のパラメータで表現光線を基準面を通過する位置と方向のパラメ タで表現

24

再生画像撮影画像

モーフィングモ フィング

モーフィング＝ワーピング＋ディゾルブモーフィング＝ワーピング＋ディゾルブ

View MorphingView Morphing- 視線方向の異なる画像からの中間視点映像の生成視線方向の異なる画像からの中間視点映像の生成- 平行な投影面の映像に変換してからモーフィングを行う

26

3D Replay3D ReplayZAXELZAXEL- 多視点カメラで撮影し、視点移動映像を再生する

レ ムの選択 中間視点映像の生成- フレームの選択、中間視点映像の生成

Image-based ModelingImage based ModelingThe Campanile Movie UC Berkeley- The Campanile Movie, UC Berkeley

28

Image-Based Scientific VisualizationVisualization

数値計算に従い画像のワ ピングで表現数値計算に従い画像のワーピングで表現

モーション・キャプチャモ ション キャプチャ

Motion Star：AscensionMotion Star：Ascension磁気センサ

Gypsy：Meta Motion Vicon：Vicon Motion System赤外線センサ機械式センサ 赤外線センサ

30

パフォーマンス・キャプチャパフォ マンス キャプチャ

『The Polar Express』 Tom Hanks『The Polar Express』 Tom Hanks・スーツに約60個、顔に165個のVicon センサを装着。・200台以上の赤外線レセプターカメラを使用。

movie

31

3次元ビデオに向けて3次元ビデオに向けて- Star Wars

movie

32

モーフィング・レイヤの人物表現モ フィング レイヤの人物表現

33

2 5次元ビデオアバタ2.5次元ビデオアバタステレオカメラ映像から リアルタイムでデプスモデルによる- ステレオカメラ映像から、リアルタイムでデプスモデルによる2.5次元表現

34

Virtualized RealityVirtualized Reality- Carnegie Mellon University, 金出Ca eg e e o U e s ty, 金出視体積交差法によるボクセルモデルから自由視点映像の生成

3D room

flamenco

35

flamenco dance

視体積交差法視体積交差法

shape from silhouette- shape from silhouette

ボクセルモデル

視体積 visual hullポリゴン

36

ポリゴンモデル

Augmented RealityAugmented RealityZAXELZAXEL

37

まとめまとめ

・高臨場感の映像生成技術について概観した

・テクスチャマッピング、画像合成、イメージベースト・モデリング イメ ジベ スト レンダリング等の手法を紹介リング、イメージベースト・レンダリング等の手法を紹介

ビデ・究極的には3次元ビデオ生成技術の研究

資料 http://lab.sdm.keio.ac.jp/ogi/tsukuba/IT3-2010.02.01.pdf

38

p jp g p