光線空間のサンプリングに基づいた多眼式立体ディスプレイ及びインテグラルフォトグラフィ立体

ディスプレイの測定

小池 崇文(株) 日立製作所 システム 開発研究所

JENC (ISO/TC159国内対策委員会)

フラットパネルディスプレイの人間工学シンポジウム 20092009/03/06

1

インテグラルフォトグラフィと多眼式の違いはなん

だろうか?

2

本日の概要

多眼方式とインテグラル方式について

光線空間の考え方

光線空間における両方式の解析

光線空間の計測方法

結論

3

In summary, we have made the following contributionsto advance the state of the art in autostereoscopic displays:

. A complete calibration procedure to automaticallyregister all the display components (that is, projec-tors, the screen, and microlens sheets) into a singleglobal coordinate. Experimental results show that itis accurate (< 0.1 percent relative error) and fast(< 15 minutes for our four-projector setup).

. Two efficient rendering algorithms to synthesize thespecial multiple-center-of-projection (MCOP) imagesfor the light-field display. They reduce the renderingtime up to three orders of magnitude. In addition,they are simple to implement and can be fullyaccelerated with commodity graphics hardware.

. A light-field display prototype that is capable ofproducing full color, full parallax, and full motionsolid stereoscopic imagery without resorting toheadsets or user tracking. In particular, we demon-strate “out-of-screen” effects to show the effective-ness of our first rendering approach.

2 RELATED WORK

Our work is closely related to three areas: autostereoscopicdisplay, projector-based display, and multiview rendering.We will briefly overview each one of them in the followingsections.

2.1 Autostereoscopic DisplaysThere are many ways to make functional 3D displays(interested readers are referred to an introductory paper byDodgson in [10]). We briefly review three main types ofautostereoscopic displays: volumetric, holographic, andlenticular-based systems. Commercial volumetric displaysare readily available (for example, [11]) but have distinctdisadvantages. Besides their high cost and limited resolu-tion, it is very difficult to show proper occlusion effects inthese displays (that is, everything is semitransparent).Holographic display systems can theoretically provide themost compelling 3D imagery. Although it has been anactive research topic for decades and there are severalpromising prototypes [12], [13], completely solving thetechnical challenges of a holographic display is probablystill decades away [14].

Most related to our light field display is lenticular-basedsystems (similar approaches include “barrier” systems andintegral photographs, see [15] on the history of theirdevelopment). Lenticular-based displays sacrifice spatialimage resolution for directional resolution (that is, the view-dependent effect). With the advance of high-resolutiondisplays, experimental and commercial lenticular-basedvideo displays have begun to emerge (for example, [1], [2],and [16]).Most of themonlyprovide limited 3D effects fromafew discrete “sweet” spots and they continue to suffer fromthe limited resolutiona singledisplay canprovide. Toachievehigheroutput resolution,multipleprojectors canbeused [17].For example, recently, Liao et al. [3] used a 3 ! 3 projectorarray covered with microlens sheets to achieve an image of244 ! 180 pixels with full parallax. Matusik and Pfisterintroduced an end-to-end 3DTV system that uses a lenticulardisplaywith 16projectors [4]. It canprovide ahigh-resolutionimagewith approximately 1,024! 768 pixels, but it is limitedto 16 views with horizontal parallax only. Similar displaysusing up to 64 projectors have also been demonstrated [5].Compared to these projector-based displays, our approachexhibits the advantages of full-parallax views and theautomatic alignment of projector images. It should beacknowledged that our approach, as well as any lenticular-based systems, is optically flat. As a result, the eyes mustaccommodate the fixed optical depth of the display planewhile verging to various other depths as they fixate onvarious 3D stereoscopic image fixation points. This accom-modation-vergence conflict is one disadvantage compared tothe other two types (volumetric and holographic) of displays.

Overall, autosterescopic display is a very active researcharea (the reader is encouraged to investigate the dedicatedconference, Stereoscopic Displays and Applications, http://www.stereoscopic.org) in which dozens of papers arepublished every year. Although we introduce a prototypedisplay of our own, the emphasis of this paper is to addresssome issues common to many lenticular-based displays,that is, the requirement of ultrahigh 2D resolution andinteractive rendering. The results from this paper, especiallythe rendering part, can be used to enhance 3D displaysbased on other modalities as well.

YANG ET AL.: TOWARD THE LIGHT FIELD DISPLAY: AUTOSTEREOSCOPIC RENDERING VIA A CLUSTER OF PROJECTORS 85

Fig. 1. (a) A prototype light field display composed of four projectors. (b) View-dependent effects from the prototype. These images are captured witha regular camera moving from side to side and up and down. The scene contains a Coke can, a teapot, and a textured background. The Coke can isrotated 90 degrees in the second row of images.

立体ディスプレイの歴史

光線再生方式[Yang 2006]

2眼ステレオ[Ives 1903] インテグラル

フォトグラフィ [Lippmann 1908]

Parallax Panoramagram (多眼式) [Kanolt 1918]

メガネ方式 [Wheatstone 1838]

多眼方式4

多眼方式 (MV)

視点が定義(設計)されている

多眼方式の画像は多視点カメラ画像から簡単に作成可能

歴史的には二眼方式の拡張

セイコーエプソンなど，多数のメーカーが試作・販売

いくつかは市場に出回ってる

s

t

u’

v’

z

図. 多眼方式の原理

5

インテグラルフォトグラフィ (IP)

M. G. Lippmann 1908 により発明フィルム と レンズアレイ歴史的には写真技術であってディスプレイ技術でない視点は定義されていない(できない)

II (Integral Imaging)

IV (Integral Videography)

製品はなしNHK, 東芝, 日立で試作 Reproduced

3-D ImageObject Observer

Lens arrayFilm

Photographed elemental Image Reversed elemental Image

Reproduced

3-D ImageObject Observer

Lens arrayFilm

Photographed elemental Image Reversed elemental Image

図. IPの原理 6

例: IP/II 方式インテグラルビデオグラフィ

IPの動画拡張

液晶とマイクロレンズアレイ

特殊なカラーフィルタレイアウト

(c) Hitachi, Ltd.図. カラーフィルタ配置図. IP/II/IVの原理

Lens color with white lighting pattern

R

R

R

GG

B

G

GG

R

R

R

B B

B

300μm

Light

Radiant

PyramidLens Array

LCD

/Film

7

例: IP/II 方式

8

例: IP/II 方式拡張インテグラル方式

マルチプロジェクション技術を使用逆視領域が無いメインローブのみ360度から閲覧可能

(c) Hitachi, Ltd.図. 試作ディスプレイ

projectors

common focal plane

microlens array

deflected light rays

図. 拡張インテグラル原理 9

Example: IP/II 3D DisplayMulti-Integral Imaging

10

Plenoptic 関数我々が見ている光線を記述するための関数として導入 (Adelson&Bergen, 1991)

7次元空間で定義

位置 (3D)

方向 (2D)

波長 (1D)

時間 (1D)wave

length

Power

Color space

Dynamic

Range

Depth

(3D)

Eye

Objects

11

光線空間を記述する次元2D

Image

3D 4D 5D 6D 7D

Concentric Mosaic

Light Field Surface Plenoptic Function

Plenoptic FunctionPlenoptic Modeling,

Light Field Video

© Cha Zhang and Tsuhan Chen12

光線空間記法(4D Light Field)

s

t

u

v

z

インテグラル方式Plane and Direction Parameterization (PDP)

カメラ位置は st-面

s

t

u’

v’

z

多眼方式Two Plane Parameterization (2PP)

カメラ位置が u’v’-面

13

sz面における違い

s

z

インテグラル方式光線密度の均一性は高い

多眼方式

s

z

光線密度は均一性低い

14

su’-面での光線サンプリング

s

u’ IP:MV:

多眼サンプリングはu’方向に均一

s

t

u’

v’

z

15

2PP

su-面での光線サンプリング

s

u IP:MV:

IPのサンプリングはu方向に均一

s

t

u

v

z

16

PDP

su面 と su’面での光線空間のサンプリング

s

u’ IP:MV:

s

u IP:MV:

su面 su’面

s

t

u

v

z

s

t

u’

v’

z

17

2PPPDP

光線空間の解析結果が意味すること

原理的には，多眼と インテグラル は4次元光線空間において異なるサンプリングである

通常の(2D)ディスプレイにおいてサンプリングは画質に大きな影響を与えている

4次元光線空間のサンプリングも画質や人間工学に影響を与えると予想される

18

光線空間の測定方法

どうやって光線空間を測定するか?

(s,u)を計測するには?

視角度での測定

(s,u’)を計測するには?

面での測定(カメラ)

19

s

t

u

v

z

s

t

u’

v’

z 各々の記述方式は変換可能!

2PP

PDP

点計測利点

計測精度が良い

キャリブレーションは，ほぼ自動(またはマニュアル化)

欠点

計測に時間がかかる

専用装置のため高価20

面計測利点

データ量が多い

(カメラなどの)汎用品を使えるため装置が安価

欠点

計測精度が悪い

(幾何・輝度・色等の)キャリブレーションが必要21

サンプリング品質関数

Q=1: クリアな3D画像

Q=0: クリアでない3D画像

Q<0: サンプリング点が視域の外側

Q(s, u!) = 1! 2 · mini"! (|(s, u!)! (si, u!i)|)

!

s

t

u’

v’

z 222PP

!: 全サンプリング点集合": サンプリング間隔(si,u’i): サンプリング点

映像品質

s

Q

1

0s

Q

1

0

s

u'

u'1

u'0

Q(s, u!) = 1! 2 · mini"! (|(s, u!)! (si, u!i)|)

!

s

t

u’

v’

z

赤: インテグラル方式緑: 多眼方式

図. サンプリングパターン

図. (サンプリング品質関数の)計算結果 23

2PP

方式の差異まとめ歴史的経緯

光線空間でのサンプリング

sz空間

su空間

計測方法

見た目の特性24

結論立体ディスプレイを考えるにあたり，光線空間は重要な概念の一つ

多眼方式とインテグラルの違いを提示

違いが画質や人間工学に影響を与える可能性

適切な(正確で効率良い)計測方法開発の必要性

立体ディスプレイの分類は注意深く行う必要性25

光線空間のサンプリングに基づいた多眼式立体ディスプレイ及びインテグラルフォトグラフィ立体

ディスプレイの測定

小池 崇文(株) 日立製作所 システム 開発研究所

JENC (ISO/TC159国内対策委員会)takafumi.koike.jf@hitachi.com 26

フラットパネルディスプレイの人間工学シンポジウム 20092009/03/06

参考文献1 (立体ディスプレイの歴史)

C. Wheatstone, ``Contributions to the Physiology of Vision.—Part the First. On Some Remarkable, and Hitherto Unobserved, Phenomena of Binocular Vision’’, In Philosophical Transactions of the Royal Society of London, Vol. 128, pp. 371 - 394, 1838. (http://www.stereoscopy.com/library/wheatstone-paper1838.html)

F. E. Ives, ``Parallax Stereogram and Process for Making Same,’’ U.S. Patent Number 725,567, 1903.

M. G. Lippmann, ``Epreuves Reversibles Donnant la Sensation du Relief,’’ J. de Phys. , vol. 7, pp. 821 - 825, 1908.

C. W. Kanolt, ``Photographic Method and Apparatus,’’ U.S. Patent Number 1,260,682, 1918.

T. Okoshi, ``Three-Dimensional Imaging Techniques,’’ Academic Press, 1976.

27

参考文献2 (光線空間)

E. H. Andelson and J. R. Bergen, ``Plenoptic Function,’’ In book of Computational Models of Visual Processing, pp. 3 - 20, MIT press, 1991.

M. Levoy and P. Hanrahan, ``Light Field Rendering,’’ In proceedings of ACM SIGGRAPH 1996, 1996.

苗村 健, ``光線記述に基づく空間符号化と空間共有メディアに関する研究’’, 博士論文, 電子工学専攻, 東京大学大学院 工学系研究科, 1996.

T. Koike et al., ``Measurement of Multi-View and Integral Photography Displays Based on Sampling in Ray Space,” IDW ’08, 3D2-5, 2008.

小池 崇文, ``4次元光線再生方式ディスプレイに関する理論的検討とその応用’’, 博士論文, 東京大学 大学院 情報理工学系研究科, 2008.

28

参考文献3 (IP/IIディスプレイ)

K. Taira and Y. Hirayama. ``Development of Lenticular-Type Autostereoscopic Liquid Crystal Display Based on One-Dimensional Integral Imaging,’’ IDW’05, 3D4-1, 2005.

小池 崇文, 及川 道雄, 宇都木 契, ``モアレを削減したインテグラルビデオグラフィ’’, 映像情報メディア学会誌, Vol. 61, No. 6, pp. 814 -821, 2007.

R. Yang, X. Huang, S. Li, and C. Jaynes, ``Toward the Light Field Display: Autostereoscopic Rendering via a Cluster of Projectors,’’ IEEE Transactions on Visualization and Computer Graphics, Vol. 14, No. 1, pp. 84 - 96, 2008.

M. Yamasaki, T. Koike, K. Utsugi, and H. Sakai , ``High-Density Light Field Reproduction Using Overlaid Multiple Projection Images,’’ SD&A XX, 7237!08, 2009.

29