Principal Components Analysis and Neural Network Implementation of Photometric Stereo

Yuji Iwahori, Robert J. Woodham, Ardeshir Bagheri (1995)

1 IntroductionPhotometric Stereo( 照度差ステレオ ) の実装

Principal Components Analysis ( 主成分分析 )

Neural Network

ある空間から、次元を落として部分空間を抽出するための線形処理テクニック。計算能力の問題 (ill-conditioned) を解決するために用いる。

非パラメットリック関数を近似する特性を利用して、入力空間とそれに対応する表面配向のマッピングを学習する。データは校正球面から得る。影や相互反射の影響による信頼性の評価に用いる。

2 Photometric Stereo (1)物体の表面

),( yxfz ： Z 方向は観察者への方向

]3,2,1[ nnn

表面法線ベクトル

画像照度方程式

),,(),( 321 nnnRyxE ),( yxE

),,( 321 nnnR：画像照度

：反射率マップ

正射影によって、２次元画像に投影される

：ベクトル長は１とする

2 Photometric Stereo (2)p 方向からの光源によって、 p 画像を使用する時の画像照度方程式

),,(),(

),,(),(

),,(),(

321

32122

32111

nnnRyxE

nnnRyxE

nnnRyxE

pp

全ての照明の方向がほぼ同一線上にあった場合

問題発生 (ill-conditioned)

Principal Components Analysis （主成分分析）

3 Principal Components Analysis (1)PCA は多変量解析の手法の一つ。もとの変数間の類似性に基づいて、新たな少数の変数へと集約する。

新たな変数 主成分

主成分は対象データの「分散」を最大化するように設定される。また、主成分同士は互いに独立である。

最終的に変数を集約するために、もとの変数よりも少ないだけの主成分を抽出する。

3 Principal Components Analysis (2)主成分を求めるために、共分散行列の固有方程式を解き、固有値と固有ベクトルを求める。

221

22

212

1122

1

ppp

p

p

sss

sss

sss

S

共分散行列は、対角要素が各変量の分散　　、それ以外の第 ij 要素は i 番目の変量と j 番目の変量の共分散　　となっている行列のこと。

2is

ijs

3 Principal Components Analysis (3)1. p 入力画像から p×p の共分散行列 を計算する。

2. 固有ベクトル と固有値 を求める。

K

kk ),...,2,1( pk

列が である p×p 行列を とする。

画像照度を とする。

k ],...,3,2,1[ EpEEE

],...,3,2,1[: ApAAA主成分

p

T

p E

E

E

A

A

A

2

1

2

1

p

i i

k

1

全体に占める割合の分散の主成分 kA

4 NN Functional Approximation4.1 RBF Networks and OLS Learning (1)

Radial Basis Function neural network

多次元解析に用いられる非関数近似の方法の一つ。学習によってフィードフォワードネットワークを構成する。 基底関数 ガウス関

数基底関数の出力を線形結合することによってネットワークの出力とする。

Orthogonal Least Squares ( 直交最小２乗法 )

近似値と観測値との残差の２乗を求め、それを最小とするような近似関数を求める方法。基底関数の中心を選択するのに適用される。十分なネットワークが構成されるまで、その手続きは繰り返される。

4 NN Functional Approximation4.1 RBF Networks and OLS Learning (2)

図 : Radial Basis Function Neural Network

RBF ネットワークは２層から成る ( 図は P の隠れ層と、３つの出力層から成る ) 。

],,[ 321 AAA ],,[ 321 nnn

第１のネットワークは入力から表面配向を予測

１度の学習手続きによって、ニューロンが１つずつネットワークに追加される。２乗和誤差が目標値に達するか、またはニューロンの数が最大になるまで繰り返される。本手法では２つの RBF ネットワークを構成

4 NN Functional Approximation4.2 A 2nd Network Estimates Confidenceさらに入力を逆に予測するようなネットワークを

生成

],,[ 321 AAA],,[ 321 nnn

第２のネットワークは出力された表面配向から入力を予測

実際の入力と逆予測された入力を比較し、信頼評価を行う（影や相互反射に影響される領域）。

1NN

RBF

2NN

RBF1A

2A

3A

'1A'

2A'

3A

1n

2n

3n

2'33

2'22

2'11 )()()( AAAAAAd

5 Experiments5.1 Experimental Setting 5.2 Calibration陶器の球体（キャリブレーション用）と陶器の男性の顔を使用する。ともに同じ物質であり、同じ反射特性を持つ。光学台に対象物を取り付け、光源の角度を約２度ずつずらしながら７方向からの画像を撮影する。

5 Experiments5.3 Results (1)

4073.13874.13336.13329.13423.13731.14288.1

3874.13862.13403.13412.13462.13795.14372.1

3336.13403.13531.13303.12664.13224.14003.1

3329.13412.13303.13209.12887.13337.14009.1

3423.13462.12664.12887.13687.13712.14006.1

3731.13795.13224.13337.13712.13937.14394.1

4288.14372.14003.14009.14006.14394.15058.1

103K

1168.01671.03179.00459.08426.00355.03796.0

2228.03521.07745.01699.02307.00056.03801.0

4120.02233.02612.04020.01592.06235.03693.0

6913.03555.02822.01585.02213.03248.03694.0

1728.03658.01362.04604.02223.06472.03709.0

4875.06855.00331.00893.02344.02899.03799.0

1470.02608.03628.07499.02414.00392.03597.0

0009.00012.00024.00084.00398.01166.05662.910371

共分散行列　　、固有ベクトル　　、固有値　　は以下となる。

kK

固有値の大きい順に３つの主成分を用いる

5 Experiments5.3 Results (2)

図 (a) Plot of (E1,E2,E3) 図 (b) Plot of (A1,A2,A3)

キャリブレーションによって得られた値をプロット

照度 (E1,E2,E3) は直線に沿って集中し高い相関がある。一方、主成分 (A1,A2,A3) は相関が低くなっている。

5 Experiments5.3 Results (3)

図 (a) (A1,A2,A3) to (n1,n2,n3) 図 (b) (n1,n2,n3) to (A1,A2,A3)

RBF ネットワークの学習キャリブレーションによって得た、 (A1,A2,A3) と (n1,n2,n3) の対応を各ネットワークに学習させる。第１のネットワー

ク５０世代まで学

習一般化

第２のネットワーク

１００世代まで学習

妥当評価

5 Experiments5.3 Results (4)

(a) Boy-1 image (b) Boy-1 slope (c) Boy-1 aspect (d) Boy-1 confidence

観察者（カメラ）の方向を向いた像の画像の場合(a)７つの入力画像の一つ

(b) 勾配角度（表面法線ベクトルと観察方向のベクトル間の角度）(c) アスペクト（表面法線ベクトルの XY平面上への射影）(d) 信頼評価 d （明るい領域は信頼が低い、影や相互反射）

5 Experiments5.3 Results (5)

(a) Boy-2 image (b) Boy-2 slope (c) Boy-2 aspect (d) Boy-2 confidence

位置を変更した像の画像の場合

(a)７つの入力画像の一つ(b) 勾配角度（表面法線ベクトルと観察方向のベクトル間の

角度）(c) アスペクト（表面法線ベクトルの XY平面上への射影）(d) 信頼評価 d （明るい領域は信頼が低い、影や相互反射）

6 Conclusion

•主成分分析によって対象データの次元を減少させる。

•RBF ニューラルネットワークと OLS によって、入力空間と表面法線ベクトルとの対応マッピングを生成。

•RBF ニューラルネットワークによって、影や相互反射の影響を受けている領域の信頼評価。この実装方法は、経験的な手法によってのみ行われ、光源方向や反射率等の条件を必要としない。対象物体と同じ物質（同じ反射率）からなる物体の校正によるデータさえあればよい。

照度差ステレオの新しい実装方法を提案