Inversion bayésienne avec tables de données

F. Andrieu 1, F. Schmidt 1

1 GEOPS, Univ. Paris-Sud, CNRS, Université Paris-Saclay, Rue du Belvédère, Bât. 509, 91405 Orsay, France

Colloque de la sfpt-gh, Grenoble, 11-13 mai 2016

GEOSCIENCESPARIS SUDGEOPS

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 2

Model[ Set of parameters ] ➡ spectrum

H2 O CO 2

Dust

F(m) = Rλ(h, ω, ∅H20,pH2O,∅CO2,pCO2)

h

ω

Complexity

Instability

m F(m)

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 3

Inversion

Direct model[ Set of parameters ] ➡ spectrum

H2 O CO 2

Dust

m F(m)

Inversionspectrum

m

F(m)

dmes [ Set of parameters ]

model

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 4

Satellite hyperspectral data = massive datasets

CRISM > 22 TB (1010 spectres)source JHU/APL 10/2015

x

y

I

λ

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 5

Comparison with LUT

Spectroscopic or spectro-imaging

dataSpectral database

(model LUT)

LUT

Fast

Inversion method: FAST

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque Image’In, Orsay, 24-26 novembre 2015 6

Nearest neighbor(s) methods :

Spectroscopic or spectro-imaging

dataSpectral database

(model LUT)

LUTdmes {F(mi)}

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque Image’In, Orsay, 24-26 novembre 2015 7

Nearest neighbor(s) methods :

I

λ

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque Image’In, Orsay, 24-26 novembre 2015 8

Nearest neighbor(s) methods :

R(h, ω, ∅H20,pH2O,∅CO2,pCO2)

H2 O CO 2

Dusth

ωI

λ

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque Image’In, Orsay, 24-26 novembre 2015 9

Nearest neighbor(s) methods : variants

SFF (Spectral Feature Fitting) Clark et al., 1990, van der Meer , 2004

measure

set of model parameters

simulation

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 10

Nearest neighbor(s) methods: result

mr : Best fit (1 or several)

residual (RMS...)

➡ Definition of «good fit»?

➡ How many «good fits»?

➡ What information on mr?

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 11

Nearest neighbor(s) methods: result

mr : Best fit (1 or several)

residual (RMS...)

➡ Definition of «good fit»?

➡ How many «good fits»?

➡ What information on mr?

NOT ENOUGH !

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque Image’In, Orsay, 24-26 novembre 2015 12

Solution: Bayesian method

Bayesian : control of uncertainties

Quantity = Value

Quantity = Probability Density Function (PDF)

Tarantola & Valette, 1982

measure

set of model parameters

simulation

parametric model

: random realisation of n dimensionnal PDF

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque Image’In, Orsay, 24-26 novembre 2015 13

Bayesian method :

measure

set of model parameters

simulation

a priori PDF

a posteriori PDF

parametric model

covariance matrix

Under gaussian hypothesis :

Tarantola & Valette, 1982

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 14

Solution: Bayesian method

Tarantola & Valette, 1982

measure set of model parameters

simulation covariance matrix

Spectroscopic or spectro-imaging

data

Model LUT

Likelihood

LUTuncertainties on the data

Uncertainties on the result

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque Image’In, Orsay, 24-26 novembre 2015 15

Bayesian inversion method

p1

p2

∂ p1

∂ p2

mi

∂ p1

∂ p2

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 16

Bayesian inversion method:

0.05

0.1A priori PDF A posteriori PDF

Sampling a posteriori PDF for the parameters

LUT

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 17

0.05

0.1A priori PDF A posteriori PDF

Sampling a posteriori PDF for the parameters

LUT

Bayesian inversion method:

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 18

0.05

0.1A priori PDF

0.1

0.2A posteriori PDF

Sampling a posteriori PDF for the parameters

LUT

Bayesian inversion method:

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 19

0.05

0.1A priori PDF

0.1

0.2A posteriori PDF

Sampling a posteriori PDF for the parameters

LUT

Bayesian inversion method:

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 20

0.05

0.1A priori PDF

0.05

0.1A posteriori PDF

Sampling a posteriori PDF for the parameters

LUT

Bayesian inversion method:

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 21

0.05

0.1A priori PDF

0.05

0.1A posteriori PDF

Sampling a posteriori PDF for the parameters

LUT

Bayesian inversion method:

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 22

0.05

0.1A posteriori PDF

0.1

0.2A posteriori PDF A posteriori PDF

Same best fit

Bayesian inversion method:

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 23

0.05

0.1A posteriori PDF

0.1

0.2A posteriori PDF A posteriori PDF

Same best fit

Bayesian inversion method:

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 24

0.05

0.1A posteriori PDF

0.1

0.2A posteriori PDF A posteriori PDF

Different results

Reliable result

‹❮r›❯ ± 2.σ

Ambiguous result

further investigation

No information

Same best fit

Bayesian inversion method:

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 25

0.1A priori PDF

Look-up tables: FAST

Bayesian: STATISTICS- on the data- on the results

Bayesian inversion method:

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 26

Experimental validations:

Measure at IPAG, Grenoble, France (Brissaud et al., 2004)

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016

27

Experimental validations:

Ice matrix

Granular

subtrate

h

θRoughness θ

Water ice matrix

Snowgrain-size ∅

Thickness h

Laboratory optical constants H2O from Schmitt et al. ,1998

Direct model from Andrieu et al., 2015

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 28

Thickness of the slab :

1) Thickness of the slab: a posteriori PDF

Measures

Measured :Sample 1 : 1.42 ± 0.54 mmSample 2 : 7.45 ± 0.84 mmSample 3 : 12.51 ± 2.7 mm

Retreived : Sample 1 : 2.1 ± 0.14 mmSample 2 : 7.4 ± 0.28 mmSample 3 : 11.2 ± 0.5 mm

Laboratory optical constants H2O (Schmitt et al. ,1998)

Andrieu et al., Retrieving the characteristics of slab ice covering snow by remote sensing, The Cryosphere Discuss., 9, 5137-5169, 2015

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016

Numerical validations : inversion of the LUT

For each spectrum :

- application of a gaussian noise

- inversion

- stack of the 1000 a posteriori PDF

x1000

Distribution of the PDF = evaluation of the inversion

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 306

Spectrum from the LUTSpectral database

(model LUT)

LUT

Numerical validations : inversion of the LUT

Ice matrix

Granular

subtrate

h

θ

Thickness h

0mm<h<20mmstep=0.1mm

Water ice

Snowgrain-size ∅

1µm< ∅<500µmstep=10µm

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016

Numerical validations : a posteriori uncertainties

Stacks of 1000 a posteriori PDF for 4 different inversions

Evolution of a posteriori uncertainty (2σ) with the thickness

σnoise = 2 %

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016

Numerical validations : a posteriori uncertainties

Stacks of 1000 a posteriori PDF for 3 different inversions

σnoise = 2 %

Stacks of 1000 a posteriori PDF for 3 different inversions

h=1 mm h=5 mm

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016

Numerical validations : a posteriori uncertainties

h=1 mm h=5 mm

Evolution of a posteriori uncertainty (2σ) on the grain-size with the noise

Evolution of a posteriori uncertainty (2σ) on the thickness with the noise

size of the domain explored by the LUT

«good scenario» «bad scenario»

jeudi 12 mai 16

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 3419

0.1A priori PDF

Conclusions:

Bayesian inversion method:

Look-up tables: FAST

Bayesian: STATISTICS- on the data- on the results

Applicability:

Any hyperspectral dataset

jeudi 12 mai 16