Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method...

34
Inversion bayésienne avec tables de données F. Andrieu 1 , F. Schmidt 1 1 GEOPS, Univ. Paris-Sud, CNRS, Université Paris-Saclay, Rue du Belvédère, Bât. 509, 91405 Orsay, France Colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 GEOSCIENCES PARIS SUD GEO PS jeudi 12 mai 16

Transcript of Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method...

Page 1: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Inversion bayésienne avec tables de données

F. Andrieu 1, F. Schmidt 1

1 GEOPS, Univ. Paris-Sud, CNRS, Université Paris-Saclay, Rue du Belvédère, Bât. 509, 91405 Orsay, France

Colloque de la sfpt-gh, Grenoble, 11-13 mai 2016

GEOSCIENCESPARIS SUDGEOPS

jeudi 12 mai 16

Page 2: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 2

Model[ Set of parameters ] ➡ spectrum

H2 O CO 2

Dust

F(m) = Rλ(h, ω, ∅H20,pH2O,∅CO2,pCO2)

h

ω

Complexity

Instability

m F(m)

jeudi 12 mai 16

Page 3: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 3

Inversion

Direct model[ Set of parameters ] ➡ spectrum

H2 O CO 2

Dust

m F(m)

Inversionspectrum

m

F(m)

dmes [ Set of parameters ]

model

jeudi 12 mai 16

Page 4: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 4

Satellite hyperspectral data = massive datasets

CRISM > 22 TB (1010 spectres)source JHU/APL 10/2015

x

y

I

λ

jeudi 12 mai 16

Page 5: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 5

Comparison with LUT

Spectroscopic or spectro-imaging

dataSpectral database

(model LUT)

LUT

Fast

Inversion method: FAST

jeudi 12 mai 16

Page 6: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque Image’In, Orsay, 24-26 novembre 2015 6

Nearest neighbor(s) methods :

Spectroscopic or spectro-imaging

dataSpectral database

(model LUT)

LUTdmes {F(mi)}

jeudi 12 mai 16

Page 7: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque Image’In, Orsay, 24-26 novembre 2015 7

Nearest neighbor(s) methods :

I

λ

jeudi 12 mai 16

Page 8: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque Image’In, Orsay, 24-26 novembre 2015 8

Nearest neighbor(s) methods :

R(h, ω, ∅H20,pH2O,∅CO2,pCO2)

H2 O CO 2

Dusth

ωI

λ

jeudi 12 mai 16

Page 9: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque Image’In, Orsay, 24-26 novembre 2015 9

Nearest neighbor(s) methods : variants

SFF (Spectral Feature Fitting) Clark et al., 1990, van der Meer , 2004

measure

set of model parameters

simulation

jeudi 12 mai 16

Page 10: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 10

Nearest neighbor(s) methods: result

mr : Best fit (1 or several)

residual (RMS...)

➡ Definition of «good fit»?

➡ How many «good fits»?

➡ What information on mr?

jeudi 12 mai 16

Page 11: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 11

Nearest neighbor(s) methods: result

mr : Best fit (1 or several)

residual (RMS...)

➡ Definition of «good fit»?

➡ How many «good fits»?

➡ What information on mr?

NOT ENOUGH !

jeudi 12 mai 16

Page 12: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque Image’In, Orsay, 24-26 novembre 2015 12

Solution: Bayesian method

Bayesian : control of uncertainties

Quantity = Value

Quantity = Probability Density Function (PDF)

Tarantola & Valette, 1982

measure

set of model parameters

simulation

parametric model

: random realisation of n dimensionnal PDF

jeudi 12 mai 16

Page 13: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque Image’In, Orsay, 24-26 novembre 2015 13

Bayesian method :

measure

set of model parameters

simulation

a priori PDF

a posteriori PDF

parametric model

covariance matrix

Under gaussian hypothesis :

Tarantola & Valette, 1982

jeudi 12 mai 16

Page 14: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 14

Solution: Bayesian method

Tarantola & Valette, 1982

measure set of model parameters

simulation covariance matrix

Spectroscopic or spectro-imaging

data

Model LUT

Likelihood

LUTuncertainties on the data

Uncertainties on the result

jeudi 12 mai 16

Page 15: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque Image’In, Orsay, 24-26 novembre 2015 15

Bayesian inversion method

p1

p2

∂ p1

∂ p2

mi

∂ p1

∂ p2

jeudi 12 mai 16

Page 16: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 16

Bayesian inversion method:

0.05

0.1A priori PDF A posteriori PDF

Sampling a posteriori PDF for the parameters

LUT

jeudi 12 mai 16

Page 17: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 17

0.05

0.1A priori PDF A posteriori PDF

Sampling a posteriori PDF for the parameters

LUT

Bayesian inversion method:

jeudi 12 mai 16

Page 18: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 18

0.05

0.1A priori PDF

0.1

0.2A posteriori PDF

Sampling a posteriori PDF for the parameters

LUT

Bayesian inversion method:

jeudi 12 mai 16

Page 19: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 19

0.05

0.1A priori PDF

0.1

0.2A posteriori PDF

Sampling a posteriori PDF for the parameters

LUT

Bayesian inversion method:

jeudi 12 mai 16

Page 20: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 20

0.05

0.1A priori PDF

0.05

0.1A posteriori PDF

Sampling a posteriori PDF for the parameters

LUT

Bayesian inversion method:

jeudi 12 mai 16

Page 21: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 21

0.05

0.1A priori PDF

0.05

0.1A posteriori PDF

Sampling a posteriori PDF for the parameters

LUT

Bayesian inversion method:

jeudi 12 mai 16

Page 22: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 22

0.05

0.1A posteriori PDF

0.1

0.2A posteriori PDF A posteriori PDF

Same best fit

Bayesian inversion method:

jeudi 12 mai 16

Page 23: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 23

0.05

0.1A posteriori PDF

0.1

0.2A posteriori PDF A posteriori PDF

Same best fit

Bayesian inversion method:

jeudi 12 mai 16

Page 24: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 24

0.05

0.1A posteriori PDF

0.1

0.2A posteriori PDF A posteriori PDF

Different results

Reliable result

‹❮r›❯ ± 2.σ

Ambiguous result

further investigation

No information

Same best fit

Bayesian inversion method:

jeudi 12 mai 16

Page 25: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 25

0.1A priori PDF

Look-up tables: FAST

Bayesian: STATISTICS- on the data- on the results

Bayesian inversion method:

jeudi 12 mai 16

Page 26: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 26

Experimental validations:

Measure at IPAG, Grenoble, France (Brissaud et al., 2004)

jeudi 12 mai 16

Page 27: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016

27

Experimental validations:

Ice matrix

Granular

subtrate

h

θRoughness θ

Water ice matrix

Snowgrain-size ∅

Thickness h

Laboratory optical constants H2O from Schmitt et al. ,1998

Direct model from Andrieu et al., 2015

jeudi 12 mai 16

Page 28: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 28

Thickness of the slab :

1) Thickness of the slab: a posteriori PDF

Measures

Measured :Sample 1 : 1.42 ± 0.54 mmSample 2 : 7.45 ± 0.84 mmSample 3 : 12.51 ± 2.7 mm

Retreived : Sample 1 : 2.1 ± 0.14 mmSample 2 : 7.4 ± 0.28 mmSample 3 : 11.2 ± 0.5 mm

Laboratory optical constants H2O (Schmitt et al. ,1998)

Andrieu et al., Retrieving the characteristics of slab ice covering snow by remote sensing, The Cryosphere Discuss., 9, 5137-5169, 2015

jeudi 12 mai 16

Page 29: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016

Numerical validations : inversion of the LUT

For each spectrum :

- application of a gaussian noise

- inversion

- stack of the 1000 a posteriori PDF

x1000

Distribution of the PDF = evaluation of the inversion

jeudi 12 mai 16

Page 30: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 306

Spectrum from the LUTSpectral database

(model LUT)

LUT

Numerical validations : inversion of the LUT

Ice matrix

Granular

subtrate

h

θ

Thickness h

0mm<h<20mmstep=0.1mm

Water ice

Snowgrain-size ∅

1µm< ∅<500µmstep=10µm

jeudi 12 mai 16

Page 31: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016

Numerical validations : a posteriori uncertainties

Stacks of 1000 a posteriori PDF for 4 different inversions

Evolution of a posteriori uncertainty (2σ) with the thickness

σnoise = 2 %

jeudi 12 mai 16

Page 32: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016

Numerical validations : a posteriori uncertainties

Stacks of 1000 a posteriori PDF for 3 different inversions

σnoise = 2 %

Stacks of 1000 a posteriori PDF for 3 different inversions

h=1 mm h=5 mm

jeudi 12 mai 16

Page 33: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016

Numerical validations : a posteriori uncertainties

h=1 mm h=5 mm

Evolution of a posteriori uncertainty (2σ) on the grain-size with the noise

Evolution of a posteriori uncertainty (2σ) on the thickness with the noise

size of the domain explored by the LUT

«good scenario» «bad scenario»

jeudi 12 mai 16

Page 34: Inversion bayésienne avec tables de données...Introduction LUTs Bayesian Inversion method Validations Conclusion F. ANDRIEU et al. : Inversion bayésienne avec tables de données,

Introduction LUTs Bayesian Inversion method Validations Conclusion

F. ANDRIEU et al. : Inversion bayésienne avec tables de données, colloque de la sfpt-gh, Grenoble, 11-13 mai 2016 3419

0.1A priori PDF

Conclusions:

Bayesian inversion method:

Look-up tables: FAST

Bayesian: STATISTICS- on the data- on the results

Applicability:

Any hyperspectral dataset

jeudi 12 mai 16