NHV - dinsdag 6 maart 2012 drs. Paul K. Baggelaar Icastat ir. Eit C.J. van der Meulen AMO

1© Icastat - AMOIcastat - AMO

NHV - dinsdag 6 maart 2012NHV - dinsdag 6 maart 2012

drs. Paul K. Baggelaardrs. Paul K. Baggelaar Icastat Icastat

ir. Eit C.J. van der Meulenir. Eit C.J. van der MeulenAMOAMO

Trendanalyse op maat voorTrendanalyse op maat voor een meetnet een meetnet waterkwaliteitwaterkwaliteit


Hoofddoelstellingen Hoofddoelstellingen milieumeetnettenmilieumeetnetten

Beschrijven en beoordelen van:Beschrijven en beoordelen van:

1.1. de de toestandtoestandobjectiveren met behulp van normenobjectiveren met behulp van normen

2.2. de de veranderingverandering van de toestand van de toestandobjectiveren met behulp van statistische objectiveren met behulp van statistische methodenmethoden vergt veel inspanning bij grootschalig vergt veel inspanning bij grootschalig meetnet (duizenden reeksen)meetnet (duizenden reeksen)


TrendTrend

Vorm van niet-stationariteitVorm van niet-stationariteit

Verandering in het Verandering in het centrum centrum van de van de kansverdeling van meetwaarden over kansverdeling van meetwaarden over tenminste enkele jarentenminste enkele jaren

We richten ons op de We richten ons op de monotonemonotone trend trend


Onderdelen van trendanalyseOnderdelen van trendanalyse

1.1. Trend Trenddetectiedetectie: objectieve uitspraak : objectieve uitspraak over wél of géén trendover wél of géén trend

2.2. Trend Trendkwantificeringkwantificering: schatting van de : schatting van de grootte van de trendgrootte van de trend


Toetsen op monotone trendToetsen op monotone trend

Bekendste: toets op lineaire Bekendste: toets op lineaire regressiehellingregressiehelling

YYtt = b = b00 + b + b11XXtt + e + ett

onderzoeksvariabele

tijdsindex

intercept

helling tijd

modelresidu


Trendtoetsen met lineaire regressieTrendtoetsen met lineaire regressie

Toetshypothesen:Toetshypothesen:0:en 0: 110 aHH

][ 1

1bsbT

Verwerp H0 als T > t(0,975;n-2)

Toetsingsgrootheid:

Student-t-waarde


Voorwaarden trendtoetsen met Voorwaarden trendtoetsen met lineaire regressielineaire regressie

1.1. ModelresiduënModelresiduën zijn afkomstig uit zijn afkomstig uit (dezelfde) normale kansverdeling(dezelfde) normale kansverdeling

2.2. ModelresiduënModelresiduën vertonen geen vertonen geen autocorrelatieautocorrelatie


2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 20105

10

15

20

jaar

mg/

l

Trendplot M_10J _NA_0% (Testreeks)

meetwaardentijdreekswaardenLowesstrendlijn

Voorbeeld lineaire regressieVoorbeeld lineaire regressie


2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010-5

0

5

jaar

mg/

l

Tijdreeksplot modelresiduen M_10J_NA_0% (Testreeks)

-3 -2 -1 0 1 2 3-5

0

5

normaalscore

mg/

l

PP-plot

-3 -2 -1 0 1 2 3 40

10

20

30

aant

al

waarde mg/l

Histogram

Modelresiduën normaal verdeeld?Modelresiduën normaal verdeeld?


2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010-4

-2

0

2

4

jaar

mg/

l

Tijdreeks modelresiduen en voortschrijdend gemiddelde (365) M_10J _NA_0% (Testreeks)

5 10 15 20 25

-0.2

0

0.2

0.4

0.6

aantal tijdsintervallen

Modelresiduen autocorrelatie?

95% betrouwbaarheidsinterval

Modelresiduën geen autocorrelatie?Modelresiduën geen autocorrelatie?


e + N = N

N + Xb + b = Z

t-tt

ttt

11

10

Uitgebreide lineaire regressieUitgebreide lineaire regressiemodelruis

autoregressieve modelparameter modelresidu


2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 20105

10

15

20

jaar

mg/

l

Trendplot M_10J _NA_0% (Testreeks)

meetwaardentijdreekswaardenLowesstrendlijn

Voorbeeld uitgebreide lineaire Voorbeeld uitgebreide lineaire regressieregressie


2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010-3

-2

-1

0

1

2

jaar

mg/

l

Tijdreeks modelresiduen en voortschrijdend gemiddelde (365) M_10J _NA_0% (Testreeks)

5 10 15 20 25

-0.2

-0.1

0

0.1

0.2

0.3

aantal tijdsintervallen

Modelresiduen autocorrelatie?

95% betrouwbaarheidsinterval

Modelresiduën geen autocorrelatie?Modelresiduën geen autocorrelatie?


Mogelijke kenmerken Mogelijke kenmerken milieugegevensmilieugegevens

Ondergrens van nulOndergrens van nul Gecensureerde meetwaarden Gecensureerde meetwaarden (bv. < 1 (bv. < 1

g/l)g/l) Uitschieters, meestal naar bovenUitschieters, meestal naar boven Scheve kansverdeling Scheve kansverdeling (naar rechts)(naar rechts) SeizoenspatroonSeizoenspatroon Correlatie in tijd of ruimteCorrelatie in tijd of ruimte

Rekening mee houden bij statistische analyse


e + N = N

N + )I( + Xb + b = Z

t-tt

tii

s

=itt

11

210

Nóg uitgebreidere lineaire regressieNóg uitgebreidere lineaire regressie

aantal seizoenen

seizoensindex

seizoenseffect

modelruis

autoregressieve modelparameter

seizoensindicator

modelresidu


Voorbeeld verdelingsvrije toets:Voorbeeld verdelingsvrije toets:Mann-Kendall-toetsMann-Kendall-toets

Z-Z = S tk

n

+t=k

-n

=tsgn

1

1

1

0als1sgn

0 als 0sgn0 als1sgn

< = = = > =

18

521Varen 0E nnn = S = S

0als

Var1

0 als 0

0 alsVar

1

< S S

ST

= S =T

> S S

ST

toetseng tweezijdibij:als trendtesignificanh Statistisc

21 UT )/(


Uitbreidingen Mann-Kendall-toetsUitbreidingen Mann-Kendall-toets

][sgn1

1

1Z-Z = S igkg

ng

=i+k

gn

=ig

S = S g

s

=g

* 1

0 = S = S g

s

=g][E][E

1

*

][Cov][Var][Var11

* S,S + S = S hg

s

gh

s

=gg

s

=g

Toetsingsgrootheid per seizoen


Toetsen op monotone trendToetsen op monotone trendParametrischParametrischLineaire regressie | +s | +a | +sa |Lineaire regressie | +s | +a | +sa |

VerdelingsvrijVerdelingsvrijMann-Kendall | +s | +a | +sa |Mann-Kendall | +s | +a | +sa |Spearman | +s |Spearman | +s |Lettenmaier | +a | +sa |Lettenmaier | +a | +sa |Farrell | +s |Farrell | +s |

Wanneer welke toets gebruiken?Wanneer welke toets gebruiken?


Criteria bij keuze trendtoetsCriteria bij keuze trendtoets1.1. Empirisch significantieniveau niet hoger Empirisch significantieniveau niet hoger

dan gehanteerd significantieniveau (dan gehanteerd significantieniveau () ) verleent objectiviteit en zeggingskracht aan verleent objectiviteit en zeggingskracht aan signaleringsfunctie van het meetnetsignaleringsfunctie van het meetnet

2.2. Hoogste onderscheidend vermogen ( Hoogste onderscheidend vermogen (1-1-) ) van alle trendtoetsen die aan van alle trendtoetsen die aan 1.1. voldoen voldoen er wordt dan zo efficiënt mogelijk informatie er wordt dan zo efficiënt mogelijk informatie gefilterd uit de duur betaalde meetgegevensgefilterd uit de duur betaalde meetgegevens


Voorbeeld keuze trendtoetsVoorbeeld keuze trendtoets

Onderscheidend vermogen trendtoetsen

0%

20%

40%

60%

80%

100%

Trendgrootte ->0

1

2

3

=5%


Percentage trenddetectie bij normale kansverdeling

0%

20%

40%

60%

80%

100%

0.00 0.02 0.04 0.06 0.08 0.10 0.12 0.14 0.16

Trend [standafw/ jaar]

LRMK

n = 120


Percentage trenddetectie bij lognormale kansverdeling

0%

20%

40%

60%

80%

100%

0.00 0.02 0.04 0.06 0.08 0.10 0.12 0.14 0.16

Trend [standafw/ jaar]

LR

MK

n = 120


Kenmerken verdelingsvrij toetsenKenmerken verdelingsvrij toetsen

1.1. Doet bij normale kansverdeling niet Doet bij normale kansverdeling niet veel onder voor parametrisch toetsen veel onder voor parametrisch toetsen

2.2. Is bij niet-normale kansverdeling Is bij niet-normale kansverdeling krachtiger dan parametrisch toetsen krachtiger dan parametrisch toetsen

3.3. Geen last van uitschieters !Geen last van uitschieters !


En transformeren?En transformeren?

Lukt zelden volledig en toepassen van Lukt zelden volledig en toepassen van een parametrische toets/schatter is dan een parametrische toets/schatter is dan niet optimaalniet optimaal

Geeft ‘kromme’ trends in de meetschaalGeeft ‘kromme’ trends in de meetschaal

Bij niet-normaliteit geven wij de voorkeur Bij niet-normaliteit geven wij de voorkeur aan verdelingsvrije methodenaan verdelingsvrije methoden


Toetsen geselecteerdToetsen geselecteerdvoor de procedurevoor de procedure

ParametrischParametrischLineaire regressieLineaire regressie en uitbreidingen en uitbreidingen

VerdelingsvrijVerdelingsvrijMann-KendallMann-Kendall en uitbreidingen en uitbreidingen


Preferentieprocessen van de toetsenPreferentieprocessen van de toetsen

Toets S A S+A S A S+ALRLRsLRaLRsaMKMKsMKsa

Normale kansverdeling Geen normale kansverdelingStatistische kenmerken van proces


TrendkwantificeringTrendkwantificering

Trendtoets Trendschatter(Uitgebreide) lineaire regressie Lineaire regressiehellingMann-Kendall TheilhellingSeizoenale Mann-KendallSeizoenale Mann-Kendall met verdiscontering autocorrelatie

Kendall-seizoenshelling

Theilhelling en Kendall-seizoenshelling zijn beideTheilhelling en Kendall-seizoenshelling zijn beide zuiverezuivere en en robuusterobuuste schatters, met schatters, met

grotere nauwkeurigheidgrotere nauwkeurigheid dan lineaire regressie- dan lineaire regressie-helling bij scheve kansverdelingenhelling bij scheve kansverdelingen


Principe TheilhellingPrincipe TheilhellingTijd 1 2 3 4 5 6 7

Tijd Meetwaarde 1.2 1.6 3.4 3.7 5.2 16.0 5.81 1.22 1.6 0.403 3.4 1.10 1.804 3.7 0.83 1.05 0.305 5.2 1.00 1.20 0.90 1.506 16.0 2.96 3.60 4.20 6.15 10.807 5.8 0.77 0.84 0.60 0.70 0.30 -10.20

Theilhelling is mediaan van de hellingen = 1.00


Robuustheid TheilhellingRobuustheid Theilhelling

02468

1012141618

1 2 3 4 5 6 7

Lineaire regressielij n

Theillij n

Uitschieter


Nauwkeurigheid TheilhellingNauwkeurigheid Theilhelling

RMSE Ratio = (RMSE Theilhelling) / (RMSE lin reghelling)

[Hirsch et al., 1991]


Toepassingen procedureToepassingen procedureGrootschalige meetnetten waterkwaliteitGrootschalige meetnetten waterkwaliteit RIWARIWA RWSRWS 10 waterschappen10 waterschappen drinkwaterbedrijfdrinkwaterbedrijf ProvincieProvincie VMMVMM

Structureren presentatie uitvoer is Structureren presentatie uitvoer is uitdaging !uitdaging !


ConclusiesConclusies1.1. Maatwerk bij trendanalyse loont: meer Maatwerk bij trendanalyse loont: meer

onderscheidend vermogen bij trendtoetsen en onderscheidend vermogen bij trendtoetsen en grotere nauwkeurigheid bij trendschattengrotere nauwkeurigheid bij trendschatten

2.2. Selectie toets/schatter obv soort kansverdeling Selectie toets/schatter obv soort kansverdeling en al of geen seizoenseffecten en/of en al of geen seizoenseffecten en/of autocorrelatieautocorrelatie

3.3. Bij niet-normaliteit verdelingsvrije methodenBij niet-normaliteit verdelingsvrije methoden

4.4. Selectieprocedure en trendanalyse zijn zodanig Selectieprocedure en trendanalyse zijn zodanig geobjectiveerd dat ze automatisch uitgevoerd geobjectiveerd dat ze automatisch uitgevoerd kunnen wordenkunnen worden


Vragen?Vragen?

NHV - dinsdag 6 maart 2012 drs. Paul K. Baggelaar Icastat ir. Eit C.J. van der Meulen AMO

Documents

Transcript of NHV - dinsdag 6 maart 2012 drs. Paul K. Baggelaar Icastat ir. Eit C.J. van der Meulen AMO