Post on 07-Jul-2020
© Icastat - AMO 1
NHV - dinsdag 6 maart 2012
drs. Paul K. Baggelaar Icastat
ir. Eit C.J. van der Meulen
AMO
Trendanalyse op maat voor een meetnet waterkwaliteit
© Icastat - AMO 2
Hoofddoelstellingen milieumeetnetten
Beschrijven en beoordelen van: 1. de toestand objectiveren met behulp van normen
2. de verandering van de toestand objectiveren met behulp van statistische
methoden vergt veel inspanning bij grootschalig meetnet
(duizenden reeksen)
© Icastat - AMO 3
Trend
Vorm van niet-stationariteit
Verandering in het centrum van de kansverdeling van meetwaarden over tenminste enkele jaren
We richten ons op de monotone trend
© Icastat - AMO 4
Onderdelen van trendanalyse
1. Trenddetectie: objectieve uitspraak over wél of géén trend
2. Trendkwantificering: schatting van de grootte van de trend
© Icastat - AMO 5
Toetsen op monotone trend
Bekendste: toets op lineaire regressiehelling
Yt = b0 + b1Xt + et
onderzoeksvariabele
tijdsindex
intercept
helling tijd
modelresidu
© Icastat - AMO 6
Trendtoetsen met lineaire regressie
Toetshypothesen:
0:en 0: 110 aHH
][ 1
1
bs
bT
Verwerp H0 als T > t(0,975;n-2)
Toetsingsgrootheid:
Student-t-waarde
© Icastat - AMO 7
Voorwaarden trendtoetsen met lineaire regressie
1. Modelresiduën zijn afkomstig uit (dezelfde) normale kansverdeling
2. Modelresiduën vertonen geen autocorrelatie
© Icastat - AMO 8
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 20105
10
15
20
jaar
mg
/l
Trendplot M_10J_NA_0% (Testreeks)
meetwaarden
tijdreekswaarden
Lowess
trendlijn
Voorbeeld lineaire regressie
© Icastat - AMO 9
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010-5
0
5
jaar
mg
/l
Tijdreeksplot modelresiduen M_10J_NA_0% (Testreeks)
-3 -2 -1 0 1 2 3-5
0
5
normaalscore
mg
/l
PP-plot
-3 -2 -1 0 1 2 3 40
10
20
30
aan
tal
waarde mg/l
Histogram
Modelresiduën normaal verdeeld?
© Icastat - AMO 10
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010-4
-2
0
2
4
jaar
mg
/l
Tijdreeks modelresiduen en voortschrijdend gemiddelde (365) M_10J_NA_0% (Testreeks)
5 10 15 20 25
-0.2
0
0.2
0.4
0.6
aantal tijdsintervallen
Modelresiduen autocorrelatie?
95% betrouwbaarheidsinterval
Modelresiduën geen autocorrelatie?
© Icastat - AMO 11
e + N = N
N + Xb + b = Z
t-tt
ttt
11
10
Uitgebreide lineaire regressie
modelruis
autoregressieve modelparameter modelresidu
© Icastat - AMO 12
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 20105
10
15
20
jaar
mg
/l
Trendplot M_10J_NA_0% (Testreeks)
meetwaarden
tijdreekswaarden
Lowess
trendlijn
Voorbeeld uitgebreide lineaire regressie
© Icastat - AMO 13
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010-3
-2
-1
0
1
2
jaar
mg
/l
Tijdreeks modelresiduen en voortschrijdend gemiddelde (365) M_10J_NA_0% (Testreeks)
5 10 15 20 25
-0.2
-0.1
0
0.1
0.2
0.3
aantal tijdsintervallen
Modelresiduen autocorrelatie?
95% betrouwbaarheidsinterval
Modelresiduën geen autocorrelatie?
© Icastat - AMO 14
Mogelijke kenmerken milieugegevens
Ondergrens van nul
Gecensureerde meetwaarden (bv. < 1 mg/l)
Uitschieters, meestal naar boven
Scheve kansverdeling (naar rechts)
Seizoenspatroon
Correlatie in tijd of ruimte
Rekening mee houden bij statistische analyse
© Icastat - AMO 15
e + N = N
N + )I( + Xb + b = Z
t-tt
tii
s
=i
tt
11
2
10
Nóg uitgebreidere lineaire regressie
aantal seizoenen
seizoensindex
seizoenseffect
modelruis
autoregressieve modelparameter
seizoensindicator
modelresidu
© Icastat - AMO 16
Voorbeeld verdelingsvrije toets: Mann-Kendall-toets
Z-Z = S tk
n
+t=k
-n
=t
sgn1
1
1
0als1sgn
0 als 0sgn
0 als1sgn
< =
= =
> =
18
521Varen 0E
nnn = S = S
0als
Var
1
0 als 0
0 alsVar
1
< S S
ST
= S =T
> S S
ST
toetseng tweezijdibij
:als trendtesignificanh Statistisc
21 UT )/(
© Icastat - AMO 17
Uitbreidingen Mann-Kendall-toets
][sgn1
1
1
Z-Z = S igkg
ng
=i+k
gn
=i
g
S = S g
s
=g
*
1
0 = S = S g
s
=g
][E][E1
*
][Cov][Var][Var11
*S,S + S = S hg
s
gh
s
=g
g
s
=g
Toetsingsgrootheid per seizoen
© Icastat - AMO 18
Toetsen op monotone trend
Parametrisch
Lineaire regressie | +s | +a | +sa |
Verdelingsvrij
Mann-Kendall | +s | +a | +sa |
Spearman | +s |
Lettenmaier | +a | +sa |
Farrell | +s |
Wanneer welke toets gebruiken?
© Icastat - AMO 19
Criteria bij keuze trendtoets
1. Empirisch significantieniveau niet hoger dan gehanteerd significantieniveau ()
verleent objectiviteit en zeggingskracht aan signaleringsfunctie van het meetnet
2. Hoogste onderscheidend vermogen (1-) van alle trendtoetsen die aan 1. voldoen
er wordt dan zo efficiënt mogelijk informatie gefilterd uit de duur betaalde meetgegevens
© Icastat - AMO 20
Voorbeeld keuze trendtoets
Onderscheidend vermogen trendtoetsen
0%
20%
40%
60%
80%
100%
Trendgrootte ->0
1
2
3
=5%
© Icastat - AMO 21
Percentage trenddetectie bij normale kansverdeling
0%
20%
40%
60%
80%
100%
0.00 0.02 0.04 0.06 0.08 0.10 0.12 0.14 0.16
Trend [standafw/jaar]
LRMK
n = 120
© Icastat - AMO 22
Percentage trenddetectie bij lognormale kansverdeling
0%
20%
40%
60%
80%
100%
0.00 0.02 0.04 0.06 0.08 0.10 0.12 0.14 0.16
Trend [standafw/jaar]
LR
MK
n = 120
© Icastat - AMO 23
Kenmerken verdelingsvrij toetsen
1. Doet bij normale kansverdeling niet veel onder voor parametrisch toetsen
2. Is bij niet-normale kansverdeling krachtiger dan parametrisch toetsen
3. Geen last van uitschieters !
© Icastat - AMO 24
En transformeren?
Lukt zelden volledig en toepassen van een parametrische toets/schatter is dan niet optimaal
Geeft ‘kromme’ trends in de meetschaal
Bij niet-normaliteit geven wij de voorkeur aan verdelingsvrije methoden
© Icastat - AMO 25
Toetsen geselecteerd voor de procedure
Parametrisch
Lineaire regressie en uitbreidingen
Verdelingsvrij
Mann-Kendall en uitbreidingen
© Icastat - AMO 26
Preferentieprocessen van de toetsen
Toets S A S+ A S A S+ A
LR
LRs
LRa
LRsa
MK
MKs
MKsa
Normale kansverdeling Geen normale kansverdeling
Statistische kenmerken van proces
© Icastat - AMO 27
© Icastat - AMO 28
Trendkwantificering
Trendtoets Trendschatter
(Uitgebreide) lineaire regressie Lineaire regressiehelling
Mann-Kendall Theilhelling
Seizoenale Mann-Kendall
Seizoenale Mann-Kendall met verdiscontering autocorrelatieKendall-seizoenshelling
Theilhelling en Kendall-seizoenshelling zijn beide
zuivere en robuuste schatters, met
grotere nauwkeurigheid dan lineaire regressie-
helling bij scheve kansverdelingen
© Icastat - AMO 29
Principe Theilhelling
Tijd 1 2 3 4 5 6 7
Tijd Meetwaarde 1.2 1.6 3.4 3.7 5.2 16.0 5.8
1 1.2
2 1.6 0.40
3 3.4 1.10 1.80
4 3.7 0.83 1.05 0.30
5 5.2 1.00 1.20 0.90 1.50
6 16.0 2.96 3.60 4.20 6.15 10.80
7 5.8 0.77 0.84 0.60 0.70 0.30 -10.20
Theilhelling is mediaan van de hellingen = 1.00
© Icastat - AMO 30
Robuustheid Theilhelling
0
2
4
6
8
10
12
14
16
18
1 2 3 4 5 6 7
Lineaire regressielijn
Theillijn
Uitschieter
© Icastat - AMO 31
Nauwkeurigheid Theilhelling
RMSE Ratio = (RMSE Theilhelling) / (RMSE lin reghelling)
[Hirsch et al., 1991]
© Icastat - AMO 32
Toepassingen procedure
Grootschalige meetnetten waterkwaliteit RIWA RWS 10 waterschappen drinkwaterbedrijf Provincie VMM
Structureren presentatie uitvoer is uitdaging !
© Icastat - AMO 33
Conclusies
1. Maatwerk bij trendanalyse loont: meer onderscheidend vermogen bij trendtoetsen en grotere nauwkeurigheid bij trendschatten
2. Selectie toets/schatter obv soort kansverdeling en al of geen seizoenseffecten en/of autocorrelatie
3. Bij niet-normaliteit verdelingsvrije methoden
4. Selectieprocedure en trendanalyse zijn zodanig geobjectiveerd dat ze automatisch uitgevoerd kunnen worden
© Icastat - AMO 34
Vragen?